Al optimizar tu Web site la mayoría de los webmasters no consideran el usar del archivo de robot.txt. Esto es un archivo muy importante para tu sitio. Dejó las arañas y las correas eslabonadas saber lo que él puede y no puede poner en un índice. Esto es provechoso en guardarlo fuera de carpetas que no deseas índice como la carpeta del admin o del stats.

Aquí está una lista de las variables que puedes incluir en un archivo de robot.txt y allí significar:
  •  Usuario-agente: En este campo puedes especificar una robusteza específica para describir la política del acceso para o “*” para todas las robustezas explicadas más en ejemplo.
  •  Rechazar: En el campo especificas los archivos y las carpetas para no incluir en el arrastre.
  •  El # es representar comentarios

Aquí están algunos ejemplos de un fileUser-agente de robot.txt: *Disallow:

El antedicho dejaría todas las arañas poner en un índice todo el contenido.

Aquí anotherUser-agente: *Disallow: /cgi-bin/

El antedicho bloquearía todas las arañas de poner en un índice el directorio del cgi-compartimiento. Usuario-agente: googlebotDisallow: Usuario-agente: *Disallow: /admin.phpDisallow: /cgi-bin/Disallow: /admin/Disallow: /stats/

En ejemplo antedicho el googlebot puede poner en un índice todo mientras que el resto de las arañas no pueden poner en un índice el directorio de admin.php, del cgi-compartimiento, del admin, y del stats. Notar que puedes bloquear solos archivos como admin.php.

Article Source: http://www.articleset.com