En mi artículo pasado acerca del archivo de robots.txt lo había deletreado incorrecto. Debe haber sido robots.txt en vez de robot.txt. El artículo debe leer como esto:

Al optimizar tu Web site la mayoría de los webmasters no consideran el usar del archivo de robots.txt. Esto es un archivo muy importante para tu sitio. Dejó las arañas y las correas eslabonadas saber lo que él puede y no puede poner en un índice. Esto es provechoso en guardarlo fuera de carpetas que no deseas índice como la carpeta del admin o del stats.

Aquí está una lista de las variables que puedes incluir en un archivo de robot.txt y allí significar:

1) Usuario-agente: En este campo puedes especificar una robusteza específica para describir la política del acceso

para o “*” para todas las robustezas explicadas más en ejemplo.

2) Rechazar: En el campo especificas los archivos y las carpetas para no incluir en el arrastre.

3) El # es representar comentarios

Aquí están algunos ejemplos de un fileUser-agente de robots.txt: *Disallow:

El antedicho dejaría todas las arañas poner en un índice todo el contenido.

Aquí otro exampleUser-agente: *Disallow: /cgi-bin/

El antedicho bloquearía todas las arañas de poner en un índice el directorio del cgi-compartimiento. Usuario-agente: googlebotDisallow: Usuario-agente: *Disallow: /admin.phpDisallow: /cgi-bin/Disallow: /admin/Disallow: /stats/

En ejemplo antedicho el googlebot puede poner en un índice todo mientras que el resto de las arañas no pueden poner en un índice el directorio de admin.php, del cgi-compartimiento, del admin, y del stats. Notar que puedes bloquear solos archivos como admin.php.

Article Source: http://www.articleset.com