Em meu último artigo sobre a lima de robots.txt eu tinha-a soletrado errada. Deve ter sido robots.txt em vez de robot.txt. O artigo deve ler como este:

Ao optimizing seu Web site a maioria de webmasters não consideram usar a lima de robots.txt. Esta é uma lima muito importante para seu local. Deixou as aranhas e as esteiras rolantes saber o que pode e não pode posicionar. Isto é útil em mantê-lo fora dos dobradores que você não quer o índice como o dobrador do admin ou do stats.

Está aqui uma lista das variáveis que você pode incluir em uma lima de robot.txt e no significado lá:

1) Usuário-agente: Neste campo você pode especificar um robô específico para descrever a política do acesso

para ou “*” para todos os robôs explicados mais no exemplo.

2) Disallow: No campo você especifica as limas e os dobradores para não incluir no rastejamento.

3) # é representar comentários

Estão aqui alguns exemplos de um fileUser-agente de robots.txt: *Disallow:

O acima deixaria todas as aranhas posicionar todo o índice.

Aqui um outro exampleUser-agente: *Disallow: /cgi-bin/

O acima obstruiria todas as aranhas de posicionar o diretório do cgi-escaninho. Usuário-agente: googlebotDisallow: Usuário-agente: *Disallow: /admin.phpDisallow: /cgi-bin/Disallow: /admin/Disallow: /stats/

No exemplo acima o googlebot pode posicionar tudo quando todas aranhas restantes não puderem posicionar o diretório de admin.php, de cgi-escaninho, de admin, e de stats. Observar que você pode obstruir únicas limas como admin.php.

Article Source: http://www.articleset.com