Não muito tomada do mestre da correia fotorreceptora o momento de usar uma lima de robots.txt para seu Web site. Para as aranhas do Search Engine que usam robots.txt ver que diretórios a procurarar completamente, a lima de robots.txt pode ser muito útil em manter as aranhas posicionar suas páginas reais e a não outra informação, tal como olhar com seu stats!

A lima de robots.txt é útil em manter suas aranhas dos dobradores de acesso das peças e limas em seu diretório hospedando que são totalmente unrelated a seu índice real do Web site. Você pode escolher ter as aranhas mantidas fora das áreas que contêm os motores dessa busca de programação não podem analisar gramaticalmente corretamente, e os manter fora da parcela do stats da correia fotorreceptora de seu local.

Muitos motores de busca não podem ver o índice corretamente dinâmicamente gerado, criado principalmente por línguas de programação, tais como PHP ou ASP. Se você tivesse uma loja em linha programada em seu cliente hospedando, e estivesse em um diretório do seperate, você seria sábio obstruir para fora as aranhas deste diretório assim que encontra somente a informação relevante.

A lima de robots.txt deve ser colocada no diretório onde suas limas principais para seu hospedar são encontradas. Você seria recomendado assim criar uma lima de texto em branco, e excepto ela como robots.txt, e upload então o a sua correia fotorreceptora hospedando ao mesmo diretório que sua lima de index.htm é encontrada.

Estão aqui os exemplos do uso da lima de robots.txt:

Obstruir para fora um diretório em uma lima de robots.txt, tal como um subdirectory para sua loja em linha chamada /store/ lhe faria o seguinte:

Disallow: /store/

Um outro exemplo para obstruir para fora seu diretório do stats:

Disallow: /stats/

Você pode também querer disallow as limas individuais que você não quer procurarado pelos motores de busca. Por exemplo você não quer search.php ser analisado gramaticalmente pelos motores de busca. Para fazer isto você para datilografar dentro o seguinte em sua própria linha:

Disallow: /search.php

Depois das réguas esboçadas e que críam a lima de robots.txt, você manterá aranhas do Search Engine fora das limas e dos diretórios não desejados, e deixando os atravessar as limas importantes ver o que seu Web site é toda sobre!

Article Source: http://www.articleset.com