É uma noite de quinta-feira. Você está olhando seus registros do Web site para determinar de aonde suas batidas estão vindo. Você observa que você está começando uma tonelada de 404 registros dos erros para uma lima de robots.txt.

Você não pôde mesmo saber o que uma lima de robots.txt é, deixou sozinho porque falta de seu Web site. Tomada deixada um olhar nesta lima misteriosa que parece faltar e em porque é importante a ter.

Os motores de busca gostam do cruzeiro de Google o Internet emitindo para fora seu software spidering. Estes são sabidos geralmente como spiderbots. Os spiderbots visitam Web site toda em torno do Internet para inclui-los em suas listas do índice. A primeira coisa procuram quando visitam são uma lima chamada a lima de robots.txt. Esta lima é encontrada normalmente no diretório de raiz do Web site hospedado.

Esta lima contem um jogo de réguas que as aranhas são programadas obedecer baseado no protocolo padrão. A ajuda destas réguas a aranha visitando determina que parte de seu Web site para incluir junto ou ignorar tudo.

A régua a mais comum usada na lima de robots.txt é negar às aranhas do Search Engine o acesso às áreas interditados de seu Web site que você não as quer que visitam e que posicionam para que o Internet inteiro v.

Estas áreas interditados contêm normalmente seus downloads, imagens, ou um diretório do cgi-escaninho que são usados somente por seus visitantes do Web site ou para as operações diárias do normal de você Web site.

Que lima de A robots.txt não é….

Manter na mente que uma lima de robots.txt não é um método para manter sua informação seguro e cofre dos olhos erguendo. É usada simplesmente travar aranhas visitando das áreas de indexing de seu Web site.

Anotar isso que usa uma lima de robots.txt não se apressa acima do processo dos motores de busca que posicionam e que começam seu Web site em seus diretórios da busca. Também, uma lima de robots.txt não é usada dizer a aranhas do Search Engine o que fazer, only o que a não fazer.

Benefícios de usar uma lima de robots.txt:

  •  Se você tiver as partes de seu Web site que são muito similares você podem obstrui-los de ser rastejado para evitar de ser embandeirado como um spammer. Isto é especialmente útil se você tiver as páginas similares optimized para browsers do Web site ou velocidades diferentes da conexão do Web site.

  •  Você elimina 404 erros para faltar robots.txt de seus registros do usuário usando uma lima de robots.txt. Apenas criar uma lima em branco de robots.txt em uma lima de texto básica que edita o programa e upload a a seu diretório de raiz.

  •  Pode ser usado obstruir aranhas do Search Engine da peça do indexing ou de todo seu Web site conservar a largura de faixa valiosa

Criando A robots.xt

Criar uma lima de robots.txt não é complicado mas você deve ser certo fazê-la corretamente. Se sua lima contiver réguas incorretas pode completamente obstruir todas as aranhas e impedir que posicionem seu Web site.

Você pode criar uma lima de robots.txt usando um programa simples da edição de texto como o NotePad ou você podem gerar uma lima que usa automaticamente diversos programas do software ou recursos em linha do Web site.

Para a informação e as réguas em como criar manualmente robots.txt arquivar
visitar http://www.robotstxt.org/wc/exclusion.html#robotstxt

Para criar uma visita em linha da lima de robots.txt:
http://searchbliss.com/webmaster_tools/robots-txt-text-generator.htm

Uma vez que você tem um upload criado lima de robots.txt ele a seu diretório de raiz de seu Web site. Agora você estará pronto a próxima vez que os spiderbots vêm ao redor.

Article Source: http://www.articleset.com