Web indexadores estão relacionados com motor de pesquisa otimização. O motor de busca mais amigável seu site ser o mais chances de web crawlers visitando seu site. Se você tentar otimizar seu site significa que você está convidando mais pesquisa spiders ou indexadores para o seu site.

Os termos crawler, automático indexadores, bots, worms, spiders web, web e robôs são programas ou scripts automatizados com navegar na World Wide Web em uma metódica de forma automatizada. O termo crawler é o mais comumente utilizado prazo.

Web indexadores são uma ferramenta utilizada para o motor de busca de otimização.

Os mecanismos de pesquisa usam rastreadores da Web para fornecer até à data dados e informações. Web crawlers fornecer as informações solicitadas através da criação de cópias de páginas da web que o motor de busca mais tarde processos. Assim que a informação foi processada a motores de busca indexa as páginas e são capazes de baixar rapidamente as páginas durante uma pesquisa. O processo de indexação da web é um factor-chave no motor de busca de otimização. Motor de busca otimização é a arte ea ciência de fazer páginas web atraente para os motores de busca. Computador pessoas chamam o processo de web usando um rastreador para classificar um site spidering.

Alguns motores de busca utilizar web crawlers tarefas de manutenção. Web crawlers também pode ser usado para colher endereços de e-mail. A internet é uma gaping oceano de informações. Em 2000, Lawrence e Giles fabricado um estudo indicou que os motores de pesquisa da Internet têm apenas indexados aproximadamente dezesseis por cento da Web. Web indexadores são projetados para download apenas uma pequena quantidade de páginas disponíveis. Um miniscule amostra do que a Internet tem para oferecer.

Os mecanismos de pesquisa usam web crawlers, pois eles podem buscar e classificar os dados mais rápida do que um ser humano poderia sempre a esperança. Em um esforço para maximizar o download velocidade enquanto diminuindo a quantidade de vezes que uma página da web é repetida utilização paralela motores de busca na web crawlers. Paralelo web crawlers exigir uma nova política para a reafectação URLs. Existem duas formas de atribuir URLs. A alocação dinâmica é o que acontece quando um crawler atribui um novo URL dinamicamente. Se existe uma regra fixa afirmou desde o início do rastreamento, que define como atribuir novos URLs para os rastreamentos é chamado estático cessão.

A fim de operar no pico eficiência web indexadores têm de ter uma arquitectura altamente otimizado.

URL nominalization é o processo de modificação e padronizar uma URL de uma forma coerente. URL nomalization é muitas vezes chamado URL canonicalzation. Web crawlers costumam usar URL nomilization para evitar múltiplas rastreamento de uma fonte.

Numa tentativa de atrair a atenção dos web crawlers, e posteriormente altamente classificado, webmasters estão constantemente a reestruturar os seus websites. Muitos webmasters confiar na palavra chave pesquisas. Web crawlers olhar para a localização de palavras-chave, a quantidade de palavras-chave, além de links.

Se você está no processo de criação de um website tentar evitar frames. Alguns motores de busca na web têm indexadores que não pode seguir frames. Outra coisa que alguns mecanismos de pesquisa não são capazes de ler as páginas via CGI ou banco de dados de entrega, se possível tente criar páginas estáticas e salvar o banco de dados de atualizações. Símbolos na URL também pode confundir web crawlers. Você pode ter o melhor site do mundo e se uma crawler não pode ler isso provavelmente não irá obter o reconhecimento ea classificação que merece.

Web indexadores estão relacionados com motor de pesquisa otimização. O motor de busca mais amigável seu site ser o mais chances de web crawlers visitando seu site. Se você tentar otimizar seu site significa que você está convidando mais pesquisa spiders ou indexadores para o seu site.

Article Source: http://www.articleset.com