Web crawlers sont assciated avec les moteurs de recherche qui visitent votre site lorsque vous soumettez votre site aux moteurs de recherche. Plus fréquemment, ils parcourent votre site, plus vous recevez de trafic

C'est le moteur de recherche qui a finalement amener votre site à la connaissance des clients potentiels. Par conséquent, il est préférable de savoir comment les moteurs de recherche fonctionnent et comment ils présentent l'information aux clients lançant une recherche.

Il existe essentiellement deux types de moteurs de recherche. La première est par des robots appelés crawlers ou spiders.

Les moteurs de recherche utilisent des araignées à l'index des sites Internet. Lorsque vous soumettez votre site aux pages d'un moteur de recherche en complétant leur page de soumission requise, le moteur de recherche araignée indice de l'ensemble de votre site. Un "araignée" est un programme automatisé qui est gérée par le moteur de recherche. Spider visites d'un site Web, lire du contenu sur le site même, le site de Meta tags et de suivre également les liens que le site se connecte. L'araignée retourne ensuite toutes ces informations à un dépositaire central, où les données sont indexées. Il visitera chaque lien que vous avez sur votre site Web et d'indexer ces sites aussi. Certaines araignées ne fera que l'indice d'un certain nombre de pages de votre site, afin de ne pas créer un site avec 500 pages!

L'araignée va revenir périodiquement sur les sites afin de vérifier tous les renseignements qui ont changé. La fréquence à laquelle ceci se produit est déterminé par les modérateurs du moteur de recherche.

Une araignée est presque comme un livre où il contient la table des matières, le contenu réel et les liens et les références pour tous les sites Web qu'il trouve au cours de ses recherches, et il peut indexer jusqu'à un million de pages par jour.

Exemple: Excite, Lycos, AltaVista et Google.

Quand vous demandez à un moteur de recherche pour trouver des informations, il est en fait la recherche par le biais de l'indice dont il a créé et pas réellement une recherche sur le Web. Différents moteurs de recherche de produire différents classements parce que pas tous les moteurs de recherche utilisent le même algorithme de recherche à travers les indices.

L'une des choses que l'algorithme d'un moteur de recherche pour les scans est la fréquence et la localisation des mots clés sur une page Web, mais elle permet aussi de détecter des mots clés farce artificielle ou spamdexing. Ensuite, les algorithmes d'analyser la manière dont les pages de lien vers d'autres pages du Web. En vérifiant comment les pages les unes aux autres, un moteur peut à la fois déterminer ce qui est sur une page, si les mots clés des pages sont similaires aux mots clés sur la page originale.

Alors, vous avez besoin de construire un moteur de recherche convivial, afin que le site Web crawlers visiter votre site et vous aurez souvent répéter le trafic Web.

Article Source: http://www.articleset.com