C'est jeudi soirée. Vous regardez vos notations de site Web pour déterminer d'où vos coups viennent. Vous notez que vous obtenez une tonne de 404 disques d'erreurs pour un dossier de robots.txt.

Vous ne pourriez pas même savoir ce qu'est un dossier de robots.txt, encore moins pourquoi il est absent de votre site Web. Prise laissée un regard à ce dossier mystérieux qui semble être absent et à pourquoi il est important de l'avoir.

Les moteurs de recherche aiment la croisière de Google l'Internet en envoyant leur logiciel spidering. Ceux-ci sont généralement connus comme spiderbots. Les spiderbots visitent des sites Web tout autour de l'Internet pour les inclure dans leurs listes d'index. La première chose ils recherchent quand ils visitent est un dossier appelé le dossier de robots.txt. Ce dossier normalement est trouvé dans le répertoire racine du site Web accueilli.

Ce dossier contient un ensemble de règles que les araignées sont programmé obéir basé sur le protocole standard. L'aide de ces règles l'araignée visitante déterminent quelle partie de votre site Web pour inclure ou ignorer tous ensemble.

La règle la plus générale utilisée dans le dossier de robots.txt est de refuser aux araignées de Search Engine l'accès aux secteurs restreints de votre site Web que vous ne les voulez pas visitant et classant pour que tout le Internet regarde.

Ces secteurs restreints contiennent normalement vos téléchargements, images, ou un annuaire de cgi-casier qui sont employés seulement par vos visiteurs de site Web ou pour les opérations quotidiennes de normale de toi site Web.

Quel dossier d'A robots.txt n'est pas….

Maintenir dans l'esprit qu'un dossier de robots.txt n'est pas une méthode pour maintenir votre information bloqué et le coffre-fort des yeux de soulèvement. Il simplement est employé pour fermer les araignées visitantes des secteurs d'indexation de votre site Web.

Noter cela qui emploie un dossier de robots.txt n'accélère pas le processus des moteurs de recherche classant et obtenant votre site Web dans leurs annuaires de recherche. En outre, un dossier de robots.txt n'est pas employé pour indiquer à des araignées de Search Engine quoi faire, seulement ce qui à ne pas faire.

Avantages d'employer un dossier de robots.txt :

  •  Si vous avez les parties de votre site Web qui sont très semblables vous peuvent les bloquer de l'rampement pour éviter d'être diminué comme inondateur. C'est particulièrement utile si vous avez les pages semblables optimisées pour différents navigateurs de site Web ou vitesses de raccordement de site Web.

  •  Vous éliminez 404 erreurs pour manquer robots.txt de vos notations de serveur en employant un dossier de robots.txt. Juste créer un dossier blanc de robots.txt dans un dossier de base des textes éditant le programme et le télécharger à votre répertoire racine.

  •  Peut être employé pour bloquer des araignées de Search Engine de pièce d'indexation ou de tout votre site Web sauver la largeur de bande valable

Créer A robots.xt

Créer un dossier de robots.txt n'est pas compliqué mais vous devriez être sûr de le faire correctement. Si votre dossier contient des règles incorrectes il peut complètement bloquer toutes les araignées et les empêcher de classer votre site Web.

Vous pouvez créer un dossier de robots.txt en utilisant un programme simple d'édition de textes comme le bloc-notes ou toi peut produire d'un dossier employant automatiquement plusieurs programmes de logiciel ou ressources en ligne de site Web.

Pour l'information et des règles sur la façon dont créer manuellement robots.txt classer
visiter http://www.robotstxt.org/wc/exclusion.html#robotstxt

Pour créer une visite en ligne de dossier de robots.txt :
http://searchbliss.com/webmaster_tools/robots-txt-text-generator.htm

Une fois que vous avez un téléchargement créé par dossier de robots.txt il à votre répertoire racine de votre site Web. Maintenant vous serez prêt la prochaine fois que les spiderbots viennent autour.

Article Source: http://www.articleset.com