Pas beaucoup de prise de maître de Web l'heure d'employer un dossier de robots.txt pour leur site Web. Pour les araignées de Search Engine qui emploient robots.txt pour voir quels annuaires à rechercher à travers, le dossier de robots.txt peut être très utile en continuant les araignées classer vos pages réelles et non toute autre information, telle que regarder par votre stat !

Le dossier de robots.txt est utile en maintenant vos araignées des chemises de accès de pièces et dossiers dans votre annuaire de accueil qui sont totalement indépendants de votre contenu réel de site Web. Vous pouvez choisir d'avoir les araignées gardées hors des secteurs qui contiennent les moteurs de cette recherche de programmation ne peuvent pas analyser correctement, et les garder hors de la partie de stat de Web de votre emplacement.

Beaucoup de moteurs de recherche ne peuvent pas regarder le contenu correctement dynamiquement produit, principalement créé par des langages de programmation, tels que PHP ou asp. Si vous avez un magasin en ligne programmé dans votre compte de accueil, et il est dans un annuaire de seperate, vous seriez sage de bloquer dehors les araignées à partir de cet annuaire ainsi il trouve seulement l'information appropriée.

Le dossier de robots.txt devrait être placé dans l'annuaire où vos dossiers principaux pour votre accueil sont localisés. Ainsi vous seriez conseillés de créer un dossier blanc des textes, et économiser lui comme robots.txt, et le téléchargez alors à votre Web accueillant au même annuaire que votre dossier d'index.htm est localisé.

Voici les exemples de l'utilisation du dossier de robots.txt :

Bloquer dehors un annuaire dans un dossier de robots.txt, tel qu'un sous-répertoire pour votre magasin en ligne appelé /store/ te ferait ce qui suit :

Rejeter : /store/

Un autre exemple pour bloquer dehors votre annuaire de stat :

Rejeter : /stats/

Vous pouvez également vouloir rejetez les différents dossiers que vous ne voulez pas recherché par les moteurs de recherche. Par exemple vous ne voulez pas que search.php soit analysé par les moteurs de recherche. Pour faire ceci vous pour saisir le suivant sur sa propre ligne :

Rejeter : /search.php

Après les règles décrites et créantes le dossier de robots.txt, vous garderez des araignées de Search Engine hors des dossiers et des annuaires non désirés, et les laissant passer par les dossiers importants pour voir au sujet de ce qu'est votre site Web tout !

Article Source: http://www.articleset.com