Non molto introito del padrone di fotoricettore il momento di usare una lima di robots.txt per il loro Web site. Per i ragni di Search Engine che usano robots.txt per vedere che indici da cercare attraverso, la lima di robots.txt può essere molto utile nel mantenere i ragni spostare ad incrementi le vostre pagine reali e non altre informazioni, come osservare con il vostro stats!

La lima di robots.txt è utile nel mantenere i vostri ragni dai dispositivi di piegatura d'accesso delle parti e le lime nel vostro indice ospitante che sono completamente indipendenti dal vostro soddisfare reale di Web site. Potete scegliere avere i ragni mantenuti dalle zone che contengono i motori di quella ricerca di programmazione non possono analizzare correttamente e mantenerle dalla parte di stats di fotoricettore del vostro luogo.

Molti motori di ricerca non possono osservare il soddisfare correttamente dinamicamente generato, pricipalmente generato dai linguaggi di programmazione, quali PHP o l'asp. Se avete un deposito in linea programmato nel vostro cliente ospitante ed è in un indice del seperate, sareste saggi da ostruire fuori i ragni da questo indice in modo da trova soltanto le informazioni relative.

La lima di robots.txt dovrebbe essere disposta nell'indice in cui le vostre lime principali per vostro ospitare sono individuate. Così vi raccomandereste di generare una lima di testo in bianco e risparmi esso come robots.txt ed allora upload esso al vostro fotoricettore ospitanti allo stesso indice che la vostra lima di index.htm è individuata.

Qui è gli esempi dell'uso della lima di robots.txt:

Ostruire fuori un indice in una lima di robots.txt, quale un subdirectory per il vostro deposito in linea denominato /store/ voi farebbe quanto segue:

Respingere: /store/

Un altro esempio per ostruire fuori il vostro indice di stats:

Respingere: /stats/

Potete anche desiderare respingete le diverse lime che non desiderate cercato dai motori di ricerca. Per esempio non desiderate search.php essere analizzati dai motori di ricerca. Per fare questo voi per scrivere dentro quanto segue a macchina sulla relativa propria linea:

Respingere: /search.php

A seguito delle regole descritte e che generano la lima di robots.txt, manterrete i ragni di Search Engine dalle lime e dagli indici indesiderabili e lasciandoli passare attraverso le lime importanti vedere che cosa il vostro Web site è interamente circa!

Article Source: http://www.articleset.com