No mucho toma del amo de la tela la época de utilizar un archivo de robots.txt para su Web site. ¡Para las arañas del Search Engine que utilizan robots.txt para ver qué directorios a buscar a través, puede ser muy provechoso el archivo de robots.txt en guardar las arañas el poner en un índice de las tus páginas reales y de la no otra información, tal como mirar con tu stats!

El archivo de robots.txt es útil en mantener tus arañas de carpetas de las piezas que tienen acceso y los archivos tu directorio de recibimiento que están totalmente sin relación a tu contenido real del Web site. Puedes elegir tener las arañas guardadas fuera de las áreas que contienen los motores de esa búsqueda de programación no pueden analizar correctamente, y guardarlos fuera de la porción del stats de la tela de tu sitio.

Muchos motores de búsqueda no pueden ver el contenido dinámicamente correctamente generado, creado principalmente por lenguajes de programación, tales como PHP o ASP. Si tienes un almacén en línea programado en tu cuenta de recibimiento, y está en un directorio del seperate, serías sabio bloquear hacia fuera las arañas de este directorio así que encuentra solamente la información relevante.

El archivo de robots.txt se debe colocar en el directorio donde tus archivos principales para tu recibimiento se localizan. Te aconsejarían tan crear un archivo de texto en blanco, y excepto él como robots.txt, y después upload lo a tu tela recibiendo al mismo directorio que se localiza tu archivo de index.htm.

Aquí están los ejemplos del uso del archivo de robots.txt:

Bloquear hacia fuera un directorio en un archivo de robots.txt, tal como un subdirectory para tu almacén en línea llamado /store/ te haría el siguiente:

Rechazar: /store/

Otro ejemplo para bloquear hacia fuera tu directorio del stats:

Rechazar: /stats/

Puedes también desear rechazas los archivos individuales que no deseas buscado por los motores de búsqueda. Por ejemplo no quisieras que search.php fuera analizado por los motores de búsqueda. Para hacer esto tú para mecanografiar adentro el siguiente en su propia línea:

Rechazar: /search.php

¡Después de las reglas contorneadas y que crean el archivo de robots.txt, guardarás arañas del Search Engine fuera de archivos y de directorios indeseados, y dejándolos pasar a través de los archivos importantes ver sobre cuál es tu Web site todo!

Article Source: http://www.articleset.com