Validador y Editor de robots.txt

User-agent

Especifica a qué robot de búsqueda se aplican las reglas siguientes.

Sintaxis: User-agent: [nombre del robot]

Ejemplos:

• User-agent: * → Aplica a todos los robots
• User-agent: Googlebot → Aplica solo a Google
• User-agent: Bingbot → Aplica solo a Bing

Mejores prácticas:

• Coloca siempre User-agent al inicio de cada sección de reglas
• Puedes tener múltiples secciones User-agent con diferentes reglas
• El orden importa: define primero las reglas específicas, luego las generales

Disallow

Indica a los robots qué páginas o directorios no deben rastrear.

Sintaxis: Disallow: [ruta]

Ejemplos:

• Disallow: /admin/ → Bloquea el directorio /admin/ y todo su contenido
• Disallow: /checkout → Bloquea la página /checkout
• Disallow: / → Bloquea todo el sitio web
• Disallow: (vacío) → Permite rastrear todo

Casos de uso comunes:

• Bloquear áreas administrativas
• Bloquear páginas de carrito/checkout
• Bloquear archivos temporales o en desarrollo
• Bloquear scripts y recursos innecesarios

Allow

Permite a los robots rastrear páginas o directorios específicos, incluso si están dentro de un directorio bloqueado por Disallow.

Sintaxis: Allow: [ruta]

Ejemplos:

• Allow: /admin/public/ → Permite rastrear la carpeta public dentro de admin (que podría estar bloqueada)
• Allow: /products/featured → Permite rastrear la página featured dentro de products

Cuándo usarla:

• Para crear excepciones dentro de directorios bloqueados
• Cuando necesitas bloquear un directorio pero permitir páginas específicas dentro de él

Sitemap

Indica la ubicación del archivo sitemap XML.

Sintaxis: Sitemap: [URL del sitemap]

Ejemplo:

• Sitemap: https://example.com/sitemap.xml

Mejores prácticas:

• Usa URLs absolutas (con https://)
• Puedes incluir múltiples directivas Sitemap
• La directiva Sitemap es independiente de los grupos User-agent

Crawl-delay

Especifica el tiempo mínimo (en segundos) que un robot debe esperar entre solicitudes sucesivas.

Sintaxis: Crawl-delay: [segundos]

Ejemplo:

• Crawl-delay: 10 → El robot debe esperar 10 segundos entre solicitudes

Nota importante: No todos los motores de búsqueda respetan esta directiva.

Host

Especifica el dominio canónico preferido. Esta directiva es usada principalmente por Yandex.

Sintaxis: Host: [dominio]

Ejemplo:

• Host: example.com

Uso del comodín *

El asterisco * se utiliza como comodín para representar cualquier secuencia de caracteres.

Ejemplos:

• Disallow: /*.php → Bloquea todos los archivos PHP
• Disallow: /*?query → Bloquea todas las URLs que contengan "?query"
• Allow: /*products → Permite todas las URLs que terminen en "products"

Uso del símbolo $

El símbolo $ se utiliza para indicar el final exacto de una URL.

Ejemplos:

• Disallow: /product$ → Bloquea exactamente /product, pero no /product/123
• Disallow: /*.pdf$ → Bloquea todos los archivos PDF, pero no las URLs que contengan .pdf en medio

Directivas case-sensitive

Las directivas en robots.txt no distinguen entre mayúsculas y minúsculas, pero las rutas sí son sensibles a mayúsculas y minúsculas.

Ejemplos:

• user-agent: es lo mismo que User-agent:
• Pero Disallow: /admin/ NO bloquea /ADMIN/

Jerarquía y orden de reglas

1. Las reglas más específicas (más largas) tienen precedencia sobre las más generales
2. Entre reglas Disallow y Allow de igual especificidad, Allow tiene precedencia
3. Para cada User-agent, se aplican sus reglas específicas. Si no hay reglas para un User-agent, se aplican las reglas del User-agent: *

Ejemplo de precedencia:

User-agent: Googlebot
Disallow: /folder/
Allow: /folder/subfolder/

User-agent: *
Disallow: /

En este ejemplo:

• Googlebot puede rastrear /folder/subfolder/ pero no el resto de /folder/
• Todos los demás bots no pueden rastrear nada del sitio

Bloquear todo el sitio accidentalmente

Problema:

User-agent: *
Disallow: /

Solución: Para permitir el acceso a todo el sitio, usa:

User-agent: *
Disallow:

Usar espacios incorrectamente

Problema:

User - agent: Googlebot
Disallow:/admin/

Solución:

User-agent: Googlebot
Disallow: /admin/

No comenzar las rutas con /

Problema:

Disallow: admin/

Solución:

Disallow: /admin/

Usar reglas redundantes

Problema:

Disallow: /admin/
Disallow: /admin/users/
Disallow: /admin/settings/

Solución:

Disallow: /admin/

No considerar subdominios

Problema: Un robots.txt en example.com  NO afecta a blog.example.com

Solución: Crea un robots.txt separado para cada subdominio.

¿Puedo usar robots.txt para eliminar páginas de los resultados de búsqueda?

No, para eso debes usar meta noindex o encabezados HTTP. El robots.txt solo controla el rastreo, no la indexación.

¿Qué sucede si no tengo un archivo robots.txt?

Si no tienes un archivo robots.txt, los bots intentarán rastrear todo tu sitio. Esto no es necesariamente malo, pero podría desperdiciar cuota de rastreo en páginas innecesarias.

¿Es obligatorio tener un archivo robots.txt?

No, es opcional. Sin embargo, es una buena práctica tenerlo para controlar el rastreo de tu sitio.

¿Cómo afecta robots.txt a mi SEO?

Un robots.txt bien configurado puede mejorar tu SEO al:

• Asegurar que los motores de búsqueda rastreen las páginas importantes
• Evitar el desperdicio de cuota de rastreo en contenido irrelevante
• Prevenir problemas de contenido duplicado

¿Robots.txt afecta a todos los robots?

No. Solo afecta a los robots que respetan el Protocolo de Exclusión de Robots, que incluye a los principales motores de búsqueda pero no necesariamente a todos los bots.