El archivo robots.txt es una de esas piezas del SEO técnico que parecen simples hasta que se usan mal. Tiene muy pocas líneas, pero un pequeño error puede bloquear secciones importantes de una web, afectar al rastreo y generar problemas de visibilidad que pasan desapercibidos durante semanas.

Por eso, aunque no sea un archivo complejo, conviene entender muy bien qué hace, qué no hace y cuándo tiene sentido tocarlo. En esta guía vas a ver cómo funciona, qué errores evitar y cómo configurarlo correctamente sin poner en riesgo el posicionamiento.

Qué es robots.txt y para qué sirve

Robots.txt es un archivo que se coloca en la raíz del dominio y que da instrucciones a los bots sobre qué partes del sitio deberían rastrear o evitar. Su función principal es orientar el rastreo, no controlar la indexación de forma absoluta.

Esto es importante porque mucha gente confunde bloqueo de rastreo con desindexación. Si una URL está bloqueada en robots.txt, Google puede no acceder a su contenido, pero eso no significa necesariamente que vaya a desaparecer de los resultados si existen otras señales que apuntan a ella.

Qué puede bloquear y qué no

Con este archivo puedes limitar el acceso a determinadas rutas, directorios o patrones de URL. Esto es útil cuando hay zonas sin valor SEO, entornos técnicos o parámetros que no quieres que consuman rastreo.

Lo que no deberías esperar es que robots.txt sustituya a etiquetas noindex, canónicas o redirecciones. Cada una resuelve un problema distinto, y mezclarlas sin criterio suele generar errores que afectan tanto al rastreo como a la comprensión del sitio.

Errores frecuentes al configurarlo

• Bloquear directorios importantes por accidente.
• Impedir el acceso a recursos que Google necesita para renderizar la página.
• Usar reglas demasiado genéricas.
• Confundir robots.txt con una herramienta de privacidad.
• Olvidar revisar el archivo después de una migración o rediseño.

Uno de los fallos más peligrosos es copiar un robots.txt de entorno de desarrollo y dejarlo activo en producción. Parece un error básico, pero ocurre más de lo que debería y puede bloquear el sitio entero a los bots.

Cuándo tiene sentido bloquear algo

Tiene sentido bloquear secciones que no aportan nada al SEO y que pueden consumir recursos de rastreo. Por ejemplo, páginas internas de búsqueda, determinadas rutas técnicas, parámetros problemáticos o zonas duplicadas sin valor estratégico.

Lo que no conviene es bloquear por intuición. Antes de hacerlo, hay que entender si esa parte del sitio recibe enlaces, si está indexada, si forma parte de la navegación y si puede afectar a otras áreas relacionadas.

Cómo debería revisarse un robots.txt

La revisión de robots.txt debería hacerse siempre con contexto técnico dentro de una auditoría de SEO técnico. No basta con mirar si “existe” un archivo. Hay que comprobar si sus reglas son coherentes con la arquitectura del sitio, con las necesidades de rastreo y con los objetivos SEO reales.

• Verifica que las reglas no bloquean páginas clave.
• Comprueba que Google puede acceder a recursos importantes.
• Declara el sitemap XML si procede.
• Revisa el archivo tras cambios estructurales.
• Contrasta la configuración con Search Console.

Relación entre robots.txt y crawl budget

Un robots.txt bien planteado puede ayudar a orientar el rastreo y evitar que Google pierda tiempo en zonas irrelevantes. Por eso, en webs grandes, también tiene relación con la eficiencia del crawl budget.

Aun así, no conviene usarlo como solución mágica. Si la web tiene problemas de arquitectura, duplicidad o parámetros mal gestionados, el archivo puede ayudar, pero no sustituye una limpieza técnica real.

Preguntas frecuentes sobre robots.txt

¿Qué es el archivo robots.txt?

El archivo robots.txt es un fichero de texto que se coloca en la raíz del dominio y que indica a los bots qué URLs o rutas pueden rastrear y cuáles deberían evitar. Su función principal es gestionar el rastreo del sitio.

¿Robots.txt sirve para desindexar páginas?

No exactamente. Este archivo bloquea el rastreo, pero no garantiza que una URL desaparezca de Google. Para evitar que una página se indexe, suele ser más adecuado usar noindex, protección por contraseña o eliminar la URL.

¿Dónde se coloca el archivo robots.txt?

Debe colocarse en la raíz del dominio principal, por ejemplo: tudominio.com/robots.txt. Si no está ahí, los buscadores no lo interpretarán como archivo válido para ese host.

¿Qué errores comunes pueden perjudicar el SEO?

Los más habituales son bloquear secciones importantes por accidente, impedir el acceso a recursos necesarios para renderizar la página o copiar un robots.txt de staging al entorno de producción.

¿Conviene bloquear páginas de búsqueda interna en robots.txt?

En muchos casos sí, porque suelen generar URLs de poco valor SEO y pueden consumir presupuesto de rastreo. Aun así, conviene revisarlo con contexto técnico antes de aplicar reglas generales.

¿Puede una URL bloqueada en robots.txt aparecer en Google?

Sí. Google explica que una URL bloqueada puede seguir apareciendo en resultados si existen enlaces externos u otras señales que apunten a ella, aunque no pueda rastrear bien su contenido.

¿Robots.txt ayuda a optimizar el crawl budget?

Sí, puede ayudar a orientar el rastreo y evitar que Google pierda tiempo en áreas irrelevantes del sitio. Sin embargo, no sustituye otras mejoras técnicas como limpiar duplicidades o corregir la arquitectura web.

¿Es recomendable incluir el sitemap en robots.txt?

Sí, suele ser una buena práctica porque facilita a los buscadores localizar el sitemap XML del sitio. No es obligatorio, pero sí recomendable en la mayoría de proyectos.

¿Cómo revisar si robots.txt tiene errores?

Puedes revisarlo manualmente y también apoyarte en Search Console, que muestra información sobre archivos robots.txt detectados, su última lectura y posibles incidencias o advertencias.

¿Cada cuánto tiempo conviene revisar el robots.txt?

Conviene revisarlo siempre que haya migraciones, rediseños, cambios de estructura, nuevas secciones o caídas de visibilidad que puedan estar relacionadas con el rastreo.