Qué es robots.txt y cómo configurarlo bien

Un solo carácter mal puesto en el archivo robots.txt puede bloquear a Google de rastrear tu sitio completo sin que te des cuenta durante semanas. Es uno de los archivos más pequeños de un sitio web y, al mismo tiempo, uno de los que puede causar más daño si se configura mal.

Qué es robots.txt

Robots.txt es un archivo de texto plano ubicado en la raíz de un dominio (`tudominio.com/robots.txt`) que le indica a los rastreadores web —Googlebot, Bingbot y otros— qué secciones del sitio pueden o no pueden rastrear. No es una medida de seguridad ni impide que una página se indexe si otros sitios la enlazan; es solo una directiva de rastreo que los buscadores serios respetan de forma voluntaria.

• —User-agent: a qué rastreador aplica la regla (* significa todos).
• —Disallow: qué ruta no debe rastrearse.
• —Allow: excepción dentro de una ruta bloqueada.
• —Sitemap: la URL donde está el sitemap XML del sitio.

El error más grave: bloquear el sitio completo por accidente

El error más costoso con robots.txt es dejar la línea `Disallow: /` activa en producción —una configuración común en ambientes de desarrollo o pruebas para evitar que Google indexe una versión no terminada del sitio— y olvidarla al pasar a producción. Esa sola línea le dice a todos los rastreadores que no accedan a ninguna parte del sitio, deteniendo el rastreo por completo.

Cómo verificar que tu robots.txt está bien configurado

• —Revisa que el archivo responda con código 200 y tipo de contenido texto plano al visitar tudominio.com/robots.txt directamente en el navegador.
• —Usa el probador de robots.txt disponible dentro de Google Search Console para confirmar que una URL específica está permitida o bloqueada como corresponde.
• —Nunca uses robots.txt para intentar sacar una página del índice de Google: para eso existe la etiqueta noindex o la eliminación directa vía Search Console.
• —Declara siempre la ubicación de tu sitemap XML dentro de robots.txt con la línea Sitemap:, para que cualquier rastreador la encuentre fácilmente.
• —Si tu sitio es una aplicación que renderiza contenido con JavaScript, asegúrate de no bloquear las carpetas de scripts y estilos que Google necesita para renderizar la página.

Declarar bien la ruta de tu sitemap XML dentro de robots.txt es una de las formas más simples de acelerar el descubrimiento de contenido nuevo.

Si sospechas que tu sitio dejó de indexar contenido por un error técnico, revisa nuestra guía sobre cómo recuperarse de una penalización de Google, que cubre tanto penalizaciones manuales como problemas técnicos de indexación.

Preguntas frecuentes

¿Robots.txt puede evitar que una página aparezca en Google?

Puede evitar que Google la rastree, pero si la página ya está indexada o si otros sitios la enlazan, Google puede seguir mostrándola en resultados con una descripción genérica, sin haber leído su contenido actualizado.

¿Todos los rastreadores respetan robots.txt?

Los rastreadores legítimos de buscadores importantes lo respetan, pero es una directiva voluntaria: bots maliciosos o mal programados pueden ignorarlo por completo, por lo que no debe usarse como medida de seguridad.

¿Puedo tener reglas distintas para distintos buscadores?

Sí, usando bloques de User-agent separados para cada rastreador (por ejemplo, uno para Googlebot y otro para Bingbot), aunque en la mayoría de los sitios conviene mantener una sola regla general con User-agent: * para simplificar el mantenimiento.