¿Qué es el robots.txt y cómo configurarlo?

El robots.txt es un archivo de texto que le dice a los rastreadores de los buscadores a qué URL de tu sitio pueden entrar y a cuáles no. Piensa en el portero de un edificio, no vigila el contenido de cada oficina, solo indica por qué puertas se puede pasar.

Lo pones una sola vez en la raíz de tu dominio, y Googlebot y otros rastreadores serios lo consultan antes de recorrer tus páginas. En esta guía ves para qué sirve, qué directivas usa, cómo crearlo, cómo probarlo y cómo influye en tu SEO, una pieza básica del SEO técnico que conviene dominar cuanto antes.

Un detalle importante desde el principio, este archivo controla el rastreo, no la indexación. Más abajo te explico la diferencia con calma, porque es el error que más confusión causa entre quienes empiezan con SEO técnico y lo configuran por primera vez.

¿Para qué sirve este archivo en tu sitio?

Sirve para gestionar cómo te rastrean los buscadores, no para esconder páginas. Su uso principal es evitar que tu servidor se sature con peticiones de rastreadores y que estos pierdan tiempo en URL que no aportan nada.

Según la documentación de Google Search Central, el archivo indica a los rastreadores qué URL pueden visitar, y se usa sobre todo para controlar el tráfico de rastreo y para no rastrear páginas poco importantes o muy parecidas entre sí. O sea, es una herramienta de orden, como señalizar las zonas del edificio que no hace falta recorrer.

Su efecto cambia según el tipo de archivo. En páginas web, gestiona el rastreo, pero no las oculta de los resultados. En imágenes, vídeos y audio, ayuda a que no aparezcan en Google Imágenes o Vídeos, aunque otras páginas puedan enlazarlos. En recursos como scripts o estilos, solo conviene bloquearlos si la página se entiende igual sin ellos. Si bloquearlos impide a Google entenderla, es mejor dejarlos libres.

Si quieres aprender a ordenar el rastreo y el SEO técnico de un sitio con alguien que revise y corrija tu trabajo, te invitamos a conocer nuestro programa estrella, el Diplomado SEO + AIO de aprendoclub, donde practicas con proyectos aplicados y el acompañamiento de coaches.

¿Cómo influye el robots.txt en el posicionamiento de tu web?

El robots.txt no sube tu posición por sí solo, pero un error en él puede impedir que Google rastree páginas que sí quieres posicionar. Si Google no puede entrar a leer una página, no puede evaluar su contenido, y lo que no se evalúa difícilmente posiciona.

Para un sitio pequeño, el rastreo rara vez es el cuello de botella. La guía de Google sobre presupuesto de rastreo está pensada para sitios muy grandes, con más de un millón de páginas, y para medianos con contenido que cambia muy rápido. En esos casos sí conviene bloquear las páginas sin valor, como las listas con scroll infinito o las mismas páginas ordenadas de otra forma.

Lo que afecta a cualquier tamaño son los errores. Bloquear por descuido una carpeta de artículos, o los scripts y estilos que Google necesita para entender la página, puede costarte visibilidad en esas URL. Por eso revisa el archivo cada vez que migres, rediseñes o cambies de plugin, y confirma en tu informe de indexación que las páginas clave siguen rastreándose. Si quieres ir más a fondo en este tipo de revisiones, te invitamos a leer nuestra guía de SEO técnico.

¿Qué pasa con los rastreadores de inteligencia artificial?

El robots.txt también decide qué rastreadores de IA pueden usar tu contenido. Google ofrece el token Google-Extended para controlar si lo que rastrea sirve para entrenar sus modelos Gemini, y aclara que no afecta a tu presencia en Búsqueda ni es una señal de posicionamiento. OpenAI separa GPTBot, para entrenamiento, y OAI-SearchBot, para la búsqueda de ChatGPT, y bloquear este último puede dejarte fuera de sus respuestas.

Antes de bloquear nada, piensa en tu objetivo, porque salir de esas respuestas también es perder visibilidad. Si quieres aprender a aparecer en ellas, te invitamos al Taller SEO con IA de aprendoclub, donde ves cómo piensan hoy los buscadores y las IA.

¿Controla el rastreo o la indexación de tus páginas?

Controla el rastreo, no la indexación, así que una URL bloqueada todavía puede aparecer en Google. Es la limitación más importante del archivo y la que más veces se malinterpreta, incluso entre quienes llevan años en el sector.

Google lo dice de forma directa. Si una página bloqueada tiene enlaces desde otros sitios, Google puede encontrar y mostrar la URL aunque no haya entrado a leerla. En ese caso el resultado sale sin descripción, porque el buscador no pudo ver el contenido. Entonces bloquear no equivale a esconder.

Si quieres que una página no aparezca en los resultados, la vía correcta es la etiqueta noindex o una cabecera de respuesta, proteger la página con contraseña o eliminarla. Y ten cuidado al mezclar ambas cosas, porque Google advierte que combinar reglas de rastreo con reglas de indexación puede hacer que unas anulen a otras. Tampoco es un mecanismo de seguridad. Cumplirlo depende del rastreador, y no todos lo respetan, por eso la información sensible se protege en el servidor.

¿Qué directivas usa y cómo se escriben?

El archivo se organiza en grupos, y cada grupo empieza con un User-agent seguido de sus reglas. Los rastreadores lo leen de arriba hacia abajo y, todo lo que no bloqueas con Disallow, puede rastrearse por defecto.

Estas son las cuatro directivas que necesitas conocer para escribir tus primeras reglas, con lo que hace cada una, la forma en que Google las interpreta cuando recorre tu sitio y lo que conviene tener presente al escribirlas.

• User-agent, indica a qué rastreador aplica el grupo. El asterisco cubre a todos, salvo los AdsBot de Google, que hay que nombrar de forma explícita.
• Disallow, marca la página o el directorio que no debe rastrearse. La ruta empieza con una barra y, si es un directorio, termina con una barra.
• Allow, anula un Disallow y permite una página o subcarpeta dentro de una ruta bloqueada.
• Sitemap, indica dónde está tu sitemap y debe ser una URL completa. Es opcional y puedes añadir más de una.

Google admite el asterisco como comodín en todas las reglas excepto Sitemap, y el signo numeral para comentarios, que se ignoran. Las líneas que no reconoce las deja pasar. Un ejemplo sencillo tiene este aspecto.

• User-agent: *
• Disallow: /carrito/
• Sitemap: https://www.tusitio.com/sitemap.xml

Ese grupo le dice a todos los rastreadores que no entren en la carpeta del carrito y les indica dónde está el sitemap. Cambia la ruta y el dominio por los tuyos, y no copies reglas de otros sitios sin entender qué bloquean en el tuyo.

¿Dónde se coloca y qué reglas de formato debes cuidar?

El archivo debe llamarse robots.txt y vivir en la raíz del dominio al que se aplica, no en una subcarpeta. Si lo pones en otro lugar, los rastreadores no lo van a encontrar y tus reglas no tendrán ningún efecto.

Un sitio tiene un solo archivo y sus reglas valen para el protocolo, el host y el puerto donde se publica. Por eso un subdominio necesita el suyo, y http y https cuentan como orígenes distintos. Si trabajas con varios subdominios, revisa que cada uno tenga su archivo, porque el de uno no cubre al otro.

Hay tres reglas de formato que evitan errores silenciosos. Primero, debe ser un archivo de texto en UTF-8, y conviene escribirlo en un editor de texto plano, no en un procesador de texto que pueda añadir comillas tipográficas. Segundo, las reglas distinguen mayúsculas y minúsculas, una regla para /archivo.asp no vale para /ARCHIVO.asp. Tercero, la ruta de cada regla empieza con una barra, igual que cualquier URL de tu sitio.

¿Cómo crear y subir el archivo paso a paso?

Crear el archivo consiste en escribirlo en texto plano, subirlo a la raíz y comprobar que se abre desde el navegador, sin pasos raros. No necesitas programar, necesitas orden y revisar cada regla antes de publicar.

Sigue este orden cada vez que crees el archivo desde cero, sin saltarte ningún paso, porque el último es el que confirma que todo quedó bien publicado y que los rastreadores van a poder leerlo sin problemas.

1. Abre un editor de texto plano y crea un archivo llamado robots.txt, guardado en UTF-8.
2. Escribe un grupo por rastreador, con su User-agent y sus reglas Disallow o Allow.
3. Añade la línea Sitemap con la URL completa de tu sitemap.
4. Sube el archivo a la raíz del dominio, con el método que te dé tu hosting o tu servidor.
5. Ábrelo en tu navegador, en la dirección de tu dominio seguida de /robots.txt, para confirmar que carga.

Si tu sitio está en una plataforma como Wix o Blogger, Google advierte que quizá no puedas editar el archivo directamente y tengas que usar la configuración de visibilidad en buscadores que ofrece la plataforma. Para WordPress, revisa dónde gestiona tu instalación o tu plugin de SEO este archivo antes de tocar nada.

Empieza con pocas reglas y añade más solo cuando tengas una razón clara, porque un descuido aquí es de los fallos más comunes del SEO técnico. Si quieres conocer los errores de este tipo que más aparecen en las auditorías, te invitamos a leer nuestra guía de errores de SEO técnico.

¿Cómo probarlo y qué errores evitar?

Se prueba abriéndolo en una ventana privada y revisando el informe de robots.txt de Search Console. Los dos pasos se complementan, porque uno confirma que el archivo es público y el otro muestra cómo lo lee Google.

Abrir la dirección en una ventana privada te dice si cualquiera puede acceder a él. El informe de robots.txt de Search Console solo funciona con archivos ya publicados, y si todavía no dominas esta herramienta, te invitamos a repasar nuestra guía de Google Search Console. Si eres desarrollador, Google también ofrece una librería de código abierto para probar las reglas en local. Después de cada cambio, vuelve a revisarlo, porque una regla nueva puede bloquear páginas que antes se rastreaban sin problema.

Estos son los errores más comunes que verás cuando revises el archivo de un sitio que ya lleva tiempo publicado, y casi todos se corrigen en minutos si los detectas a tiempo, antes de que afecten al rastreo.

• Bloquear todo el sitio con una barra sola después de Disallow, a veces por olvidar una regla de pruebas.
• Usarlo para ocultar páginas, cuando para eso sirve noindex.
• Bloquear scripts o estilos que Google necesita para entender la página.
• Escribir una ruta con otras mayúsculas o sin la barra inicial.
• Olvidar el archivo en un subdominio o en la versión http.

El robots.txt es corto, pero decide por dónde pasan los rastreadores en tu sitio. Escríbelo con pocas reglas, súbelo a la raíz, pruébalo y recuerda que no sustituye al noindex. Si quieres dejar de adivinar y aprender a ordenar el rastreo dentro de una estrategia SEO completa, con ejercicios aplicados y un equipo que te corrige, te esperamos en el Diplomado SEO + AIO de aprendoclub, nuestro programa estrella.

Preguntas frecuentes

¿Qué significa Disallow en este archivo?

Disallow indica una página o un directorio que el rastreador no debe visitar. La ruta empieza con una barra y, si es un directorio, termina con una barra. Todo lo que no bloqueas con esta directiva puede rastrearse por defecto.

¿Puede una página bloqueada aparecer en Google?

Sí. Si otras páginas enlazan a la URL bloqueada, Google puede mostrarla sin haberla rastreado, y el resultado sale sin descripción. Para excluir una página de los resultados usa noindex, protección con contraseña o elimínala.

¿Dónde tiene que estar el archivo robots.txt?

En la raíz del dominio al que se aplica, con el nombre exacto robots.txt. No sirve ponerlo en una subcarpeta, y cada subdominio, protocolo o puerto necesita el suyo, así que revisa uno por uno si manejas varios.

¿Se distinguen mayúsculas y minúsculas en las reglas?

Sí. Una regla para /archivo.asp se aplica a esa ruta exacta, pero no a /ARCHIVO.asp. Por eso conviene copiar las rutas tal como aparecen en tu sitio, sin cambiar ni una letra, y revisarlas después de escribirlas.

¿Todos los buscadores respetan estas reglas?

No. Googlebot y otros rastreadores fiables lo siguen, pero no hay forma de obligar a un rastreador a cumplirlo. Para contenido confidencial, la protección debe estar en el servidor y no en un archivo público como este.