¿Qué es el crawl budget y cómo optimizarlo?

Si te preguntas qué es el crawl budget, imagina que Google es un inspector con una jornada limitada para visitar tu tienda. No puede revisar cada estante de cada pasillo todos los días, así que reparte su tiempo entre lo que cree importante. Ese reparto es lo que Google llama presupuesto de rastreo.

Según Google, es el conjunto de URL que Googlebot puede y quiere rastrear en tu sitio. Puede, porque tu servidor tiene un límite. Quiere, porque el interés de Google en cada una de tus páginas cambia con el tiempo.

Aquí ves cómo funciona, cuándo el crawl budget te afecta de verdad, qué lo desperdicias y cómo optimizarlo paso a paso. Y te adelanto algo que casi nadie dice, si tu web es pequeña, probablemente no es tu prioridad.

¿Cómo funciona el presupuesto de rastreo de Google?

El presupuesto de rastreo resulta de dos piezas, cuánto puede rastrear Google sin ahogar tu servidor y cuánto quiere rastrear según el interés de tus páginas. Entender esa mecánica te dice dónde puedes mover algo y dónde no, porque el crawl budget no es una cifra que tú configures sino el resultado de ambas piezas.

El límite de capacidad de rastreo marca cuánto tiempo dedica el servidor a mantener conexiones abiertas con Google. Sube cuando tu sitio responde rápido y baja si se vuelve lento, devuelve errores 5xx o envía señales de limitación como el código 429. Es una protección, Google no quiere tumbar tu web.

La demanda de rastreo depende del tamaño del sitio, de la frecuencia con que lo actualizas, de su calidad y de su relevancia. Los factores sobre los que más puedes influir son el inventario de URL que Google percibe, la popularidad de tus páginas y su obsolescencia. O sea, una URL que nadie enlaza y que nunca cambia le interesa poco a Googlebot.

Si quieres aprender a ordenar el rastreo de tu sitio con alguien que revise y corrija tu trabajo, te invitamos a conocer nuestro programa estrella, el Diplomado SEO + AIO de aprendoclub, donde practicas con proyectos aplicados y el acompañamiento de coaches.

¿Cómo influye en tu posicionamiento SEO?

El crawl budget no es un factor de ranking, pero sin rastreo una página no puede aparecer en Google. Por eso influye de forma indirecta en el posicionamiento, sobre todo cuando hay páginas valiosas que tardan en descubrirse o en actualizarse en el índice.

Google lo explicó en un artículo de 2017 de su blog para webmasters. Rastrear es necesario para aparecer en los resultados, pero el rastreo en sí no es una señal de posicionamiento, y que Googlebot te visite más no significa que subas posiciones. Ese texto tiene años y la propia página avisa de que parte de la información puede estar desactualizada.

El efecto real es de descubrimiento y frescura. Si un servidor lento o miles de URL inútiles se comen el tiempo de Googlebot, una página nueva o una actualización importante puede tardar más en llegar al índice. Tu contenido no es peor, o sea, simplemente se entera más tarde. Si quieres ubicar este tema dentro del SEO técnico, piénsalo como la condición previa a la indexación.

¿Tu sitio necesita preocuparse por el rastreo?

Para la mayoría de los sitios la respuesta es no, y Google lo dice de forma expresa. Su guía de gestión del presupuesto de rastreo está pensada para sitios grandes o que cambian con mucha frecuencia, no para el blog o la web de servicios promedio.

Google menciona tres casos y aclara que son una estimación aproximada y no umbrales exactos:

• Sitios con un millón de páginas o más cuyo contenido cambia más o menos una vez por semana.
• Sitios medianos o mayores, de 10.000 páginas o más, con contenido que cambia a diario.
• Sitios con una gran parte de sus URL clasificadas como Detectada, actualmente sin indexar.

Si tu blog tiene unos cientos de artículos y Google los visita sin problema, tu prioridad es otra, como mejorar el contenido, los enlaces internos y la experiencia de quien lee. Yo no gastaría tiempo en optimizar el crawl budget de una web pequeña. Eso sí, si tu tienda genera URL automáticas con filtros, vale la pena revisarlo. Un texto anterior de Google ya decía que, con menos de unos pocos miles de URL y páginas nuevas rastreadas el mismo día, normalmente no es prioritario.

¿Qué desperdicia el presupuesto de rastreo?

Desperdician presupuesto las URL que no aportan nada y que Googlebot sigue visitando, como duplicados, parámetros y errores disfrazados. Cada visita a una de ellas es tiempo que no se dedica a tus páginas importantes.

Google señala, entre los casos que más recursos consumen, estos:

• Navegación facetada e identificadores de sesión en las URL.
• Contenido duplicado dentro del propio sitio.
• Páginas de error blandas, los llamados soft 404.
• Páginas hackeadas.
• Espacios infinitos y proxies.
• Contenido de baja calidad o spam.

A eso se suman las cadenas largas de redirecciones, que obligan a Googlebot a dar varios saltos para llegar a una sola página. Y las páginas eliminadas que siguen devolviendo un 200 con un mensaje de error. Una tienda online con filtros de color, talla y precio puede generar miles de combinaciones que nadie busca en Google y que sí rastrea un bot.

¿Cómo ver lo que Googlebot rastrea en tu web?

Lo ves en el informe Estadísticas de rastreo de Search Console, dentro de la configuración de la propiedad. Es la forma más directa de saber en qué gasta su tiempo Googlebot en tu sitio y si coincide con las páginas que de verdad quieres posicionar.

En Search Console, abre Configuración y entra en Estadísticas de rastreo. Ahí aparecen las solicitudes de Google a lo largo del tiempo, el tamaño total descargado, el tiempo medio de respuesta y el estado del host, además del desglose por respuesta del servidor, tipo de archivo, finalidad del rastreo (descubrimiento o actualización) y tipo de Googlebot.

Si quieres saber mas sobre qué es Google Search Console te invito a leer nuestro artículo que habla sobre todo lo que necesitas saber.

Solo está disponible para propiedades de dominio o de prefijo de URL en la raíz, y Google lo describe como un informe para usuarios avanzados. Si tu sitio tiene menos de mil páginas, no necesitas usarlo. En la inspección de URL puede aparecer el aviso Hostload exceeded, señal de que Google frenó el rastreo para no saturar tu servidor.

Fíjate en picos de errores 5xx, en un tiempo de respuesta que sube y en muchas solicitudes a URL con parámetros. O sea, mira dónde gasta Googlebot su tiempo y si coincide con lo que a ti te importa.

¿Cómo optimizar el crawl budget paso a paso?

Optimizar el crawl budget consiste en reducir las URL que sobran, acelerar tu servidor y señalar con claridad cuáles son las importantes. Google plantea estas acciones en su guía, y conviene ir en orden porque las primeras suelen dar más resultado que las últimas.

Lo que cambia es el tamaño del problema. En un sitio grande son rutinas continuas, y en uno mediano, una revisión puntual cada cierto tiempo. Sigue este orden cuando lo trabajes:

1. Consolida el contenido duplicado, con una sola versión de cada página.
2. Bloquea en el robots.txt las URL sin importancia, como versiones ordenadas de una misma página o el scroll infinito.
3. Devuelve 404 o 410 en las páginas eliminadas de forma permanente y corrige los soft 404.
4. Mantén el sitemap actualizado e incluye lastmod cuando haya contenido nuevo.
5. Evita las cadenas largas de redirecciones.
6. Mejora el tiempo de respuesta del servidor y usa caché HTTP con respuestas 304.
7. Revisa Estadísticas de rastreo después de cada cambio importante y compara.

Si el límite viene de tu servidor, Google admite que otra salida es añadir recursos. Y si el problema es la demanda, la salida es mejorar la calidad del contenido para el producto de Google que te interesa. No hay truco secreto, hay orden y paciencia para medir.

¿Qué errores evitar al optimizarlo?

Los errores más comunes son creer que noindex ahorra presupuesto, esperar que robots.txt lo reasigne y obsesionarse con un sitio que no lo necesita. Casi todos nacen de aplicar al azar recetas que sirven para otro problema.

Estos son los que más se repiten:

• Usar noindex para ahorrar rastreo, cuando Google igual solicita la página y luego la descarta, así que pierde tiempo de rastreo.
• Bloquear con robots.txt esperando que ese presupuesto pase a otras páginas, cuando Google no lo traslada salvo que el sitio ya esté en su límite de capacidad.
• Bloquear con robots.txt una página eliminada en lugar de devolver 404 o 410, porque una URL bloqueada permanece más tiempo en la cola.
• Tratar el presupuesto de rastreo como factor de ranking y tocar la web esperando subir posiciones.
• Optimizar sin medir, sin mirar antes Estadísticas de rastreo.

Cuando dudes de qué corregir primero, no empieces por el rastreo. Haz una auditoría SEO paso a paso y deja que los datos te digan si el presupuesto es un problema real o si el freno está en otro lugar, como contenido débil o enlaces internos pobres.

Ahora que sabes qué es el crawl budget y que no es un factor de ranking, ya puedes decidir si es tu batalla. Entra hoy en Estadísticas de rastreo y mira cuántas solicitudes hace Google y adónde van.

Si quieres dejar de adivinar y aprender a ordenar el rastreo dentro de una estrategia SEO completa, con ejercicios aplicados y un equipo que te corrige, te esperamos en el Diplomado SEO + AIO de aprendoclub, nuestro programa estrella.

Preguntas frecuentes

¿El crawl budget es un factor de ranking?

No. Google explicó que rastrear es necesario para aparecer en los resultados, pero que el rastreo no es una señal de posicionamiento. Que Googlebot te visite más no te hace subir posiciones. El efecto es indirecto, ayuda a que tus páginas importantes se descubran y se actualicen a tiempo.

¿Cómo sé si mi sitio tiene problemas de rastreo?

Revisa en Search Console el informe Estadísticas de rastreo, el de indexación de páginas y la inspección de URL. Las señales son picos de errores del servidor, tiempos de respuesta altos, muchas URL con estado Detectada, actualmente sin indexar y avisos de Hostload exceeded.

¿Sirve noindex o robots.txt para ahorrar presupuesto de rastreo?

Noindex no ahorra presupuesto, porque Google igual pide la página para leer la etiqueta. El robots.txt evita que rastree URL sin importancia, pero Google no traslada ese presupuesto a otras páginas salvo que tu sitio ya esté en su límite de capacidad. Para páginas eliminadas, usa 404 o 410.

¿Cuántas páginas necesito para preocuparme por el rastreo?

Google habla de sitios con un millón de páginas o más que cambian cada semana, o de 10.000 páginas o más que cambian a diario. Es una estimación aproximada. Si tu sitio tiene menos y Google rastrea tus páginas nuevas el mismo día, normalmente no es una prioridad.

¿Qué es el crawl budget en palabras simples?

Es la cantidad de URL de tu sitio que Google puede y quiere rastrear. Puede según lo rápido y estable que sea tu servidor, y quiere según el interés que tengan tus páginas. Si tu web es pequeña, casi nunca es un problema que te quite el sueño.