Qué es el «crawl budget» y cómo influye en la visibilidad de tu web

¿Alguna vez te has preguntado cómo prioriza Google los sitios webs que deben analizar sus robots y cuánto tiempo debe dedicar a cada uno de ellos?

Si no es así, quizás deberías prestarle más atención, ya que es uno de los factores principales para que el buscador determine tu posicionamiento orgánico.

En este artículo hablaremos del crawl budget, qué importancia tiene para el SEO de una página y cómo es posible mejorar este factor dentro de tu sitio.

¿Qué es el «crawl budget»?

Podríamos definir el crawl budget como el «presupuesto de tiempo» que asigna Google a cada sitio web para ser rastreado por su crawler o robot.

Para entender bien qué es, primero debemos saber cómo trabaja Google a la hora de rastrear los millones de páginas que hay indexadas en su buscador.

El “crawler” de Google

Un “crawler” viene a ser como un robot de Google, también llamado “Google Bot” en el argot del SEO, que se encarga de analizar cada página web que está indexada en el buscador.

Este crawler dispone de un tiempo limitado para cada web, porque debe rastrear billones de sitios. Y es precisamente el crawl budget el que asigna la cantidad de tiempo que el robot debe emplear en cada uno de ellos.

La importancia del «crawl budget«

Su principal utilidad es la de aumentar ese tiempo que el bot dedica a rastrear y analizar tu web y, sobre todo, los nuevos contenidos que pueda encontrar y que aún no habías publicado tras su última “visita”.

Esto aumentará, a su vez, las probabilidades de indexar tus páginas o el contenido de tu sitio web.

Y, lo que es más importante, si permanece más tiempo en tu sitio, logrará comprender mucho mejor de qué trata el contenido y posicionará tus páginas o los enlaces para las respectivas intenciones de búsqueda de los usuarios.

¿Qué supone tener un «crawl budget» bajo?

Tener un presupuesto de rastreo bajo puede llegar a evitar que gran parte de tu contenido se indexe y sea reconocido por Google.

Y esto no solo aplica al contenido nuevo, sino también al antiguo que actualices o incluso a páginas que desees posicionar, pero que quedaron muy al fondo de tu web.

Por ejemplo, imagina que tienes un sitio con más de 200 páginas, pero tu crawl budget solo da para rastrear 25 al día. Necesitarías unos 8 días para que Google rastree todo tu sitio web.

¿Qué sucede cuando tu web supera esas 200 páginas de contenido, pero tu presupuesto de rastreo sigue siendo bajo? Que el tiempo promedio que necesita Google para rastrear la totalidad de tu web aumenta considerablemente.

Lo peor es que si Google no reconoce tu contenido, no solo es imposible posicionarlo, sino que puede llegar a afectarte negativamente, ya que momentáneamente no existe para el buscador y, por lo tanto, cualquiera puede copiarlo y reclamarlo como “propio”, algo que más adelante puede acarrear alguna penalización por parte de Google.

De ahí la importancia de optimizar el crawl budget, que tu contenido indexe con mayor velocidad y puedas comenzar a posicionarlo cuanto antes, así como también que sea reconocido por Google para que nadie pueda plagiarlo.

Técnicas para agilizar el rastreo de Google

Hay una serie de técnicas para mejorar el SEO de las páginas, que hacen que el crawler rastree más rápido y mejor y, en consecuencia, Google le dé más prioridad a tu sitio web.

1. Evita el contenido duplicado

Tener contenido duplicado dentro de tu sitio web provocará que el crawler pierda tiempo rastreando páginas que son muy similares y que, en consecuencia, afectarán negativamente a tu SEO.

Mi consejo es que te dejes asesorar por un content manager, que se encargue de revisar y eliminar todo aquello que no sea necesario, para que el bot invierta su tiempo en analizar contenido realmente útil y de valor para ti.

2. Disminuye el tiempo de carga

El tiempo de carga es otro factor importante, ya que hace que el robot pase en algunas partes de tu web más tiempo del que realmente necesitaría.

Por ejemplo, si subes imágenes de gran peso o de un tamaño muy superior al que tu plantilla puede mostrar, el crawler intentará abrirlas durante más tiempo del debido, y hará que dedique menos tiempo a otras partes del sitio que quizá te interesen más.

Cómo mejorar la velocidad de carga de nuestra web

3. Un mal enlazado interno

Tener un enlazado correcto entre las distintas URL (artículos de blog, páginas, landings,…) hará que ahorres al robot mucho tiempo al ir de una página a otra, además de que te permitirá dar prioridad a aquellas páginas que realmente te importa indexar.

4. Indícale qué contenido quieres indexar

Cuando comenzamos a tener conocimientos de SEO, es común pensar que es importante indexar absolutamente todo el contenido de nuestra web, pero nada más lejos de la realidad…

Llegará un punto en el que tu crawl budget no será suficiente para todo tu contenido, por lo que tendrás que decidir qué URL son las que realmente merece la pena indexar y cuáles no.

Con esto en mente, aprovecha la etiqueta “noindex”, que te permite decirle al crawler cuál es el contenido que no te interesa que rastree.

5. Evita las redirecciones 301

Debes utilizar la menor cantidad de redirecciones 301 que puedas y, más importante aún, que las elimines de tu enlazado interno.

Evita siempre enlazar a una página a la que tienes aplicada una redirección, porque cuando el bot pase por ese enlace de origen, también tendrá que pasar por la redirección.

Si enlazas directamente a esta última, le ahorrarás quizás unas “milésimas de segundo” muy valiosas.

6. No indexes todo

En un sitio web profesional existen muchas páginas que no nos interesa tener indexadas. Un ejemplo claro son las páginas de contacto, disclaimers o avisos legales, las URL de categorías que únicamente contengan los productos o últimos artículos de tu blog, e incluso la obligatoria política de cookies.

Deberás poner las etiquetas “nofollow” y “noindex” a este tipo de páginas, para comunicar al robot de Google que no debe rastrearlas, porque no las quieres indexar (ni tampoco traspasarle autoridad).

Conclusión

Son fundamentales los contenidos que aporten calidad y valor al usuario, y a Google le gusta ver que los actualizas constantemente.

Si tienes una página donde no es necesario subir contenido nuevo con frecuencia, por lo menos deberías actualizarlo, ya que así Google determinará que rastrear tu web no es una pérdida de tiempo y recursos, sino que puede toparse con contenido “nuevo” cada vez que lo haga.