¿Qué es el Crawl Budget, qué importancia tiene para Google y cómo puedes mejorarlo?

¿Qué es el Crawl Budget y cómo afecta al posicionamiento de tu web?

¿Cuántas veces y con qué frecuencia Google visita nuestra web? A esa frecuencia de visitas es a lo que se le llama Crawl Budget. Y este es en gran medida un factor más a tener en cuenta para indexar y posicionar mejor una web.

Como todo blogger, soy el primero que quiere que las arañas de Google pasen con mayor frecuencia por mi web. A pesar de que en mi caso no puedo quejarme, porque el tiempo de rastreo de mi blog es muy bueno, es cierto que no siempre fue así.

¡Conseguir un mejor Crawl Budget te ayudará a potenciar el posicionamiento de tu sitio web!

Una mejora sustancial en el Crawl Budget va a repercutir de forma directa en la velocidad de indexación de tus contenidos, ahora bien, necesitas conocer mejor su comportamiento y como funciona para optimizarlo.

A veces, no por tener una mayor frecuencia de rastreo por parte de Google vas a indexar y posicionar mejor.

Así pues, para conocer mejor cómo mejorarlo y optimizarlo cuento en este este 87º post de invitado con David Ayala, especialista en SEO.

Te dejo a continuación con este post que ha escrito y en el que nos cuenta con detalle acerca de qué es el Crawl Budget y cómo desde ya podemos mejorarlo en nuestra web.


¿Qué es el Crawl Budget y cómo mejorarlo?

¿Qué es el Crawl Budget y cómo mejorarlo en tu sitio web?

Si estás leyendo este post, es muy probable que seas alguien que lleva un buen tiempo en el mundo SEO o que tal vez está empezando a dar sus primeros pasos en el posicionamiento web.

En cualquiera de los dos casos, si lo estás leyendo es porque seguramente el término Crawl Budget te suena mucho, y hasta quizás hayas oído algo sobre él en alguna parte.

Pero por sobre todo, este artículo está definitivamente dirigido a tí si aún no tienes muy en claro sobre lo que significa este término.

Es por eso que mi objetivo de hoy será el de intentar resolver todas tus dudas respecto a qué es el Crawl Budget y cuáles son los factores que contribuyen a mejorarlo.

¿Me acompañas a que lo veamos juntos?

¡Dispara tus visitas!

¿Qué es un crawler?


El crawler (o araña, como también se lo suele llamar), es un software que se ocupa de rastrear y explorar todos los sitios web y sus diferentes URLs de una forma automática.

¿Qué es el Crawl Budget?


Todos los que trabajamos en Internet hemos oído o leído más de una vez algunas frases en las que se nombraba este término. Pero, realmente, ¿Qué significa?

Definición de Crawl Budget⇒ hace referencia a lo que se denomina “presupuesto de rastreo”. El presupuesto de rastreo es el tiempo que asigna Google a una web determinada para ocuparse del rastreo de ciertas ULRs o páginas y sus contenidos internos.

A su vez, esto significa que, en base a ese presupuesto, Google pasará más o menos tiempo escaneando nuestra web.

Quizás ahora te estés preguntando: ¿es esto realmente importante?

Aunque en un principio pensemos que no sea relevante que ese presupuesto sea mayor o menor, deberíamos saber que es algo de vital importancia para cualquier proyecto.

Y ahora veremos el por qué.

¿Por qué un buen presupuesto es tan importante y qué problemas podemos tener en caso de que sea bajo?

Partamos del ejemplo de una web que tiene X presupuesto de rastreo asignado por Google para su rastreo. Google Bot pasará por esa web, empezará a rastrearla, a navegar por ella etc. y, una vez acabado el tiempo estimado, Google Bot saldrá de esa web.

Pero he aquí el quid de la cuestión: si el presupuesto de rastreo que tiene asignado es pequeño, es muy posible que Google Bot salga de ese sitio antes de haberse ocupado de todo el contenido nuevo que se haya introducido en esa web.

¿Y qué significa esto? Que muchos de los contenidos que tenga esa web no serán indexados, y por lo tanto esa web se enfrentará a varios problemas, como por ejemplo:

  • Que ese contenido no se posicione rápido, ya que ni si quiera Google sabrá que existe.
  • Que se siga generando contenido (que no esté indexado y quede en zonas más alejadas de esa web), y que sea más difícil aún para Google encontrarlo, lo que significa que el tener un presupuesto de rastreo bajo suma una mayor distancia hacia las zonas principales de la web.
  • Que si Google tarda mucho en rastrear y reconocer ese contenido, y algún competidor se lo copia y lo indexa él antes que los de esa web, el mismo Google determine que la que está copiando es nuestra web del ejemplo y no el otro, con la consecuente penalización.

Con estos ejemplos se pueden ver claramente algunas de las desventajas a las que nos enfrentamos cuando contamos con un presupuesto bajo.

Otro gran problema que podemos tener es que Google tarde mucho tiempo en coger cualquier tipo de cambio que hagamos a nivel de SEO on page, algo que a su vez nos retrasará el tiempo en que se ven plasmados los resultados de cada uno de esos cambio que hagamos en nuestra web.

Sobre la importancia de aprovechar nuestro Crawl Budget

No solo es importante conseguir tener un buen Crawl Budget, sino también saber aprovecharlo. Y es que por mucho tiempo de rastreo que nos asigne Google, si no lo aprovechamos no nos servirá de nada.

¿Qué quiero decir con esto?

Que, primero que nada, deberíamos tener muy bien optimizada nuestra web para aprovechar el 100% de nuestro presupuesto, y para que Google Bot no se pierda en el camino del rastreo de nuestros contenidos.

Sobre el cómo aprovechar y mejorar del Crawl Budget es algo de lo que os hablaré un poco más adelante en este mismo artículo.

Antes de eso necesitamos obtener información sobre cómo se está comportando el Bot de Google en nuestro sitio.

¿Cómo se comporta Google en nuestra web?


Algo muy importante para poder comprender a qué zonas le está dando más importancia y cómo se comporta Google en nuestra web, es echar un ojo a los logs.

Los logs están almacenados en nuestro propio servidor, y podemos acceder directamente a ellos para ver cómo son los accesos que está efectuando Google Bot y qué zonas visita en cada momento.

Eso sí: hay que reconocer que hacer esta comprobación puede resultar un poco tedioso, pero por suerte existen programas como ScreamingFrog Log File Analyser que nos pueden facilitar mucho el proceso.

Screaming Frog Log Analyser

Gracias a Screaming podemos, por ejemplo, comprobar exactamente:

  • Por dónde navega Google
  • La frecuencia con que lo hace
  • Las zonas que más frecuenta
  • Las que producen una redirección
  • Además de un gran número de datos que nos ayudarán a comprender mejor cómo se comporta Google en nuestra web

Llegados a este punto, ya tenemos toda la información necesaria como para poder empezar a trabajar en nuestra web y poder así optimizar y aumentar nuestro Crawl Budget.

¿Cómo optimizar nuestro Crawl Budget?


En primer lugar, lo que nos interesa es optimizar lo que ya tenemos, es decir, sacar el máximo provecho al presupuesto de rastreo que tenemos actualmente asignado.

Para conseguirlo, te prestar atención a las siguientes recomendaciones.

 Seguir la filosofía del “Menos es más”

Cuando digo menos es más me refiero a que no por tener 100.000 páginas indexadas de tu web en Google vas a conseguir más visitas que teniendo tan solo 1.000.

Esto puede transformarse en un problema, ya que muchas personas tienden a generar mucho contenido que realmente no sirve de nada o que no va a posicionar en la vida porque piensan que el contenido en grandes cantidades posiciona, cuando realmente puede hacer el efecto totalmente contrario.

Si haces que Google Bot pierda el tiempo por muchas URLs que no te interesan, no tendrá tiempo para poder rastrear las que de verdad quieres posicionar, y por lo tanto estarás desaprovechando tu Crawl Budget en páginas sin sentido.

Por ello, lo mejor es que si tienes una web de tamaño mediano/grande, te preguntes primero qué contenido merece la pena conservar y cuál deberías eliminar.

Del mismo modo, otros tipos de contenidos como los generados por paginaciones, parámetros etc., son contenidos que solo le harán perder tiempo a Google Bot.

Elimina los contenidos que sean innecesarios en  y, con los que no puedas eliminar, simplemente utiliza las etiquetas robots noindex nofollow y bloquéalas con el archivo robots.txt.

Lo mismo ocurre con los contenidos susceptibles a canibalización, es decir, aquellos que compiten por las mismas keywords dentro de tu propia web.

En raras ocasiones se puede posicionar un conjunto de los propios contenidos en los primeros puestos para términos similares, convirtiéndose en un gasto innecesario de rastreo.

En este caso, en vez de eliminar los contenidos que compitan entre sí, elige sólo la versión que esté mejor posicionada y a las otras hazles una redirección 301.

► Optimiza la velocidad de carga

Optimiza la velocidad de carga de tu web

Si tu web tarda mucho en cargar, Google Bot va a tener menos tiempo para poder rastrear páginas internas de tu web y, por lo tanto, va a perder más tiempo esperando que rastreando.

Por eso, es muy importante que consigas que tu web sea lo más rápida posible en todos los aspectos.

Para ello, optimiza el código fuente de tu web para no insertar códigos innecesarios, javascripts que no se usen, CSS antiguos que no se estén usando, imágenes demasiado pesadas, etc.

» También te puede interesar: ¿Qué es el WPO y por qué es un factor SEO clave para el posicionamiento de tu Web?

Del mismo modo, un buen servidor te puede ayudar a mejorar la velocidad de carga de manera considerable, además de optimizarlo usando sistemas de caché tanto a nivel de servidor como a nivel de CMS.

► Enlaces y redirecciones problemáticos

Lo mismo ocurre con las redirecciones innecesarias, ya que cada una por la que pasa Google Bot, es un tiempo que se pierde de nuestro presupuesto de rastreo.

Para evitarlo, debemos intentar utilizar las mínimas redirecciones posibles, y sobre todo no enlazar a URLs redireccionadas.

Enlazar a páginas que den error 404 es sin duda otro inconveniente, ya que haremos que Google pierda tiempo en visitar URLs que ya no existen o que dan error, perdiendo con ello aún más presupuesto de rastreo.

Con Screaming Frog o también con Xenu podemos comprobar las URLs que tengamos redireccionadas y las páginas que nos den error 404, para luego corregirlo.

Screaming Frog

Otro gran problema es enlazar a páginas que realmente no nos interesan en cuanto a SEO, como por ejemplo:

  • Los avisos legales
  • Las políticas de cookies
  • Las páginas de contacto

A este tipo de enlaces los colocamos, sin casi darnos cuenta, en prácticamente todas nuestras URLs, y eso hace que Google Bot las visite en reiteradas ocasiones y pierda mucho tiempo en el proceso.

Una solución para este tipo de páginas es utilizar el atributo rel nofollow, aunque no es del todo recomendable porque perderemos parte de link juice al usarlo.

Lo ideal es hacerlo accesible, pero sin un link. Pero ¿Cómo? Muy fácil: mediante javascript o jquery.

► Enlazado interno

Como bien sabemos, mientras más URLs enlacemos desde nuestros menús y desde las zonas comunes de nuestra web, más tiempo le haremos perder a Google Bot rastreándolas.

Por ello, no es aconsejable abusar de las zonas de menú que se comparten en las URLs de nuestra web. A estos espacios los reservaremos para dedicárselos a las zonas que queramos reforzar de cara al SEO.

Ya vimos anteriormente cómo saber cuáles son las URLs que Google Bot visita con más frecuencia en nuestra web, esas zonas más calientes.

El próximo paso es aprovechar esas zonas para enlazarlas a otras que queramos darle más énfasis y para que Google Bot no pierda tanto tiempo en otras sin tanta importancia.

¿Cómo aumentar nuestro presupuesto de rastreo?


Ahora que ya hemos conseguido aprovechar el 100% nuestro presupuesto existente de rastreo, veremos qué podemos hacer para aumentarlo.

Y esto, contrariamente a lo que estarás pensando, es algo bastante complicado de hacer.

Google puede tener tu web encasillada en cuanto al tiempo de rastreo que mereces. Esto es, nada más y nada menos, que una asignación pura y dura (y a veces arbitraria).

Sin embargo, aumentar ese presupuesto no es tarea imposible y con trabajo se puede conseguir.

Ahora bien: ¿cómo podemos hacerlo? Básicamente, hay dos caminos a seguir.

► Aumentar la autoridad de la URL

Si queremos aumentar la frecuencia de rastreo de nuestra web tenemos que aumentar la autoridad de la misma para que así Google determine que esa web tiene una mayor importancia, y para “obligarlo” a que pase con mayor frecuencia.

Aumenta tu autoridad gracias al Linkbuilding - SEMrush

Una forma de conseguir esto es a base de linkbuilding de calidad.

Si conseguimos enlaces de calidad hacia nuestras URLs, estaremos pasando un gran link juice hacia nuestra web, lo que aumentará la autoridad de nuestra web, hará que se posicione mejor y, como si esto no fuese poco, hará que Google le dé más relevancia.

Aumenta tu autoridad gracias al Linkbuilding - Ahrefs

► Actualizar los contenidos

Si nuestra web es estática y siempre tiene los mismos contenidos, es normal que Google Bot determine un presupuesto de rastreo bajo, ya que no va a encontrar nada nuevo cuando vuelva a acceder, y por lo tanto no desaprovechará sus valiosos recursos.

Es por ello que es importante actualizar los contenidos de nuestra web, ya sea de forma estática y dinámica.

Si tenemos una web tipo blog, podremos actualizarla regularmente sin problemas con contenido nuevo y rastreable por Google.

Si, en cambio, nuestra web es más bien estática, con un mismo número de URLs, la cosa puede complicarse, aunque también aquí contamos con una solución: la de actualizar los textos del contenido estático con regularidad.

Esto último es algo que también funciona muy bien cuando no se generen URLs nuevas.

¡Descárgate mi eBook gratuito sobre cómo poner en marcha estrategias de contenidos!

Algunas conclusiones sobre el Crawl Budget

El Crawl Budget no es un factor que te haga mejorar el SEO de una web directamente. Eso sí: cuando el Crawl Budget de una web mejora, su SEO también puede hacerlo.

¿A qué se debe esto? A que cuando este aumenta, el rastreo de las páginas web también lo hace, posicionando más rápidamente las nuevas URLs y cogiendo más rápidamente los cambios a nivel on page.

Para ir finalizando, y como vimos a lo largo de este artículo, son muchos los beneficios indirectos que pueden ayudar a que mejore el SEO de la web.

Imágenes: (seo) y (búsqueda) Freepik

Por eso me gustaría despedirme con un par de preguntas:

¿Tienes claro cuál es tu Crawl Budget?

Y en caso afirmativo: ¿estás seguro de estar sacándole el máximo provecho?

¡Hasta la próxima, amigos!

Mi nombre es David Ayala y llevo trabajando en Internet y haciendo SEO desde hace más de 14 años. Soy profesor en varias plataformas online, además de participar en varios eventos físicos sobre posicionamiento web tanto como colaborador como ponente.
Hay 20 comentarios
  • Borja
    Responder

    A mí personalmente me gusta mejorar la velocidad del sitio web para optimizar el crawl budget! sin duda se puede perder muchos recursos si tu web es lenta y no carga bien por tener demasiadas cosas.

    • Responder

      Hola Borja, sin duda, la velocidad de carga del sitio web es un factor también clave para la mejora del Crwal Budget. Gracias por tus aportaciones.

  • Rubèn Hierro
    Responder

    Hola, no me ha quedado claro en el artículo la explicación sobre las páginas de Aviso legal, Cookies, etc. Propones y cito literalmente “Lo ideal es hacerlo accesible, pero sin un link. Pero ¿Cómo? Muy fácil: mediante javascript o jquery”. ¿Podrías explicar en detalle este punto?

    Yo lo que haría es bloquear estas páginas por robots.txt. ¿Qué opinas?

    • Responder

      Hola Rubén, gracias por lanzarnos tu pregunta, le dejamos al autor que trate de responderla.

    • David Ayala
      Responder

      Si pones nofollow o usas robots.txt podrías intentar salvar el crawl budget, pero aun así queda el reparto del link juice en el aire, por que se pierde el link juice que debería de ir a parar a ese link. Por lo tanto lo mejor en estos casos es ofuscar esos links con javascript o jquery y así para el usuario es accesible pero para Google no existe el link.

  • Sergio - Lanzarote
    Responder

    Hola a todos! Maravilloso post!
    Muchas gracias por compartir esta información tan detallada y de valor. Tener en un mismo post una hoja de ruta de buenas maneras para mejorar el posicionamiento de nuestras web se agradece mucho. Estoy de acuerdo que una buena estrategia y mucha calidad garantiza el éxito. También que esto se logra con trabajo. Un abrazo a todos!

    • Responder

      Genial Sergio, nos alegra saber que te ha parecido tan estupendo.

      Estamos de acuerdo contigo, siempre es necesario una buena estrategia.

  • barberaonline
    Responder

    Buenas,
    En teoría si tenemos dado de alta nuestro sitemap en Google Search Console, Google va a tener acceso continuo a todos y cada uno de los contenidos de nuestra web. Imagino que esto debe ser importante para mejorar el Crawl Budget, ya que evitamos que el bot ande de un sitio a otro, de enlace a enlace, sin orden y con pérdidas de tiempo en la búsqueda de contenidos.
    ¿Qué opinas de esto?
    Un saludo

    • El Blog de Jose Facchin
      Responder

      Pues en teoría creemos que tienes toda la razón, saludos.

    • David Ayala
      Responder

      Realmente si tienes un buen enlazado interno y una buena estructura en tu web (esencial), conseguirás que Google navegue por todo igualmente. Sobre el sitemap, tener uno subido, no implica que Google vaya a indexar todo, ya que depende de muchos factores más. Sobre perdidas de tiempo, realmente el sitemap no te ahorra tiempo, lo único que te puede ayudar es a que encuentre esas urls y las indexe “al principio”, pero luego GoogleBot navegará por tu web, no por el sitemap, no se si me explico jeje.

  • Pascual Martínez
    Responder

    Gracias

    Por fin parece que se impone en sentido común, la calidad sobre la cantidad o popularidad.
    Poder crear material de calidad y que google te lo valore por encima de otros parámetros me parece genial, porque nos obliga a esforzarnos para crear contenidos de calidad para los visitantes

  • Juan Carlos M A
    Responder

    ¡hola…!
    Yo de esto no entiendo: lo mio es la programación y, hasta ahora, me limitaba a hacer las partes que trataban datos y hacían cosas. pero no me ocupaba de contenidos ni de posicionamiento. Pero ahora estoy haciendo un sitio propio y tengo que ocuparme de todo lo que no es programación pura.

    Una duda que me surge de cara a todo esto es la siguiente:

    Yo utilizo muchísimo preprocesamiento (PHP, sobre todo) y una técnica que utilizo mucho es que las páginas que deben mostrar listas de enlaces, (por ejemplo, una página que lista los artículos de un blog) NO CONTIENEN NIGUN ENLACE HASTA EL MOMENTO DE DESPACHARLA AL CLIENTE. Es decir, en su lugar hay una función que lee el contenido de un directorio y genera un array con los nombre de los archivos html que cumplen con un criterio determinado. A continuación la función compone las etiquetas “a” con los href y demás propiedades que correspondan y se hace el despacho al cliente. Esto significa que, mientras no haya un cliente haciendo una petición la pagina no contiene una lista de enlaces, si no que solo contiene una llamada a una función o a una clase que se ejecuta en el momento previo al despacho. ¿por qué lo hago así?. sencillo: para añadir nuevas paginas tan solo tengo que colocarlas en el directorio adecuado y la función PHP escribirá el html pertinente sin necesidad de tener que alterar nada en la pagina que hace el listado ni tener que añadir ningún registro a ninguna base de datos. Y, otro efecto derivado, es que no es posible que al cliente se le muestren enlaces rotos porque la función solo muestra enlaces a paginas que existen en cada momento…

    No sé si me explicado bien y me has entendido. La pregunta es, ¿Sabe google preprocesar las funciones PHP para para darse cuenta de que en una pagina se escriben enlaces en el momento de ser servida, o, simplemente, no sabe hacerlo y, por tanto, no “vé” que esa página contiene enlaces?

    He logrado expresarme? No, ¿verdad?

    • David Ayala
      Responder

      Hola, PHP se interpreta a nivel de servidor, es decir, ni Google ni el usuario pueden ver esas funciones php, si no que tan solo podrán ven el codigo fuente final. Para analizar exactamente lo que ve Google a nivel código, puedes ver el codigo fuente directamente desde cualquier navegador (es una opción que incluyen todos los navegadores).

      Un saludo!!

      • Juan Carlos M A
        Responder

        Sí. Efectivamente PHP se ejecuta en el servidor y al cliente solo le llega el codigo fuente que se ha generado DESPUÉS de la ejecución de las funciones oportunas… Y esa es exactamente mi pregunta: ¿Google ve EXACTAMENTE lo mismo que ve el cliente en su navegador?… O, preguntado de otro modo: ¿El servidor trata de la misma manera una petición tanto si proviene de un visitante cualquiera (que se ejecuta el PHP necesario antes de servir la respuesta en forma de código html y css) como si proviene de un bot de google?.

        Gracias por responderme.

        • David Ayala
          Responder

          Buenas, exacto, da igual que sea un bot o sea una persona, el servidor interpreta primero el código PHP antes de mostrar nada, por lo tanto no te preocupes por que no verá nada Google en cuanto al PHP, verá el código final directamente. Otra cosa es ya con javascript y similar, que son códigos de ejecución en navegador, ahí si que cambia todo bastante.

  • Responder

    Sin duda alguna, el SEO, así como el blogging y el Social Media, requiere de estrategia y trabajo táctico. Esto del Crawl Budget lo demuestra, ya que para que Google considere interesante aportarle más tiempo de rastreo a nuestras webs, es necesario que le lancemos el mensaje correcto: es decir, Google debe considerar que nuestro contenido es de calidad, y esto se consigue solamente con el tiempo, y como ya hemos dicho, trabajando estratégicamente.

    • El Blog de Jose Facchin
      Responder

      Muchas gracias Juan, pues así es como lo vemos también nosotros, perfecta la explicación que has dado.

    • David Ayala
      Responder

      Buenas Juan, ¡Gracias por tu comentario! Totalmente de acuerdo, hay que darle a Google calidad más que cantidad.

Déjanos tu comentario

¿Quieres formar parte de mi comunidad?

Send this to a friend