El viernes, Lizzi Sassman de Google actualizó el documento de ayuda de administración del presupuesto de rastreo con dos temas más. Específicamente, Google agregó dos nuevos mitos a la documentación del presupuesto de rastreo.
(1) Google agregó que usar noindex no es una buena manera de controlar el crawl budget, pero puede ser un método para liberar indirectamente el presupuesto de rastreo a largo plazo, dijo Google.
(2) Además, las páginas que sirven códigos de estado 4xx (excepto 429) no desperdician el crawl budget, escribió Google.
Aquí es donde Google los agregó , justo en la parte inferior:
Cualquier URL que se rastree afecta el presupuesto de rastreo, y Google tiene que rastrear la página para encontrar la regla de noindex. Sin embargo, noindex está ahí para ayudarlo a mantener las cosas fuera del índice. Si desea asegurarse de que esas páginas no terminen en el índice de Google, continúe usando noindex y no se preocupe por el presupuesto de rastreo. También es importante tener en cuenta que si elimina las URL del índice de Google con noindex o de otra manera, Googlebot puede enfocarse en otras URL en su sitio, lo que significa que noindex puede liberar indirectamente algo de presupuesto de rastreo para su sitio a largo plazo.
Las páginas que sirven códigos de estado HTTP 4xx (excepto 429) no desperdician el presupuesto de rastreo. Google intentó rastrear la página, pero recibió un código de estado y ningún otro contenido.
Discusión del foro en Mastodon .