Из чего складывается
Первое ограничение техническое: робот следит за тем, как сервер отвечает на нагрузку. Растут задержки и ошибки — частота обращений снижается. Отвечает быстро — робот осторожно повышает интенсивность.
Второе ограничение — оценка целесообразности. Система тратит ресурс там, где регулярно находит новое и востребованное. Сайт, который годами не меняется, обходится реже — не в наказание, а по экономии.
Что бюджет тратит впустую
Бесконечные адреса. Фильтры, сортировки и параметры порождают комбинации, которых формально бесконечно много. Canonical и правила обхода в robots.txt решают эту задачу.
Цепочки редиректов. Каждый лишний шаг — отдельное обращение. Разбор в материале про 301-редирект.
Дубли. Одно и то же содержимое по нескольким адресам обходится многократно. Подробнее — дублирование контента.
Мусор в индексе. Пустые страницы и служебные разделы забирают обращения у важных.
Когда бюджет действительно ограничивает
Ограничение становится реальным при совпадении трёх условий: адресов много, меняются они часто, а сервер отвечает медленно. Каталог с фильтрами, порождающими комбинации, попадает под все три сразу; раздел из сотни статей не попадает ни под одно.
В отчётах это видно по расхождению: свежие страницы неделями ждут первого обхода, а робот в это же время повторно ходит по разделам, которые не менялись. Предмет работы — именно расхождение между тем, что обходится, и тем, что вы считаете важным.
Увеличить бюджет нельзя, поэтому лечится оно сокращением расхода: закрытием лишних комбинаций, склейкой дублей и ускорением ответа. Последнее стоит проверить отдельно — скорость страницы влияет на частоту обращений напрямую, потому что робот измеряет время ответа и снижает интенсивность, не дожидаясь ошибок.
Главное недоразумение
Краулинговый бюджет — популярное объяснение для страниц, которые не попали в индекс. В подавляющем большинстве случаев объяснение неверное: обход состоялся, а индексирование не произошло по другой причине — содержимое сочли недостаточно ценным или дублирующим.
Различить два случая просто. Если в отчётах видно, что страница обойдена, но не проиндексирована, бюджет ни при чём — вопрос к самой странице. Если робот на ней не был ни разу, проверять нужно внутренние ссылки и карту сайта, а не бюджет.
Частые вопросы
С какого размера сайта об этом стоит думать?
Как понять, что бюджет действительно тратится впустую?
Ускорит ли обход увеличение скорости сайта?