Crawl budget

Crawl budget to liczba adresów URL, które wyszukiwarka chce i może przecrawlować w danej witrynie w określonym czasie. Wyznacza go wydajność crawlowania serwera oraz zapotrzebowanie Google na strony witryny.

Crawl budget opisuje, ile uwagi Googlebot poświęca Twojej stronie. Google wyjaśnia go jako połączenie dwóch rzeczy:

  • Limit wydajności crawlowania: ile żądań Google może wysłać bez przeciążania Twojego serwera. Szybkie, bezbłędne odpowiedzi podnoszą ten limit; wolne odpowiedzi i błędy 5xx go obniżają.
  • Zapotrzebowanie na crawling: ile Google chce crawlować. Popularne strony, strony, które często się zmieniają, i adresy URL, których wcześniej nie widziało, zwiększają zapotrzebowanie.

Razem decydują o tym, ile adresów URL Googlebot pobiera dziennie i które traktuje priorytetowo.

Kogo to dotyczy. Dla większości stron z kilkoma tysiącami podstron crawl budget nie jest realnym problemem. Samo Google mówi, że ma on znaczenie głównie dla bardzo dużych witryn (rzędu setek tysięcy lub milionów adresów URL) albo witryn, których treści zmieniają się bardzo szybko, takich jak duże sklepy internetowe, marketplace’y, serwisy ogłoszeniowe i wydawcy newsowi. Jeśli nowe strony w małym serwisie nie są indeksowane, przyczyną jest zwykle jakość lub linkowanie wewnętrzne, a nie crawl budget.

Co marnuje crawl budget:

  • Nawigacja fasetowa, która tworzy miliony kombinacji filtrów i sortowania.
  • Identyfikatory sesji, parametry śledzenia i strony kalendarza, które ciągną się w nieskończoność.
  • Długie łańcuchy przekierowań i wiele uszkodzonych linków wewnętrznych.
  • Zduplikowane wersje tej samej strony (http i https, z ukośnikiem na końcu i bez niego, warianty z wielkimi literami).
  • Błędy soft 404 i strony o niskiej wartości, które są wielokrotnie crawlowane.

Jak to poprawić:

  1. Blokuj w robots.txt naprawdę bezużyteczne wzorce adresów URL, takie jak wyniki wyszukiwania wewnętrznego czy niekończące się kombinacje filtrów.
  2. Linkuj wewnętrznie do kanonicznego adresu URL, nigdy do wersji z parametrami.
  3. Napraw łańcuchy przekierowań i zaktualizuj linki wewnętrzne tak, by prowadziły prosto do docelowego adresu URL.
  4. Umieszczaj w mapach witryny XML tylko indeksowalne strony i używaj dokładnych dat lastmod.
  5. Popraw czasy odpowiedzi serwera i utrzymuj niski poziom błędów.
  6. Zwracaj 404 lub 410 dla stron, które naprawdę zniknęły, aby Google przestało do nich wracać.

Pamiętaj, że noindex nie oszczędza crawl budgetu: Google musi przecrawlować stronę, żeby zobaczyć tag noindex. Tagi kanoniczne też nie zatrzymują crawlowania. Tylko robots.txt zapobiega pobraniu strony.

Monitoring. Raport Statystyki indeksowania w Google Search Console pokazuje łączną liczbę żądań, kody odpowiedzi, typy plików i cel każdego crawlowania (odkrycie lub odświeżenie). Logi serwera dają pełny obraz i pokazują też, ile żądań wysyłają do Twojego serwera crawlery AI, co na dużych stronach może być znaczące.

Pytania o crawl budget

Czy crawl budget ma znaczenie dla małych stron?

Rzadko. W przypadku stron z kilkoma tysiącami adresów URL Google zwykle jest w stanie przecrawlować wszystko; problemy z indeksowaniem dotyczą tam niemal zawsze jakości treści lub linków wewnętrznych.

Czy noindex oszczędza crawl budget?

Nie. Google musi przecrawlować stronę, aby odczytać tag noindex. Tylko zablokowanie adresu URL w robots.txt powstrzymuje jego pobranie.

Jak sprawdzić swój crawl budget?

Otwórz w Google Search Console Ustawienia, a następnie Statystyki indeksowania, aby zobaczyć dzienne żądania crawlowania, kody odpowiedzi i czasy odpowiedzi. Pliki logów serwera dają pełniejszy obraz.

Powiązane pojęcia