Crawl-Budget

Das Crawl-Budget ist die Anzahl an URLs, die eine Suchmaschine auf einer Website in einem bestimmten Zeitraum crawlen will und kann. Es ergibt sich aus der Crawling-Kapazität des Servers und daraus, wie viel Bedarf Google an den Seiten der Website hat.

Crawl-Budget beschreibt, wie viel Aufmerksamkeit der Googlebot Ihrer Website widmet. Google erklärt es als Kombination aus zwei Dingen:

  • Grenze der Crawling-Kapazität: wie viele Anfragen Google stellen kann, ohne Ihren Server zu überlasten. Schnelle, fehlerfreie Antworten erhöhen diese Grenze; langsame Antworten und 5xx-Fehler senken sie.
  • Crawl-Bedarf: wie viel Google crawlen möchte. Beliebte Seiten, Seiten, die sich oft ändern, und URLs, die Google noch nicht gesehen hat, erzeugen mehr Bedarf.

Zusammen bestimmen sie, wie viele URLs der Googlebot pro Tag abruft und welche er priorisiert.

Wen es betrifft. Für die meisten Websites mit einigen tausend Seiten ist das Crawl-Budget kein echtes Thema. Google selbst sagt, dass es vor allem für sehr große Websites (denken Sie an Hunderttausende bis Millionen URLs) oder für Websites mit sehr schnell wechselnden Inhalten wichtig ist, etwa große Onlineshops, Marktplätze, Kleinanzeigenportale und Nachrichtenpublisher. Werden neue Seiten auf einer kleinen Website nicht indexiert, liegt es meist an Qualität oder interner Verlinkung, nicht am Crawl-Budget.

Was Crawl-Budget verschwendet:

  • Facettennavigation, die Millionen von Filter- und Sortierkombinationen erzeugt.
  • Session-IDs, Tracking-Parameter und Kalenderseiten, die endlos weitergehen.
  • Lange Weiterleitungsketten und viele defekte interne Links.
  • Doppelte Versionen derselben Seite (http und https, mit und ohne abschließenden Schrägstrich, Varianten mit Großbuchstaben).
  • Soft-404-Seiten und minderwertige Seiten, die wiederholt gecrawlt werden.

So verbessern Sie es:

  1. Blockieren Sie wirklich nutzlose URL-Muster in der robots.txt, etwa interne Suchergebnisse oder endlose Filterkombinationen.
  2. Verlinken Sie intern auf die kanonische URL, niemals auf Parameterversionen.
  3. Beheben Sie Weiterleitungsketten und aktualisieren Sie interne Links, sodass sie direkt auf die endgültige URL zeigen.
  4. Beschränken Sie XML-Sitemaps auf indexierbare Seiten und verwenden Sie korrekte lastmod-Daten.
  5. Verbessern Sie die Antwortzeiten des Servers und halten Sie die Fehlerquote niedrig.
  6. Geben Sie für Seiten, die wirklich weg sind, 404 oder 410 zurück, damit Google sie nicht mehr aufruft.

Beachten Sie, dass noindex kein Crawl-Budget spart: Google muss eine Seite crawlen, um das noindex-Tag zu sehen. Auch Canonical-Tags verhindern das Crawling nicht. Nur die robots.txt verhindert den Abruf.

Monitoring. Der Bericht Crawling-Statistiken in der Google Search Console zeigt die Gesamtzahl der Anfragen, Antwortcodes, Dateitypen und den Zweck jedes Crawls (Erkennung oder Aktualisierung). Server-Logs liefern das vollständige Bild und zeigen auch, wie viel KI-Crawler von Ihrem Server abrufen, was bei großen Websites beträchtlich sein kann.

Fragen zum Crawl-Budget

Ist das Crawl-Budget für kleine Websites wichtig?

Selten. Bei Websites mit einigen tausend URLs kann Google meist alles crawlen; Indexierungsprobleme liegen dort fast immer an der Content-Qualität oder an internen Links.

Spart noindex Crawl-Budget?

Nein. Google muss die Seite crawlen, um das noindex-Tag zu lesen. Nur das Blockieren der URL in der robots.txt verhindert, dass sie abgerufen wird.

Wie kann ich mein Crawl-Budget sehen?

Öffnen Sie in der Google Search Console die Einstellungen und dann Crawling-Statistiken, um tägliche Crawling-Anfragen, Antwortcodes und Antwortzeiten zu sehen. Server-Logdateien bieten einen vollständigeren Überblick.

Verwandte Begriffe