Crawling

Crawling ist der Prozess, in dem Bots von Suchmaschinen und KI-Anbietern Webseiten entdecken und herunterladen, indem sie Links und Sitemaps folgen. Eine Seite, die nie gecrawlt wird, kann weder indexiert noch gerankt oder als Quelle in KI-Antworten genutzt werden.

Crawling ist der erste Schritt dabei, wie eine Suchmaschine Ihre Website sieht. Ein Bot wie der Googlebot fordert eine URL an, lädt das HTML und die benötigten Ressourcen herunter, extrahiert die Links auf dieser Seite und setzt neue URLs für spätere Besuche auf eine Warteliste. Alles, was danach kommt, von der Indexierung über das Ranking bis zum Zitat in einer KI-Antwort, hängt davon ab, dass dieser Schritt funktioniert.

Crawler finden URLs auf verschiedenen Wegen:

  • Links von Seiten, die sie bereits kennen, sowohl interne Links als auch Backlinks von anderen Websites.
  • XML-Sitemaps – eingereicht in der Google Search Console oder in der robots.txt referenziert.
  • Weiterleitungen und Canonical-Tags, die auf andere URLs zeigen.

Bevor ein regelkonformer Crawler eine URL abruft, prüft er in der robots.txt, ob er das darf. Google entscheidet dann, wie oft es wiederkommt, je nachdem, wie wichtig und aktuell eine Seite wirkt und wie schnell Ihr Server antwortet. Seiten, die sich oft ändern und viele Links erhalten, werden meist häufiger erneut besucht.

Crawling und KI. Suchmaschinen sind nicht mehr die einzigen Besucher. KI-Unternehmen betreiben eigene Bots: Manche sammeln Trainingsdaten, andere rufen Seiten in Echtzeit ab, um die Frage eines Nutzers zu beantworten. Viele dieser Bots führen kein JavaScript aus, sodass Inhalte, die erst nach dem Ausführen von Skripten erscheinen, für sie unsichtbar sein können. Wenn Sie in KI-Antworten zitiert werden möchten, sorgen Sie dafür, dass Ihre wichtigen Inhalte im initialen HTML stehen und Sie die relevanten User Agents nicht versehentlich blockieren.

So prüfen Sie das Crawling. Der Bericht Crawling-Statistiken in der Google Search Console zeigt, wie viele Anfragen der Googlebot pro Tag stellt, welche Antwortcodes er erhält und wie hoch die durchschnittliche Antwortzeit ist. Ihre Server-Logdateien liefern das ehrlichste Bild, weil sie jede Bot-Anfrage zeigen, auch die von KI-Crawlern. Das URL-Prüftool zeigt Ihnen, wann Google eine bestimmte Seite zuletzt gecrawlt hat.

Häufige Probleme:

  • Wichtige Seiten, auf die keine internen Links zeigen (verwaiste Seiten).
  • Langsame Server oder häufige 5xx-Fehler, die Google weniger crawlen lassen.
  • Endlose URL-Varianten durch Filter, Sortierung und Session-IDs, die die Aufmerksamkeit der Crawler verschwenden.
  • Links, die mit JavaScript-Klick-Handlern statt mit echten Anker-Elementen mit href gebaut sind.
  • Eine robots.txt-Regel, die ein ganzes Verzeichnis blockiert, das eigentlich gefunden werden soll.

Eine gecrawlte Seite wird nicht automatisch indexiert. Google kann eine Seite abrufen und trotzdem entscheiden, sie nicht zu speichern, zum Beispiel wenn sie wie ein Duplikat aussieht oder wenig Mehrwert bietet. Crawling ist der Zugriff; Indexierung ist eine separate Qualitätsentscheidung.

Fragen zum Crawling

Was ist der Unterschied zwischen Crawling und Indexierung?

Crawling ist das Abrufen einer Seite; Indexierung ist das Speichern und Verstehen, damit sie in den Ergebnissen erscheinen kann. Eine Seite kann gecrawlt und trotzdem nicht indexiert werden, wenn Google sie als Duplikat oder minderwertig einstuft.

Wie bringe ich Google dazu, meine Seite schneller zu crawlen?

Verlinken Sie die Seite von starken internen Seiten, nehmen Sie sie in Ihre XML-Sitemap auf und beantragen Sie die Indexierung über das URL-Prüftool in der Google Search Console. Ein schneller, stabiler Server hilft Google ebenfalls, mehr zu crawlen.

Crawlen KI-Bots Websites genauso wie der Googlebot?

Nicht ganz. Viele KI-Crawler rufen nur das rohe HTML ab, ohne JavaScript zu rendern, und sie folgen ihren eigenen User Agents in der robots.txt. Sie müssen den Zugriff daher für jeden einzeln prüfen.

Verwandte Begriffe