Noindex

Noindex ist eine Robots-Anweisung, gesetzt in einem Meta-Robots-Tag oder einem X-Robots-Tag-HTTP-Header, die Suchmaschinen anweist, eine Seite nicht in ihren Ergebnissen anzuzeigen. Die Seite muss crawlbar bleiben, sonst wird die Anweisung nie gesehen.

noindex -Anweisung teilt Suchmaschinen mit: Sie dürfen diese Seite besuchen, aber nehmen Sie sie nicht in Ihre Suchergebnisse auf. Das ist der Standardweg, um Seiten aus Google herauszuhalten, die für Nutzer existieren müssen, aber in der Suche keinen Wert haben.

Zwei Möglichkeiten, es zu setzen:

  • Meta-Robots-Tag im HTML-Head mit dem content-Wert noindex. Sie können mit name="robots" alle Crawler ansprechen oder einen bestimmten Crawler, etwa mit name="googlebot".
  • Ein X-Robots-Tag als HTTP-Header mit dem Wert noindex. Das funktioniert auch für Nicht-HTML-Dateien wie PDFs und Bilder und lässt sich in der Serverkonfiguration für ganze Ordner festlegen.

Typische Seiten für noindex:

  • Interne Suchergebnisseiten.
  • Danke-Seiten, Login-Bereiche, Warenkörbe und Kontoseiten.
  • Dünne Tag- oder Archivseiten, die Inhalte duplizieren, die es anderswo gibt.
  • Gefilterte oder sortierte Produktansichten, die Sie nicht indexiert haben wollen, aber nicht vollständig blockieren können.
  • Staging- und Testumgebungen, wobei dort ein Passwortschutz die sicherere Wahl ist.

Die robots.txt-Falle. Google muss eine Seite crawlen, um das noindex zu lesen. Wenn Sie dieselbe URL in der robots.txt blockieren, sieht Googlebot die Anweisung nie, und die URL kann indexiert bleiben (meist ohne Beschreibung), wenn andere Seiten auf sie verlinken. Um eine Seite aus Google zu entfernen, erlauben Sie das Crawling und setzen noindex. Sobald sie herausgefallen ist, können Sie entscheiden, ob Sie das Crawling zusätzlich blockieren. Seit 2019 unterstützt Google keine noindex-Regel mehr innerhalb der robots.txt selbst.

Noindex und Links. Auf einer Noindex-Seite kann Google Links anfangs weiterhin folgen. Google hat aber erklärt, dass Seiten, die lange auf noindex stehen, irgendwann seltener gecrawlt werden und ihren Links womöglich nicht mehr gefolgt wird. Verlassen Sie sich also nicht auf Noindex-Seiten als wichtigen Teil Ihrer internen Verlinkung.

Häufige Fehler:

  • Eine Website, die mit der noch aktiven Einstellung „Suchmaschinen davon abhalten“ aus der Entwicklungsphase live geht, wodurch die gesamte Website aus Google herausbleibt. Prüfen Sie das nach jedem Launch und jeder Migration.
  • Noindex kombiniert mit einem Canonical auf eine andere URL. Das sind widersprüchliche Signale; entscheiden Sie sich für eines.
  • Noindex-Seiten, die in der XML-Sitemap aufgeführt sind.
  • JavaScript, das ein noindex nach dem Laden der Seite entfernt. Steht im rohen HTML noindex, überspringt Google womöglich das Rendering und lässt die Seite draußen.
  • Paginierte Kategorieseiten auf noindex setzen, wodurch Produkte oder Artikel weiter hinten in der Reihe womöglich nicht mehr gefunden werden.

So prüfen Sie es. Das URL-Prüftool in der Google Search Console zeigt, ob die Indexierung für eine URL erlaubt ist und warum. Der Bericht zur Seitenindexierung listet jede Seite auf, die „Durch ‚noindex‘-Tag ausgeschlossen“ ist. Gehen Sie diese Liste regelmäßig durch: Wichtige Seiten, die versehentlich dort landen, gehören zu den häufigsten technischen SEO-Fehlern.

Für Publisher gilt: Ein gesponserter Artikel darf niemals noindex tragen. Ein Artikel auf noindex erscheint nicht in der Suche und gibt sehr wenig Wert weiter, was den Zweck der Platzierung zunichtemacht.

Fragen zu Noindex

Was ist der Unterschied zwischen noindex und Disallow in der robots.txt?

Disallow verhindert das Crawling, garantiert aber keine Entfernung aus dem Index. Noindex lässt Google die Seite crawlen, hält sie aber aus den Suchergebnissen heraus. Zum Entfernen nutzen Sie noindex und lassen die Seite crawlbar.

Wie lange dauert es, bis eine Noindex-Seite aus Google verschwindet?

Sobald Google die Seite erneut crawlt und die Anweisung sieht, wird sie entfernt. Das kann je nach Crawling-Häufigkeit Tage bis Wochen dauern. Eine Indexierungsanfrage im URL-Prüftool kann das erneute Crawlen beschleunigen.

Folgt Google Links auf einer Noindex-Seite?

Anfangs ja, aber Seiten, die lange auf noindex stehen, werden tendenziell seltener gecrawlt, und Google folgt ihren Links womöglich nicht mehr.

Verwandte Begriffe