Noindex

Noindex to dyrektywa dla robotów, ustawiana w tagu meta robots lub w nagłówku HTTP X-Robots-Tag, która mówi wyszukiwarkom, by nie pokazywały strony w wynikach. Strona musi pozostać dostępna dla robotów, inaczej dyrektywa nigdy nie zostanie odczytana.

noindex to dyrektywa, która mówi wyszukiwarkom: możesz odwiedzić tę stronę, ale nie umieszczaj jej w wynikach wyszukiwania. To standardowy sposób na trzymanie poza Google stron, które muszą istnieć dla użytkowników, ale nie mają wartości w wyszukiwarce.

Dwa sposoby ustawienia:

  • Tag meta robots w sekcji head kodu HTML, z wartością content noindex. Możesz kierować go do wszystkich crawlerów przez name="robots" albo do jednego konkretnego, np. name="googlebot".
  • Termin X-Robots-Tag – nagłówek HTTP z wartością noindex. Działa także dla plików innych niż HTML, takich jak PDF-y i obrazy, i można go ustawić dla całych folderów w konfiguracji serwera.

Typowe strony, którym nadaje się noindex:

  • Strony wyników wyszukiwania wewnętrznego.
  • Strony z podziękowaniem, strefy logowania, koszyki i strony kont.
  • Ubogie strony tagów lub archiwów, które powielają treści dostępne gdzie indziej.
  • Filtrowane lub sortowane widoki produktów, których nie chcesz indeksować, ale nie możesz całkowicie zablokować.
  • Środowiska stagingowe i testowe, choć tam bezpieczniejszym wyborem jest ochrona hasłem.

Pułapka robots.txt. Google musi zeskanować stronę, aby odczytać noindex. Jeśli zablokujesz ten sam URL w robots.txt, Googlebot nigdy nie zobaczy dyrektywy, a URL może pozostać w indeksie (zwykle bez opisu), gdy linkują do niego inne strony. Aby usunąć stronę z Google, zezwól na crawling i dodaj noindex. Gdy strona wypadnie, możesz zdecydować, czy dodatkowo zablokować crawling. Od 2019 roku Google nie obsługuje już reguły noindex w samym robots.txt.

Noindex a linki. Na stronie z noindex Google początkowo nadal może podążać za linkami. Google przyznaje jednak, że strony długo pozostawione z noindex są w końcu rzadziej skanowane, a za ich linkami może przestać podążać. Nie traktuj więc stron z noindex jako ważnej części struktury linkowania wewnętrznego.

Częste błędy:

  • Strona uruchomiona z wciąż włączonym z etapu developmentu ustawieniem „proś wyszukiwarki o nieindeksowanie”, przez co cała witryna jest poza Google. Sprawdzaj to po każdym uruchomieniu i migracji.
  • Noindex w połączeniu z canonical wskazującym inny URL. To sprzeczne sygnały; wybierz jeden.
  • Strony z noindex umieszczone w mapie XML.
  • JavaScript, który usuwa noindex po załadowaniu strony. Jeśli surowy HTML zawiera noindex, Google może pominąć renderowanie i nie dodać strony do indeksu.
  • Nadawanie noindex stronom paginacji kategorii, co może uniemożliwić odkrycie produktów lub artykułów położonych głębiej w serii.

Jak to sprawdzić. Narzędzie do sprawdzania adresów URL w Google Search Console pokazuje, czy indeksowanie danego URL jest dozwolone i dlaczego. Raport Indeksowanie stron wymienia każdą stronę „Wykluczoną przez tag noindex”. Regularnie przeglądaj tę listę: przypadkowe trafienie tam ważnych stron to jeden z najczęstszych błędów technicznego SEO.

U wydawców artykuł sponsorowany nigdy nie może mieć noindex. Artykuł z noindex nie pojawi się w wyszukiwarce i przekazuje bardzo mało wartości, co niweczy sens publikacji.

Pytania i odpowiedzi: noindex

Jaka jest różnica między noindex a Disallow w robots.txt?

Disallow zatrzymuje crawling, ale nie gwarantuje usunięcia z indeksu. Noindex pozwala Google skanować stronę, ale wyklucza ją z wyników wyszukiwania. Aby usunąć stronę, użyj noindex i zostaw ją dostępną dla robotów.

Ile czasu trwa, zanim strona z noindex zniknie z Google?

Gdy Google ponownie zeskanuje stronę i zobaczy dyrektywę, strona wypada z indeksu. Może to potrwać od kilku dni do kilku tygodni, w zależności od tego, jak często strona jest skanowana. Prośba o zindeksowanie w narzędziu do sprawdzania adresów URL może przyspieszyć ponowne skanowanie.

Czy Google podąża za linkami na stronie z noindex?

Początkowo tak, ale strony długo pozostawione z noindex są zwykle rzadziej skanowane, a Google może przestać podążać za ich linkami.

Powiązane pojęcia