Noindex
Noindex to dyrektywa dla robotów, ustawiana w tagu meta robots lub w nagłówku HTTP X-Robots-Tag, która mówi wyszukiwarkom, by nie pokazywały strony w wynikach. Strona musi pozostać dostępna dla robotów, inaczej dyrektywa nigdy nie zostanie odczytana.
noindex to dyrektywa, która mówi wyszukiwarkom: możesz odwiedzić tę stronę, ale nie umieszczaj jej w wynikach wyszukiwania. To standardowy sposób na trzymanie poza Google stron, które muszą istnieć dla użytkowników, ale nie mają wartości w wyszukiwarce.
Dwa sposoby ustawienia:
- Tag meta robots w sekcji head kodu HTML, z wartością content noindex. Możesz kierować go do wszystkich crawlerów przez name="robots" albo do jednego konkretnego, np. name="googlebot".
- Termin X-Robots-Tag – nagłówek HTTP z wartością noindex. Działa także dla plików innych niż HTML, takich jak PDF-y i obrazy, i można go ustawić dla całych folderów w konfiguracji serwera.
Typowe strony, którym nadaje się noindex:
- Strony wyników wyszukiwania wewnętrznego.
- Strony z podziękowaniem, strefy logowania, koszyki i strony kont.
- Ubogie strony tagów lub archiwów, które powielają treści dostępne gdzie indziej.
- Filtrowane lub sortowane widoki produktów, których nie chcesz indeksować, ale nie możesz całkowicie zablokować.
- Środowiska stagingowe i testowe, choć tam bezpieczniejszym wyborem jest ochrona hasłem.
Pułapka robots.txt. Google musi zeskanować stronę, aby odczytać noindex. Jeśli zablokujesz ten sam URL w robots.txt, Googlebot nigdy nie zobaczy dyrektywy, a URL może pozostać w indeksie (zwykle bez opisu), gdy linkują do niego inne strony. Aby usunąć stronę z Google, zezwól na crawling i dodaj noindex. Gdy strona wypadnie, możesz zdecydować, czy dodatkowo zablokować crawling. Od 2019 roku Google nie obsługuje już reguły noindex w samym robots.txt.
Noindex a linki. Na stronie z noindex Google początkowo nadal może podążać za linkami. Google przyznaje jednak, że strony długo pozostawione z noindex są w końcu rzadziej skanowane, a za ich linkami może przestać podążać. Nie traktuj więc stron z noindex jako ważnej części struktury linkowania wewnętrznego.
Częste błędy:
- Strona uruchomiona z wciąż włączonym z etapu developmentu ustawieniem „proś wyszukiwarki o nieindeksowanie”, przez co cała witryna jest poza Google. Sprawdzaj to po każdym uruchomieniu i migracji.
- Noindex w połączeniu z canonical wskazującym inny URL. To sprzeczne sygnały; wybierz jeden.
- Strony z noindex umieszczone w mapie XML.
- JavaScript, który usuwa noindex po załadowaniu strony. Jeśli surowy HTML zawiera noindex, Google może pominąć renderowanie i nie dodać strony do indeksu.
- Nadawanie noindex stronom paginacji kategorii, co może uniemożliwić odkrycie produktów lub artykułów położonych głębiej w serii.
Jak to sprawdzić. Narzędzie do sprawdzania adresów URL w Google Search Console pokazuje, czy indeksowanie danego URL jest dozwolone i dlaczego. Raport Indeksowanie stron wymienia każdą stronę „Wykluczoną przez tag noindex”. Regularnie przeglądaj tę listę: przypadkowe trafienie tam ważnych stron to jeden z najczęstszych błędów technicznego SEO.
U wydawców artykuł sponsorowany nigdy nie może mieć noindex. Artykuł z noindex nie pojawi się w wyszukiwarce i przekazuje bardzo mało wartości, co niweczy sens publikacji.
Pytania i odpowiedzi: noindex
Jaka jest różnica między noindex a Disallow w robots.txt?
Disallow zatrzymuje crawling, ale nie gwarantuje usunięcia z indeksu. Noindex pozwala Google skanować stronę, ale wyklucza ją z wyników wyszukiwania. Aby usunąć stronę, użyj noindex i zostaw ją dostępną dla robotów.
Ile czasu trwa, zanim strona z noindex zniknie z Google?
Gdy Google ponownie zeskanuje stronę i zobaczy dyrektywę, strona wypada z indeksu. Może to potrwać od kilku dni do kilku tygodni, w zależności od tego, jak często strona jest skanowana. Prośba o zindeksowanie w narzędziu do sprawdzania adresów URL może przyspieszyć ponowne skanowanie.
Czy Google podąża za linkami na stronie z noindex?
Początkowo tak, ale strony długo pozostawione z noindex są zwykle rzadziej skanowane, a Google może przestać podążać za ich linkami.