robots.txt
robots.txt to zwykły plik tekstowy w katalogu głównym strony, który mówi crawlerom, jakie ścieżki mogą, a jakich nie mogą pobierać. Steruje crawlingiem, a nie indeksowaniem, i to w nim zezwalasz konkretnym crawlerom AI na dostęp lub go blokujesz.
robots.txt to plik umieszczony w katalogu głównym hosta, np. example.com/robots.txt. Zanim zaczną skanować, porządne boty czytają go, aby sprawdzić, o które części witryny mogą prosić. Plik działa zgodnie z Robots Exclusion Protocol, który w 2022 roku został sformalizowany jako standard internetowy.
Plik składa się z grup. Każda grupa zaczyna się od linii User-agent z nazwą crawlera (lub * dla wszystkich), po której następują reguły Allow i Disallow. Możesz też dodać jedną lub więcej linii Sitemap wskazujących na Twoje mapy XML. Na przykład grupa z User-agent: * i Disallow: /search/ mówi wszystkim botom, by nie zaglądały do wyników wyszukiwania wewnętrznego.
Czego robots.txt nie robi:
- Ten plik nie usuwa stron z indeksu. Zablokowany URL nadal może zostać zaindeksowany (zwykle bez opisu), jeśli linkują do niego inne strony.
- Nie ukrywa treści. Plik jest publiczny, więc nigdy nie używaj go do „ukrywania” prywatnych katalogów.
- Google nie obsługuje noindex w robots.txt i ignoruje dyrektywę crawl-delay.
- To prośba, a nie zamek. Złośliwe boty po prostu ją ignorują.
Jeśli chcesz usunąć stronę z Google, pozwól ją skanować i dodaj tag noindex. Jednoczesne zablokowanie jej w robots.txt sprawi, że Google nigdy nie zobaczy noindex.
robots.txt a crawlery AI. Od 2023 roku ten plik stał się głównym miejscem, w którym decydujesz, jak firmy AI mogą korzystać z Twoich treści. Większość dużych dostawców AI publikuje osobne user agenty do treningu i do pobierania na żywo. Google-Extended to na przykład token, który określa, czy Twoje treści są używane w modelach Gemini, bez wpływu na wyszukiwarkę Google. Blokowanie crawlera treningowego przy jednoczesnym dopuszczeniu crawlera wyszukującego to popularny kompromis dla serwisów, które chcą pojawiać się jako źródło w odpowiedziach AI, nie oddając treści do treningu. Sprawdzaj dokumentację każdego dostawcy, bo nazwy i zachowanie się zmieniają.
Częste błędy:
- Pozostawione ze stagingu Disallow: /, które blokuje całą działającą stronę.
- Blokowanie plików CSS i JavaScript, co uniemożliwia Google prawidłowe wyrenderowanie strony.
- Blokowanie adresu URL, który ma noindex lub canonical, który chcesz pokazać Google.
- Zapominanie, że każda subdomena i każdy protokół potrzebuje własnego robots.txt.
- Zbyt szerokie reguły, bo ścieżki są dopasowywane jako prefiksy: Disallow: /blog blokuje też /blog-archive.
Google odczytuje do 500 KiB pliku i przechowuje go w pamięci podręcznej do jednego dnia. Użyj raportu robots.txt w Google Search Console, aby zobaczyć, którą wersję Google pobrał i czy znalazł błędy.
Pytania i odpowiedzi: robots.txt
Czy zablokowanie strony w robots.txt usuwa ją z Google?
Nie. Zatrzymuje tylko crawling. Aby usunąć stronę z indeksu, zezwól na crawling i dodaj tag noindex albo użyj narzędzia Usunięcia, aby tymczasowo ją ukryć.
Jak zablokować crawlery AI w robots.txt?
Dodaj grupę User-agent dla każdego bota AI, którego chcesz zablokować, z Disallow: /. Używaj udokumentowanej nazwy user agenta każdego dostawcy i pamiętaj, że boty treningowe i wyszukujące często mają różne nazwy.
Gdzie należy umieścić robots.txt?
W katalogu głównym każdego hosta, np. https://www.example.com/robots.txt. Plik w podfolderze jest ignorowany, a każda subdomena potrzebuje własnego.