llms.txt
llms.txt to proponowany standard dla pliku Markdown w katalogu głównym witryny (/llms.txt), który zapewnia modelom AI krótki, ustrukturyzowany przegląd witryny i linki do jej najbardziej przydatnych treści.
llms.txt to plik tekstowy w formacie Markdown, który strona internetowa umieszcza w swoim katalogu głównym, na przykład example.com/llms.txt. Ideą jest zaoferowanie modelom językowym przejrzystego podsumowania tego, o czym jest strona, oraz wyselekcjonowanej listy jej najważniejszych stron, bez menu, skryptów i reklam, które utrudniają przetwarzanie zwykłych stron internetowych. Format został zaproponowany w 2024 przez Jeremy'ego Howarda z Answer.AI i od tego czasu został przyjęty przez wiele stron dokumentacji i firm programistycznych.
Co zawiera plik
Propozycja opisuje prostą strukturę:
- Nagłówek z nazwą witryny lub projektu.
- Krótkie podsumowanie w bloku cytatu wyjaśniające, co oferuje witryna.
- Opcjonalne dodatkowe akapity z kluczowym kontekstem.
- Sekcje z listami linków do ważnych stron, każda z krótkim opisem.
Niektóre strony publikują również llms-full.txt plik zawierający pełny tekst ich dokumentacji w jednym dokumencie, dzięki czemu narzędzie AI może załadować wszystko naraz.
Czy to działa?
W tym miejscu należy zarządzać oczekiwaniami. llms.txt to propozycja społeczności, a nie oficjalny standard sieciowy, a duzi dostawcy wyszukiwania AI nie potwierdzili, że używają go do wyboru lub rankingu źródeł. Google oświadczyło, że nie używa llms.txt do wyszukiwania ani AI Overviews. W praktyce plik jest najbardziej użyteczny dla narzędzi deweloperskich i asystentów kodowania, które są skierowane na dokumentację, oraz dla agentów AI, którym wyraźnie powiedziano, aby go przeczytali.
Nie jest to również sposób na kontrolowanie dostępu. llms.txt nie blokuje ani nie zezwala na crawlery. To pozostaje zadaniem robots.txt.
Czy powinieneś dodać jeden?
Dla większości stron jest to dodatek o niskim nakładzie pracy i niskim ryzyku. Jeśli prowadzisz produkt oprogramowania, API lub stronę z dużą ilością wiedzy, plik llms.txt może ułatwić narzędziom AI znalezienie odpowiednich stron. Dla typowej strony biznesowej lub wydawniczej, wpływ na widoczność w odpowiedziach AI jest prawdopodobnie niewielki. Lepiej poświęcić czas na crawlability, przejrzystą treść i wzmianki na zaufanych stronach.
Wskazówki, jeśli tworzysz jeden
- Niech będzie krótki i skupiony na stronach, które odpowiadają na prawdziwe pytania.
- Używaj opisowych tekstów linków i jednowierszowych opisów.
- Aktualizuj go, gdy dodajesz lub usuwasz ważne treści.
- Upewnij się, że połączone strony są dostępne dla crawlerów i nie są blokowane w robots.txt.
Częste błędy
Traktowanie llms.txt jako czynnika rankingowego, kopiowanie całej mapy witryny do niego lub używanie go do próby kierowania narzędzi AI za pomocą roszczeń promocyjnych.
Pytania o llms.txt
Do czego służy llms.txt?
Daje narzędziom AI krótkie, ustrukturyzowane podsumowanie strony internetowej i linki do jej kluczowych stron w Markdown, ułatwiając modelom językowym przetwarzanie treści.
Czy Google używa llms.txt?
Nie. Google oświadczyło, że nie używa llms.txt do wyszukiwania ani AI Overviews.
Czy llms.txt to to samo co robots.txt?
Nie. robots.txt informuje roboty, do czego mają dostęp. llms.txt oferuje jedynie przegląd treści i nie kontroluje dostępu.