llms.txt

llms.txt is een voorgestelde standaard voor een Markdown-bestand in de hoofdmap van een website (/llms.txt) dat AI-modellen een kort, gestructureerd overzicht geeft van de site en links naar de nuttigste content.

llms.txt is een tekstbestand in Markdown-opmaak dat een website in de hoofdmap zet, bijvoorbeeld example.com/llms.txt. Het idee is dat taalmodellen een overzichtelijke samenvatting krijgen van waar de site over gaat, plus een selectie van de belangrijkste pagina's, zonder de menu's, scripts en advertenties die gewone webpagina's lastig te verwerken maken. Jeremy Howard van Answer.AI stelde het formaat voor in 2024, en sindsdien gebruiken veel documentatiesites en softwarebedrijven het.

Wat er in het bestand staat

Het voorstel beschrijft een eenvoudige opbouw:

  • Een kop met de naam van de site of het project.
  • Een korte samenvatting in een citaatblok over wat de site biedt.
  • Eventueel extra alinea's met belangrijke achtergrond.
  • Secties met lijsten van links naar belangrijke pagina's, elk met een korte omschrijving.

Sommige sites publiceren ook een llms-full.txt bestand met de volledige tekst van hun documentatie in één document, zodat een AI-tool alles in één keer kan inladen.

Werkt het?

Hier is het goed om je verwachtingen bij te stellen. llms.txt is een voorstel uit de community, geen officiële webstandaard, en de grote AI-zoekdiensten hebben niet bevestigd dat ze het gebruiken om bronnen te kiezen of te rangschikken. Google heeft gezegd dat het llms.txt niet gebruikt voor Zoeken of AI Overviews. In de praktijk is het bestand vooral nuttig voor ontwikkeltools en programmeerassistenten die documentatie lezen, en voor AI-agents die de opdracht krijgen het te lezen.

Het is ook geen manier om toegang te regelen. llms.txt blokkeert geen crawlers en laat ze ook niet toe. Dat blijft de taak van robots.txt.

Moet je er een toevoegen?

Voor de meeste sites is het weinig werk en weinig risico. Heb je een softwareproduct, een API of een site met veel kennis, dan helpt een llms.txt AI-tools om de juiste pagina's te vinden. Voor een gewone bedrijfs- of publishersite is het effect op je zichtbaarheid in AI-antwoorden waarschijnlijk klein. Je tijd is beter besteed aan crawlbaarheid, duidelijke content en vermeldingen op betrouwbare sites.

Tips als je er een maakt

  • Houd het kort en richt je op pagina's die echte vragen beantwoorden.
  • Gebruik duidelijke linkteksten en omschrijvingen van één regel.
  • Werk het bij als je belangrijke content toevoegt of weghaalt.
  • Zorg dat crawlers bij de gelinkte pagina's kunnen en dat ze niet geblokkeerd zijn in robots.txt.

Veelgemaakte fouten

llms.txt zien als rankingfactor, er een complete sitemap in kopiëren, of het gebruiken om AI-tools met reclameclaims te sturen.

Vragen over llms.txt

Waarvoor gebruik je llms.txt?

Het geeft AI-tools een korte, gestructureerde samenvatting van een website en links naar de belangrijkste pagina's in Markdown. Zo kunnen taalmodellen de content makkelijker verwerken.

Gebruikt Google llms.txt?

Nee. Google heeft gezegd dat het llms.txt niet gebruikt voor Zoeken of AI Overviews.

Is llms.txt hetzelfde als robots.txt?

Nee. robots.txt vertelt crawlers waar ze wel en niet bij mogen. llms.txt geeft alleen een overzicht van de content en regelt geen toegang.

Gerelateerde begrippen