llms.txt
llms.txt ist ein vorgeschlagener Standard für eine Markdown-Datei im Stammverzeichnis einer Website (/llms.txt), die KI-Modellen einen kurzen, strukturierten Überblick über die Website und Links zu ihren nützlichsten Inhalten bietet.
llms.txt ist eine einfache Textdatei im Markdown-Format, die eine Website in ihrem Stammverzeichnis platziert, zum Beispiel example.com/llms.txt. Die Idee ist, Sprachmodellen eine saubere Zusammenfassung dessen zu bieten, worum es auf der Website geht, und eine kuratierte Liste ihrer wichtigsten Seiten, ohne die Menüs, Skripte und Anzeigen, die normale Webseiten schwer verarbeitbar machen. Das Format wurde 2024 von Jeremy Howard von Answer.AI vorgeschlagen und seitdem von vielen Dokumentationsseiten und Softwareunternehmen übernommen.
Was die Datei enthält
Der Vorschlag beschreibt eine einfache Struktur:
- Eine Überschrift mit dem Namen der Website oder des Projekts.
- Eine kurze Zusammenfassung in einem Blockzitat, die erklärt, was die Website bietet.
- Optionale zusätzliche Absätze mit wichtigem Kontext.
- Abschnitte mit Listen von Links zu wichtigen Seiten, jeweils mit einer kurzen Beschreibung.
Einige Websites veröffentlichen auch eine llms-full.txt Datei, die den vollständigen Text ihrer Dokumentation in einem Dokument enthält, sodass ein KI-Tool alles auf einmal laden kann.
Funktioniert es?
Hier müssen die Erwartungen gemanagt werden. llms.txt ist ein Community-Vorschlag, kein offizieller Webstandard, und die großen KI-Suchanbieter haben nicht bestätigt, dass sie ihn zur Auswahl oder Rangfolge von Quellen verwenden. Google hat erklärt, dass es llms.txt nicht für die Suche oder AI Overviews verwendet. In der Praxis ist die Datei am nützlichsten für Entwicklertools und Coding-Assistenten, die auf Dokumentationen verweisen, und für KI-Agenten, denen explizit gesagt wird, sie zu lesen.
Es ist auch keine Möglichkeit, den Zugriff zu kontrollieren. llms.txt blockiert oder erlaubt keine Crawler. Das bleibt die Aufgabe von robots.txt.
Sollten Sie einen hinzufügen?
Für die meisten Websites ist es eine einfache, risikoarme Ergänzung. Wenn Sie ein Softwareprodukt, eine API oder eine wissensintensive Website betreiben, kann eine llms.txt es KI-Tools erleichtern, die richtigen Seiten zu finden. Für eine typische Geschäfts- oder Publisher-Website ist der Effekt auf die Sichtbarkeit in KI-Antworten wahrscheinlich gering. Ihre Zeit ist besser für Crawlbarkeit, klare Inhalte und Erwähnungen auf vertrauenswürdigen Websites investiert.
Tipps, wenn Sie einen erstellen
- Halten Sie es kurz und konzentrieren Sie sich auf Seiten, die echte Fragen beantworten.
- Verwenden Sie beschreibende Linktexte und einzeilige Beschreibungen.
- Aktualisieren Sie sie, wenn Sie wichtige Inhalte hinzufügen oder entfernen.
- Stellen Sie sicher, dass die verlinkten Seiten für Crawler zugänglich und nicht in robots.txt blockiert sind.
Häufige Fehler
llms.txt als Rankingfaktor behandeln, eine komplette Sitemap hineinkopieren oder sie verwenden, um KI-Tools mit Werbeaussagen zu steuern.
Fragen zu llms.txt
Wofür wird llms.txt verwendet?
Es gibt KI-Tools eine kurze, strukturierte Zusammenfassung einer Website und Links zu ihren wichtigsten Seiten in Markdown, wodurch der Inhalt für Sprachmodelle leichter zu verarbeiten ist.
Verwendet Google llms.txt?
Nein. Google hat erklärt, dass es llms.txt nicht für die Suche oder AI Overviews verwendet.
Ist llms.txt dasselbe wie robots.txt?
Nein. robots.txt teilt Crawlern mit, worauf sie zugreifen dürfen. llms.txt bietet nur eine Inhaltsübersicht und kontrolliert den Zugriff nicht.