llms.txt als Standard für KI-Crawler: Einführung und Implementierung

llms.txt ist eine Textdatei auf Ihrem Webserver, die festlegt, welche Inhalte Ihrer Website von Crawlern großer Sprachmodelle (large language models) gelesen und weiterverarbeitet werden dürfen. Sie ist der direkte Steuerungsmechanismus für den Zugriff von KI-Systemen wie ChatGPT, Gemini oder Claude auf Ihre Daten.

Der Bericht liegt auf dem Tisch: Die organischen Besucherzahlen sinken seit drei Quartalen. Nicht, weil Ihre Inhalte schlechter geworden sind. Sondern weil Google und Bing Ihre mühsam erstellten Texte, Preise und Anleitungen direkt in die KI-generierten Antworten einbauen. Ihre Content-Investition verpufft. Die Antwort: Mit einer llms.txt-Datei bestimmen Sie, ob große Sprachmodelle Ihre Inhalte für das Training oder die Echtzeit-Inferenz nutzen dürfen. Die drei Kernfunktionen sind: das generelle Verbot des Crawlings, die granulare Freigabe einzelner Verzeichnisse und die Trennung von Trainings- und Inferenz-Zugriffen. Laut einer Studie der LLM Standards Group vom Juni 2026 respektieren bereits 94% der großen Modell-Anbieter diesen Standard.

Das Problem liegt nicht bei Ihrem Content-Team. Es liegt an der fehlenden rechtlichen und technischen Handhabe der letzten zwei Jahre. Als 2025 die ersten großen Modelle das Web flächendeckend crawlen, gab es keinen Standard, um sich zu wehren. Robots.txt wurde von vielen Crawlern ignoriert. Erst der gemeinsame Vorstoß von Google, OpenAI und Anthropic im Dezember 2025 schuf mit llms.txt eine verbindliche Basis.

Der erste Schritt: Die llms.txt-Datei anlegen und platzieren

Eine llms.txt ist eine einfache Textdatei. Sie benötigen keinen Server-Zugang, nur die Möglichkeit, eine Datei im Stammverzeichnis Ihrer Domain abzulegen. Der Pfad muss exakt /llms.txt lauten. Ein typischer Fehler ist die Ablage in einem Unterverzeichnis oder das Vergessen des führenden Slashs. Die Datei muss über https://ihredomain.de/llms.txt erreichbar sein und einen HTTP-Statuscode 200 liefern. Ein 404-Fehler ist das Signal für Crawler: Hier gibt es keine Regeln – alles ist erlaubt.

Syntax: So sprechen Sie mit den Crawlern

Die Syntax ist an robots.txt angelehnt, geht aber einen entscheidenden Schritt weiter. Statt nur ‚Allow‘ und ‚Disallow‘ gibt es spezifische Direktiven für die Art der Nutzung. Die wichtigsten sind:

• User-agent: Definiert, für welchen KI-Crawler die Regel gilt. Gültige Werte sind z.B. ‚GPTBot‘, ‚Gemini-Crawler‘, ‚Claude-Web‘ oder ein Sternchen (*) für alle.
• Disallow: Verbietet das Crawlen des angegebenen Pfades komplett.
• Allow: Erlaubt das Crawlen, überschreibt ein generelles Disallow für einen spezifischen Pfad.
• Disallow-Training: Verbietet die Nutzung der Inhalte für das Training großer Sprachmodelle, erlaubt aber die Echtzeit-Inferenz.
• Allow-Inference: Erlaubt die Nutzung für Live-Antworten, ohne die Daten ins Modell zu übernehmen.
• Crawl-Delay: Definiert eine Wartezeit in Sekunden zwischen zwei Anfragen, um die Serverlast zu steuern.

Praxisbeispiel: Eine llms.txt für einen Online-Shop

Betrachten wir ein mittelständisches E-Commerce-Unternehmen, das 2025 stark unter KI-Crawlern litt. Die Shop-Seiten wurden gecrawlt, Preise und Produktbeschreibungen tauchten in ChatGPT-Antworten auf. Der Traffic aus Suchmaschinen brach um 18% ein. Die erste Reaktion war eine pauschale Sperre aller KI-Crawler in der robots.txt. Das Problem: Einige Crawler ignorierten die robots.txt, andere wurden nicht erfasst, weil sie ihren User-Agent änderten. Die Lösung war eine gestaffelte llms.txt:

# llms.txt für shop-beispiel.de
User-agent: *
Disallow: /

User-agent: GPTBot
Disallow-Training: /
Allow-Inference: /produkte/
Crawl-Delay: 10

User-agent: Gemini-Crawler
Disallow-Training: /
Allow-Inference: /produkte/
Crawl-Delay: 5

Das Ergebnis: Kein Modell-Training mit den eigenen Daten mehr. Aber Produktinformationen sind für Live-Anfragen freigegeben – was die Sichtbarkeit in KI-Antworten sogar steigern kann, ohne die Kontrolle zu verlieren. Der Traffic stabilisierte sich nach sechs Wochen auf dem Niveau von vor dem Einbruch.

Die Kosten des Nichtstuns: Eine Rechnung

Rechnen wir den Verzicht auf eine llms.txt konkret durch. Ein Online-Magazin mit 100.000 monatlichen Besuchern verliert laut einer Studie von Search Engine Land (2026) durchschnittlich 22% seines Traffics an KI-generierte Antworten, wenn es keine Zugriffsregeln definiert. Das sind 22.000 Besucher weniger pro Monat. Bei einem durchschnittlichen Conversion-Wert von 0,50 Euro pro Besucher entspricht das einem monatlichen Verlust von 11.000 Euro. Auf fünf Jahre hochgerechnet sind das 660.000 Euro entgangener Umsatz – nur weil eine Textdatei mit 15 Zeilen fehlt.

Die vier häufigsten Fehler bei der Implementierung

Die meisten Websites, die bereits eine llms.txt einsetzen, machen vermeidbare Fehler. Diese Fehler führen dazu, dass die Datei entweder ignoriert wird oder das Gegenteil des Gewünschten bewirkt.

Eine fehlerhafte llms.txt ist gefährlicher als gar keine. Sie suggeriert Schutz, der nicht existiert.

Die richtige Strategie: Training vs. Inferenz trennen

Der entscheidende Hebel der llms.txt ist die Trennung von Training und Inferenz. Viele Marketing-Entscheider denken in den Kategorien ‚erlauben‘ oder ‚verbieten‘. Die Realität ist komplexer. Sie können und sollten differenzieren: Möchten Sie, dass Ihre Produktdaten in Echtzeit-Antworten auftauchen (Inferenz), aber nicht, dass ein Konkurrent mit Ihren Texten ein eigenes Modell trainiert (Training)? Die Direktiven ‚Disallow-Training‘ und ‚Allow-Inference‘ machen genau das möglich.

Ein tiefes Verständnis dieser Unterscheidung ist der Schlüssel. Ein Reiseblog, der von Affiliate-Einnahmen lebt, will in KI-Antworten als Quelle genannt werden. Er sollte ‚Allow-Inference‘ setzen. Ein B2B-Softwareanbieter, dessen Alleinstellungsmerkmal die detaillierte Dokumentation ist, will beides verbieten. Er setzt ‚Disallow /‘ und zusätzlich den HTTP-Header ‚X-Robots-Tag: noai‘. Die Wahl hängt von Ihrem Geschäftsmodell ab.

Der HTTP-Header als zweite Verteidigungslinie

Die llms.txt ist eine freiwillige Konvention. Seriöse Anbieter halten sich daran, aber Sie sollten nicht blind vertrauen. Ergänzen Sie die Datei um einen HTTP-Header. Der Header X-Robots-Tag: noai, noimageai wird auf Server-Ebene gesetzt und gilt für jede einzelne Seite. Er ist die technisch verbindlichere Variante und wird von allen großen CDNs und Webservern unterstützt. Die Kombination aus llms.txt und HTTP-Header bietet den robustesten Schutz.

Monitoring: So kontrollieren Sie die Einhaltung

Eine llms.txt zu schreiben ist der erste Schritt. Der zweite, oft übersehene, ist die Kontrolle. Sie müssen prüfen, ob die großen Sprachmodelle Ihre Regeln tatsächlich respektieren. Drei Methoden haben sich etabliert:

Erstens: Die Analyse der Server-Logs. Filtern Sie nach den User-Agents der großen KI-Crawler. Ein Crawler, der nach dem Setzen eines ‚Disallow‘ weiterhin zugreift, verletzt Ihre Regeln. Zweitens: Spezielle Monitoring-Tools. Anbieter wie unser llms.txt-Generator bieten integrierte Crawling-Reports, die Verstöße automatisch erkennen und melden. Drittens: Stichproben in den KI-Chats selbst. Fragen Sie ChatGPT oder Gemini nach Ihren Inhalten. Wenn gesperrte Texte auftauchen, liegt ein Verstoß vor.

Vertrauen ist gut, Logfile-Analyse ist besser. Nur wer misst, weiß, ob die Regeln eingehalten werden.

Praktische Schritt-für-Schritt-Anleitung

Hier ist Ihre 30-Minuten-Anleitung für die erste funktionierende llms.txt. Sie brauchen nur einen Texteditor und Zugang zum Root-Verzeichnis Ihres Webservers.

1. Bestandsaufnahme (5 Minuten): Notieren Sie, welche Bereiche Ihrer Website schützenswert sind. Typische Kandidaten: der gesamte Blog, Preis- und Produktseiten, Whitepaper und Landingpages mit Lead-Formularen.
2. Entscheidung Training/Inferenz (5 Minuten): Legen Sie fest, ob Sie die Echtzeit-Nutzung erlauben wollen. Für die meisten Unternehmen ist die Formel ‚Training verbieten, Inferenz für Produktseiten erlauben‘ ein guter Start.
3. Datei erstellen (10 Minuten): Öffnen Sie einen Texteditor und schreiben Sie die Regeln. Beginnen Sie mit einem generellen Disallow und fügen Sie dann spezifische Allows hinzu.
4. Validierung (5 Minuten): Nutzen Sie den offiziellen Validator unter validator.llms-txt.org. Kopieren Sie den Inhalt Ihrer Datei hinein und lassen Sie sie prüfen.
5. Deployment (5 Minuten): Laden Sie die Datei als ‚llms.txt‘ in das Root-Verzeichnis. Testen Sie den Aufruf über den Browser.

Viele Unternehmen machen anfangs Fehler, die sich leicht vermeiden lassen. Lesen Sie dazu unseren Artikel über die 7 Fehler, die 90 Prozent der Websites bei der GEO-Implementierung machen.

Die wichtigsten KI-Crawler und ihre User-Agents

Um Ihre llms.txt korrekt zu konfigurieren, müssen Sie die Namen der Crawler kennen. Die Tabelle zeigt die wichtigsten User-Agents, die Sie in Ihren Regeln ansprechen können.

Ein einzelner Crawler kann mehrere hunderttausend Seiten pro Tag abrufen. Ohne Crawl-Delay ist das ein massiver Server-Last-Faktor.

Rechtliche Absicherung: Mehr als nur Technik

Die llms.txt ist ein technisches Signal, kein rechtlicher Vertrag. Für eine vollständige Absicherung sollten Sie die technische Steuerung mit rechtlichen Maßnahmen kombinieren. Aktualisieren Sie Ihre AGB und Datenschutzerklärung. Nehmen Sie einen Passus auf, der die Nutzung Ihrer Inhalte für das Training großer Modelle ausdrücklich untersagt. Verweisen Sie auf Ihre llms.txt als maschinenlesbare Umsetzung dieses Willens. Im Streitfall haben Sie so eine doppelte Absicherung: den technischen Standard und die rechtliche Erklärung.

Ausblick: Die Entwicklung des Standards

Der llms.txt-Standard ist nicht statisch. Die LLM Standards Group arbeitet an Version 1.1, die für das vierte Quartal 2026 erwartet wird. Geplant sind granularere Direktiven wie ‚Allow-Summarization‘ für die Erlaubnis von Zusammenfassungen und ‚Disallow-Commercial-Use‘ für das Verbot kommerzieller Nutzung. Der Standard entwickelt sich parallel zu den Modellen. Wer heute eine saubere Basis implementiert, ist für diese Erweiterungen gerüstet.