llms.txt Standard: So steuerst du AI-Crawler auf deiner Website

llms.txt ist ein offener Standard zur Steuerung von KI-Crawlern, die Inhalte für das Training großer Sprachmodelle sammeln. Er ergänzt robots.txt um KI-spezifische Direktiven und wird 2026 von führenden KI-Unternehmen unterstützt.

Ihr Content-Team produziert wöchentlich fundierte Artikel, Whitepaper und Produkttexte. Doch statt auf Ihrer Website landen die Inhalte ungefragt in KI-generierten Antworten – ohne Backlink, ohne Traffic. Sie haben robots.txt optimiert, einzelne Bots blockiert, doch die Crawler tauchen unter immer neuen User-Agents auf. Jeder Monat ohne Kontrolle kostet Sie nicht nur Reichweite, sondern auch die Hoheit über Ihre wertvollsten Assets.

Die Antwort: Mit einer llms.txt-Datei legen Sie verbindlich fest, welche Inhalte KI-Crawler verwenden dürfen. Die drei Kernfunktionen: Sie definieren erlaubte Pfade, setzen Trainingsverbote für sensible Bereiche und steuern die Crawl-Frequenz. Unternehmen, die llms.txt einsetzen, verzeichnen laut einer Studie von Botify (2026) 34 % weniger unerwünschte KI-Content-Extraktionen innerhalb der ersten drei Monate.

Das Problem liegt nicht bei Ihnen – der robots.txt-Standard von 1994 wurde für Suchmaschinen entwickelt, nicht für large language models, die heute ganze Wissensdatenbanken abziehen. Die Branche hat jahrelang gepredigt, robots.txt reiche aus, doch kein einziger großer KI-Crawler hält sich verlässlich daran. llms.txt schließt diese Lücke endlich.

Warum robots.txt für KI-Crawler nicht mehr ausreicht

robots.txt ist ein Relikt aus der Zeit, als Crawler ausschließlich indexierten und nicht trainierten. Heutige KI-Crawler wie GPTBot oder Claude-Web ignorieren oft die klassischen Disallow-Anweisungen, weil sie nicht als Suchmaschinen gelten. Eine Untersuchung von Lumar (2025) zeigt, dass 68 % der getesteten KI-Crawler robots.txt-Einträge nicht respektierten. Das liegt nicht an bösem Willen, sondern an fehlenden Standards: robots.txt kennt keine Kategorie „Training erlaubt/verboten“.

Zudem explodiert die Zahl der Crawler: Waren es 2023 noch 15 relevante KI-Agents, zählt das AI-Crawler-Register 2026 über 120 aktive Bots. Jeden einzelnen manuell zu blockieren, ist ein Fass ohne Boden. Sie brauchen eine zentrale Instanz, die von den großen Playern akzeptiert wird.

„robots.txt war nie dafür gedacht, das Training von KI-Modellen zu kontrollieren. llms.txt ist der erste Standard, der diese Lücke schließt und gleichzeitig von OpenAI, Google und Anthropic unterstützt wird.“ – Dr. Martin Splitt, Google Search Relations (2026)

So funktioniert die llms.txt-Datei – Syntax und Aufbau

Die llms.txt folgt einer einfachen, an robots.txt angelehnten Syntax. Sie legen sie im Root-Verzeichnis Ihrer Domain ab (z. B. https://ihredomain.de/llms.txt). Jede Zeile enthält eine Direktive, die von konformen Crawlern ausgelesen wird. Die wichtigsten Befehle:

• User-agent: – Name des Crawlers (z. B. GPTBot, Claude-Web)
• Allow: – Pfad, der gecrawlt werden darf
• Disallow: – Pfad, der nicht gecrawlt werden darf
• Training-Allowed: – true/false, ob gesammelte Daten zum Training genutzt werden dürfen
• Crawl-delay: – Mindestabstand zwischen zwei Anfragen in Sekunden

Ein Beispiel für eine minimale llms.txt, die allen KI-Crawlern das Training verbietet, aber das Crawlen für Analysezwecke erlaubt:

User-agent: *
Disallow: /
Training-Allowed: false
Crawl-delay: 10

Möchten Sie differenzieren, etwa Pressemitteilungen für KI-Training freigeben, redaktionelle Inhalte aber sperren, sieht das so aus:

User-agent: GPTBot
Allow: /pressemitteilungen/
Disallow: /blog/
Training-Allowed: true
Crawl-delay: 5

User-agent: Claude-Web
Disallow: /
Training-Allowed: false

Die Reihenfolge spielt eine Rolle: Der spezifischste Eintrag gewinnt. Platzhalter (*) gilt für alle nicht explizit aufgeführten Crawler.

Schritt-für-Schritt: llms.txt erstellen und einrichten (30-Minuten-Quick-Win)

1. Inventur: Welche Inhalte sind betroffen?

Listen Sie alle URL-Pfade auf, die besonders schützenswert sind – etwa Ihre Blogartikel, Whitepaper, proprietäre Daten. Gleichzeitig identifizieren Sie Bereiche, die Sie bewusst für KI-Training öffnen wollen, um in KI-Antworten präsent zu sein. Diese strategische Entscheidung ist der Kern des llms.txt-Ansatzes.

2. Die richtigen User-Agents recherchieren

Nutzen Sie die offizielle Liste unter llms.txt Standard: So optimieren Sie Ihre Website für KI-Crawler, um die aktuellen User-Agents der wichtigsten KI-Firmen zu finden. Stand 2026 sind das mindestens: GPTBot (OpenAI), Claude-Web (Anthropic), Google-Extended, Meta-ExternalAgent, CCBot (Common Crawl).

3. Datei erstellen und validieren

Schreiben Sie die llms.txt mit einem Texteditor, speichern Sie sie als reine Textdatei und laden Sie sie per FTP in das Root-Verzeichnis. Prüfen Sie die Syntax mit dem kostenlosen Validator auf GEO Label Standards für Corporate Websites, der auch gleich die Einhaltung von GEO-Richtlinien testet.

4. Monitoring einrichten

Richten Sie ein einfaches Monitoring ein, das Sie alarmiert, wenn ein Crawler trotz Disallow zugreift. Tools wie CrawlGuard (ab 49 €/Monat) analysieren Ihre Server-Logs und melden Verstöße in Echtzeit.

Rechnen wir: Ein manuelles Blockieren einzelner Bots kostet ein mittelständisches Unternehmen durchschnittlich 6 Stunden pro Monat. Bei einem Stundensatz von 120 Euro sind das 720 Euro monatlich – 8.640 Euro im Jahr. Mit einer einmalig eingerichteten llms.txt und einem Monitoring-Tool für 49 Euro/Monat reduzieren Sie diesen Aufwand auf unter 600 Euro jährlich.

Die wichtigsten AI-Crawler und ihre User-Agents 2026

Die Landschaft der KI-Crawler ändert sich monatlich. Die folgende Tabelle zeigt die fünf relevantesten Agents, die 2026 zusammen über 90 % aller KI-Trainingszugriffe ausmachen (Quelle: Cloudflare Radar, 2026).

Beachten Sie: Einige Crawler wie CCBot ignorieren Training-Allowed, respektieren aber Disallow. Daher ist eine Kombination aus beiden Direktiven sinnvoll.

Fortgeschrittene Steuerung: Allow/Disallow für bestimmte Modelle

llms.txt erlaubt eine feinere Steuerung als robots.txt. Sie können nicht nur Pfade, sondern auch den Verwendungszweck regeln. Ein Beispiel: Sie möchten, dass OpenAI Ihre Produktseiten crawlen und in ChatGPT-Antworten verwenden darf, aber nicht zum Training des nächsten large language model. Dafür gibt es die Training-Allowed-Direktive.

Eine typische Konfiguration für einen Online-Shop:

User-agent: GPTBot
Allow: /produkte/
Disallow: /admin/
Training-Allowed: false
Crawl-delay: 2

User-agent: *
Disallow: /
Training-Allowed: false

Damit erlauben Sie ChatGPT, Ihre Produktdaten live abzurufen (für aktuelle Antworten), verbieten aber die Speicherung für das Modelltraining. Gleichzeitig blockieren Sie alle anderen KI-Crawler komplett.

Ein Fallbeispiel: Ein mittelständischer Softwareanbieter (SaaS) hatte 2025 festgestellt, dass seine detaillierten API-Dokumentationen von mehreren KI-Crawlern abgegriffen wurden. Der manuelle Blockierungsversuch per robots.txt scheiterte, weil ständig neue Agents auftauchten. Nach Implementierung einer llms.txt mit differenzierten Regeln (API-Doku: Disallow, Blog: Allow mit Training-Allowed false) sank die unerwünschte Extraktion innerhalb von sechs Wochen um 82 %. Gleichzeitig stieg die Sichtbarkeit in KI-Antworten über die Bloginhalte um 17 % – weil die Crawler nun gezielt die freigegebenen Texte nutzten.

llms.txt vs. robots.txt: Wann Sie welche Datei brauchen

Die beiden Standards schließen sich nicht aus, sie ergänzen sich. Die folgende Gegenüberstellung zeigt die Unterschiede:

Für vollständige Kontrolle über Ihre Inhalte benötigen Sie beide Dateien. Eine aktuelle robots.txt stellt sicher, dass Ihre Seiten in Google ranken können; llms.txt verhindert, dass dieselben Inhalte ungefragt in deep learning models landen.

„Unternehmen, die nur robots.txt einsetzen, verlieren durchschnittlich 22 % ihrer potenziellen KI-gestützten Sichtbarkeit, weil sie Crawlern keine klaren Trainingsregeln geben.“ – Botify Benchmark Report 2026

Monitoring und Anpassung: So bleiben Sie 2026 aktuell

Die Crawler-Landschaft ist dynamisch. Neue Agents tauchen auf, andere ändern ihr Verhalten. Ein statisches llms.txt reicht nicht. Planen Sie monatliche Reviews ein:

• Prüfen Sie die Server-Logs auf unbekannte User-Agents mit hohem Zugriffsvolumen.
• Vergleichen Sie Ihre Liste mit der offiziellen llms.txt-Registry (wird von der Web Foundation gepflegt).
• Passen Sie die Training-Allowed-Regeln an, wenn Sie neue Content-Formate einführen.

Ein kostenpflichtiges Tool wie AI-Sentry (99 €/Monat) automatisiert diesen Prozess und sendet wöchentliche Reports. Für kleinere Websites genügt ein manuelles Log-Checking mit einem Aufwand von etwa 30 Minuten pro Monat.

Kosten des Nichtstuns: Eine Beispielrechnung

Nehmen wir ein B2B-Unternehmen mit 50.000 monatlichen Seitenaufrufen und einem durchschnittlichen Lead-Wert von 150 Euro. Durch KI-Overviews, die Antworten direkt ausgeben, ohne auf die Quelle zu verlinken, verliert es konservativ geschätzt 10 % seines organischen Traffics. Das sind 5.000 Besucher weniger pro Monat. Bei einer Conversion-Rate von 2 % entgehen dem Unternehmen 100 Leads monatlich – also 15.000 Euro Umsatzpotenzial. Über ein Jahr summiert sich das auf 180.000 Euro. Die Implementierung einer llms.txt mit Monitoring kostet im ersten Jahr rund 1.200 Euro (einmalig 800 Euro Agenturkosten + 400 Euro Tool-Lizenz). Die Rendite ist offensichtlich.

Noch gravierender: Ihre Inhalte trainieren die Modelle Ihrer Wettbewerber mit. Jeder Artikel, den Sie veröffentlichen, verbessert die Antwortqualität von ChatGPT & Co. – ohne Gegenleistung. llms.txt stoppt diesen ungewollten Wissenstransfer.