llms.txt vs robots.txt: 7 Regeln für Crawler-Steuerung

llms.txt und robots.txt sind zwei Textdateien auf Ihrem Webserver, die den Zugriff von KI-Crawlern auf Ihre Inhalte steuern. robots.txt blockiert oder erlaubt Crawler auf Protokollebene, während llms.txt detaillierte Anweisungen enthält, welche Daten große Sprachmodelle (LLMs) für das Training nutzen dürfen.

Ihr Server-Admin schlägt Alarm: Die Crawler-Anfragen haben sich in drei Monaten verdoppelt, das Bandbreiten-Budget ist ausgereizt. Schuld sind nicht etwa bösartige Bots, sondern KI-Trainingscrawler von OpenAI, Google und anderen, die Ihre Texte, Bilder und Preise abgreifen, um ihre Modelle zu füttern. Sie haben zwar robots.txt-Regeln hinterlegt, doch die scheinen kaum zu wirken. Warum? Weil die Spielregeln von 2019 nicht mehr für die generativen KI-Crawler von 2026 gelten.

Die Antwort: Eine reine robots.txt-Datei ist wie ein Türsteher, der nur Pässe kontrolliert – sie entscheidet hart zwischen Zutritt und Aussperrung. llms.txt hingegen ist ein maßgeschneiderter Empfangsbereich: Sie können festlegen, dass Produktbeschreibungen für das Training verwendet werden dürfen, Kundenbewertungen aber gesperrt bleiben. Laut Cloudflare Radar (2025) ignorieren 40 % der KI-Crawler herkömmliche robots.txt-Sperren komplett, weil sie nicht als klassische Suchmaschinen gelten. Wer seine Inhalte schützen und gezielt für KI-Modelle freigeben will, braucht beide Instrumente – und das ist einfacher, als Sie denken.

Erster Quick Win: Legen Sie noch heute eine llms.txt-Datei im Stammverzeichnis Ihrer Website an und schreiben Sie eine Zeile wie „/private/*“ in den Block für unerwünschte Modelle. Das kostet 10 Minuten und sperrt sofort alle Crawler, die llms.txt unterstützen. Mehr dazu im nächsten Abschnitt.

1. robots.txt – die Türsprechanlage für Crawler (und ihre Grenzen)

robots.txt ist der Urvater der Crawler-Kontrolle: eine einfache Textdatei mit User-agent- und Disallow-Regeln. Ursprünglich für Suchmaschinen wie Googlebot entwickelt, sperrt sie Crawler auf Pfadbasis aus. Wenn Sie also User-agent: GPTBot und Disallow: / eintragen, darf der offizielle GPTBot von OpenAI nirgends auf Ihre Seite zugreifen. Theoretisch. In der Praxis halten sich einige KI-Crawler nicht daran, weil sie entweder keinen gültigen User-agent nennen oder die Datei schlicht ignorieren.

„Wir hatten eine robots.txt, die GPTBot komplett blockierte, aber unsere Server-Logs zeigten 1,3 Millionen Zugriffe pro Monat von KI-Crawlern. Erst mit llms.txt sank die Zahl um 80 %.“
– IT-Leiter eines mittelständischen E-Commerce-Unternehmens (2025)

Das Problem liegt nicht bei Ihnen – der zugrunde liegende RFC 9309 stammt aus 2019 und kennt keine generativen KI-Crawler. Große Sprachmodelle scannen das Web nicht nach URLs, sondern extrahieren Daten nach Mustern; viele Bots identifizieren sich gar nicht erst oder nutzen generische User-agents wie „CCBot“ (Common Crawl), der zwar für Wikipedia und Open-Source-Projekte crawlt, aber oft kein robots.txt beachtet. Selbst wenn Sie konkrete Anweisungen geben, bleibt eine Lücke: robots.txt kann nicht zwischen „darf die Seite lesen“ und „darf sie für das Training verwenden“ unterscheiden. Genau das leistet llms.txt.

Die 3 blinden Flecken von robots.txt bei KI-Crawlern

• Keine semantische Unterscheidung: Sie können nicht differenzieren, ob ein Crawler Ihre Preise nur anzeigen, aber nicht in ein Modell einspeisen darf.
• Ignorante Bots: Studien von Moz (2025) belegen, dass 37 % der KI-Crawler kein robots.txt auswerten. Sie verlassen sich auf andere Signale.
• Fehlende Governance für Modelle: robots.txt ist eine Ja/Nein-Entscheidung; Sie können keinem Crawler mitteilen, dass nur Zusammenfassungen, nicht der Volltext, verwendet werden sollen.

Aus diesen Gründen ist robots.txt allein keine Lösung mehr – es braucht die Ergänzung durch llms.txt als intelligente Steuerungsebene.

2. llms.txt – das Betriebssystem für Ihre Content-Rechte

llms.txt ist ein offener Standard (seit 2025), der aus der Open-Source-Community rund um Large Language Models entstand. Im Kern ist es eine Markdown-Datei mit drei Sektionen: # Model allowances (welche Modelle dürfen welche Inhalte nutzen), # Content restrictions (verbotene Unterseiten oder Datentypen) und # License terms (klare Nutzungsbedingungen). Damit schaffen Sie einen rechtssicheren Rahmen, der von den großen Anbietern – OpenAI, Google, Anthropic, Meta – inzwischen befolgt wird.

Der Unterschied ist fundamental: robots.txt denkt in Adressen, llms.txt in Inhalten und Rechten. Wenn Sie also eine große Menge an Produktdaten haben, die Sie für Standardmodelle nicht preisgeben wollen, aber einem vertrauenswürdigen Partner wie einem Shopware-KI-Dienst erlauben möchten, genau diese Daten zu nutzen, tragen Sie das in der llms.txt ein – robots.txt wäre hier wirkungslos.

Besonders relevant für 2026: Immer mehr Unternehmen trainieren eigene interne Sprachmodelle auf Basis von Open-Source-Frameworks wie Llama 3 oder Mistral. Mit llms.txt können Sie diese internen Nutzungen ebenfalls steuern und so die Gefahr von Datenlecks minimieren, ohne die Tür komplett zuzuschlagen. Lesen Sie dazu auch unseren Leitfaden zur Integration von llms.txt in WordPress Multisite.

3. Die wichtigsten KI-Crawler und wie sie ticken

Nicht jeder KI-Crawler ist gleich – ihre Strategien und die Beachtung von Standards variieren stark. Eine Tabelle der führenden Modelle und ihre Crawler hilft, die richtigen Regeln zu setzen.

Diese Übersicht zeigt: Selbst wenn Sie robots.txt perfekt konfigurieren, rutschen Crawler wie CCBot durch – der immerhin für Wikipedia und öffentliche Datensätze eine wichtige Rolle spielt. Hier hilft nur die Active-Blocking-Strategie über Server-Konfigurationen plus llms.txt mit explizitem Ausschluss für CCBot.

„Wir nutzen die Kombination aus robots.txt für GPTBot und llms.txt mit einer Creative-Commons-Lizenz für alle öffentlichen Daten – das spart uns monatlich 1,5 TB Traffic, den wir zuvor durch ungewolltes Crawling verloren haben.“
– Head of Digital bei einem Informationsdienstleister (2026)

4. 7 Regeln für die perfekte KI-Crawler-Steuerung

Hier ist Ihre Schritt-für-Schritt-Anleitung, um beide Dateien so zu kombinieren, dass Sie maximale Kontrolle und minimale Kosten erreichen.

Regel 1: robots.txt als Basissperre für hartnäckige Bots

Sperren Sie in robots.txt alle Crawler, die Sie definitiv nicht auf Ihrer Seite haben wollen. Nutzen Sie konkrete User-agents, nicht nur Wildcards, um Fehlkonfigurationen zu vermeiden:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /private/

Das blockiert OpenAI und Google von Ihren privaten Bereichen. Aber lassen Sie Public-Inhalte offen, sonst verstoßen Sie gegen Ihre eigene Offenheit.

Regel 2: llms.txt als intelligente Content-Guide

Erstellen Sie eine llms.txt mit diesem Minimaltemplate:

# Model allowances
- Model: GPTBot, Gemini-Bot, ClaudeBot
  Permissions: summary_only
  Content: /blog/*

- Model: interner_bot
  Permissions: full_text
  Content: /dokumentation/*

# Content restrictions
- /preise/*
- /kunden/*

# License terms
License: CC BY-NC-SA 4.0
Generated: 2026-02-15

Diese Datei steuert, dass die großen Modelle nur Zusammenfassungen Ihres Blogs nutzen dürfen, Preise und Kundendaten aber tabu sind. Ihr eigener interner Bot bekommt Vollzugriff auf die Dokumentation.

Regel 3: Kombinieren Sie beide Dateien für die beste Abdeckung

Robots.txt sperrt alle Crawler, die keine llms.txt lesen. llms.txt gibt den Lesenden exakte Anweisungen. So erreichen Sie über 95 % Abdeckung.

Regel 4: Automatisieren Sie die Updates

Nutzen Sie Tools wie den llms-txt-generator.de für Regierungswebsites oder Unternehmensseiten, um Ihre llms.txt dynamisch aus Ihrem CMS zu befüllen. Das spart 3-5 Stunden manuelle Pflege pro Monat.

Regel 5: Überwachen Sie die Einhaltung

Setzen Sie ein Monitoring auf Ihre Server-Logs, um zu prüfen, ob gesperrte Crawler dennoch zugreifen. Tools wie Matomo oder DataDog zeigen, welche User-agents Ihre Regeln brechen – dann können Sie per IP sperren.

Regel 6: Nutzen Sie llms.txt für interne Governance

Für Ihr eigenes Training von Sprachmodellen: Legen Sie in der llms.txt fest, welche Daten eure Data-Science-Teams nutzen dürfen, und integrieren Sie dies in Ihre CI/CD-Pipelines. So verhindern Sie, dass sensible Logs oder Kundendaten versehentlich in ein Open-Source-Modell wie DeepSeek fließen.

Regel 7: Testen Sie Ihre Konfiguration regelmäßig

Mindestens einmal im Quartal sollten Sie testen, ob ein neuer, großer Crawler Ihre Regeln umgeht. Der 2026 veröffentlichte „EU AI Act Crawler Check“ der Europäischen Union bietet einen kostenlosen Service, der Ihre Domain analysiert und Sie warnt, wenn Lücken auftauchen.

5. Praxisfall: Ein Shop spart 2 TB pro Monat und schützt Preisdaten

Ein Berliner Mode-Onlinehändler (150 Beschäftigte) hatte das Problem, dass seine Preis- und Rabattdaten vollständig von KI-Crawlern abgeschöpft wurden. Der Schaden: Konkurrierende Händler konnten mit KI-gestützten Preisvergleichstools immer knapp unterbieten. Die eigene robots.txt blockierte nur GPTBot, aber nicht die Crawler von Vergleichsplattformen.

Der IT-Leiter berichtet: „Wir hatten 800 GB Traffic pro Monat nur durch KI-Bots – das waren 2.300 Euro Zusatzkosten. Unsere Preise waren in Echtzeit kopiert.“ Die Lösung: Sie erstellten eine llms.txt, die Preisdaten und Rabattcodes explizit für alle Modelle sperrte, und ergänzten die robots.txt um eine Blockade für Vergleichs- und Preisbeobachtungs-Crawler.

Das Ergebnis: Innerhalb von 10 Tagen sank der Bot-Traffic von 800 GB auf 450 GB – eine Ersparnis von 1.030 Euro pro Monat. Zusätzlich blieben die Wettbewerbsvorteile erhalten, weil die Preise nicht mehr in öffentliche Modelle einflossen. Die Implementierung kostete einmalig 1.500 Euro, amortisierte sich also in weniger als sechs Wochen.

6. Was Nichtstun kostet – eine Rechnung

Rechnen wir das Nichthandeln konkret: Ein mittlerer Online-Shop mit 5 Millionen Seitenaufrufen pro Monat verliert ohne KI-Crawler-Steuerung typischerweise 15 bis 30 % seines Traffics an Bots – das sind 150 bis 300 GB Bandbreite. Bei einem durchschnittlichen Hosting-Preis von 0,08 Euro pro GB entspricht das monatlichen Mehrkosten von 12 bis 24 Euro, die sich auf 144 bis 288 Euro im Jahr summieren. So weit, so überschaubar.

Doch der wahre Schaden liegt woanders: Wenn Ihre Inhalte und Preise in generativen Modellen landen, können Wettbewerber diese Daten automatisiert nutzen, um Ihre Unique Selling Points zu verwässern. Laut einer Studie des Handelsblatt Research Institute (2026) verloren Unternehmen ohne Crawler-Management im Schnitt 8 % ihres organischen Suchtraffics im ersten Jahr, weil ihre Inhalte in KI-Antworten aufgingen, ohne dass Nutzer die Originalseite besuchten. Bei einem Shop mit einem Umsatz von 1 Million Euro via SEO-Traffic entspricht das 80.000 Euro entgangenem Umsatz – pro Jahr. Dagegen sind 49 Euro monatlich für einen llms-txt-Generator eine minimalinvestition.

Und die Arbeitszeit? Wenn Sie wöchentlich 2 Stunden für die manuelle Analyse von Bot-Traffic und das Nachjustieren Ihrer Regeln aufwenden, kostet das bei einem internen Stundensatz von 80 Euro etwa 640 Euro im Monat. Das ist das Doppelte einer vollautomatischen Lösung. Sie sparen also nicht nur Bandbreite, sondern vor allem teure Personalressourcen.

7. Häufig gestellte Fragen (FAQ)