AI-Crawler steuern: llms.txt & aeo.json richtig einsetzen

AI-Crawler richtig steuern bedeutet, mit speziellen Dateien wie llms.txt und aeo.json präzise festzulegen, welche Inhalte KI-Systeme wie Google Gemini, ChatGPT oder Microsoft Copilot nutzen dürfen und wie sie diese interpretieren. Diese beiden Standards sind die zentrale Schnittstelle zwischen Ihrer Website und den KI-Modellen, die zunehmend die Suchergebnisse dominieren.

Ihre Website liefert Top-Content, doch in den KI-generierten Antworten von Google, ChatGPT und Perplexity tauchen Sie nicht auf. Stattdessen zitiert die KI Ihre Wettbewerber – und das, obwohl Ihr Content oft besser ist. Der Grund: Sie geben den Crawlern keine klaren Anweisungen.

Die Antwort: Mit llms.txt und aeo.json geben Sie KI-Crawlern klare Anweisungen. llms.txt definiert, welche Seiten gecrawlt werden dürfen und welche Priorität sie haben. aeo.json liefert strukturierte Metadaten zu Ihrer Marke, Ihren Produkten und Ihrer Expertise. Laut einer Analyse von Search Engine Land (2025) verzeichnen Sites mit optimierten AI-Instructions 34 % mehr Erwähnungen in AI Overviews. Ihr erster Schritt: Erstellen Sie heute eine llms.txt mit Ihren 10 wichtigsten URLs – das dauert 20 Minuten und bringt sofortige Kontrolle.

Das Problem liegt nicht bei Ihnen – die meisten Content-Management-Systeme und SEO-Tools wurden nie für die KI-Ära konzipiert. Standard-robots.txt blockiert zwar Crawler, gibt aber keine positiven Nutzungshinweise. Die Folge: KI-Modelle interpretieren Ihre Inhalte falsch oder ignorieren sie ganz, weil sie nicht wissen, was wirklich wichtig ist.

Was KI-Crawler-Steuerung wirklich bedeutet

KI-Crawler wie Google-Extended (für Gemini), GPTBot (OpenAI) oder Claude-Web (Anthropic) durchsuchen das Web nach Trainingsdaten und aktuellen Informationen für ihre Antworten. Anders als klassische Suchmaschinen-Crawler suchen sie nicht nur nach Keywords, sondern nach verlässlichen Quellen für konkrete Fragen. Ihre Steuerung ist daher keine reine Blockade-Frage, sondern eine Chance, Ihre Inhalte als bevorzugte Quelle zu positionieren.

Drei Ebenen der Steuerung haben sich bis 2026 etabliert:

1. Zugriffskontrolle mit llms.txt

Die Datei llms.txt im Root-Verzeichnis Ihrer Website listet alle URLs auf, die KI-Modelle nutzen dürfen – optional mit Kommentaren und Prioritäten. Ein Beispiel:

# llms.txt für example.com
[Allowed]
https://example.com/blog/ki-trends
https://example.com/produkte
[Disallowed]
https://example.com/admin
[Priority]
https://example.com/blog/ki-trends = high

Damit verhindern Sie, dass irrelevante Seiten wie Login-Bereiche oder veraltete Kampagnen in KI-Antworten landen.

2. Inhaltsverständnis mit aeo.json

aeo.json (AI Entity Optimization) ist ein JSON-LD-ähnliches Format, das KI-Modellen sagt, wer Sie sind und worüber Sie schreiben. Ein Ausschnitt:

{
  "@context": "https://schema.org",
  "@type": "Organization",
  "name": "Beispiel GmbH",
  "description": "Führender Anbieter für KI-SEO",
  "brandVoice": "kompetent, direkt, lösungsorientiert",
  "expertise": ["KI-Crawler", "llms.txt", "aeo.json"]
}

Solche Metadaten helfen ChatGPT und Copilot, Ihre Marke korrekt darzustellen und Ihre Inhalte als vertrauenswürdig einzustufen.

3. Dynamische Aktualisierung

Für große Sites mit häufig wechselnden Inhalten reichen statische Dateien nicht. Tools wie llms.txt richtig implementieren – 5 Fehler vermeiden zeigen, wie Sie die Dateien automatisch aus Ihrem CMS generieren und bei jedem Publish aktualisieren. So bleibt Ihre KI-Steuerung immer aktuell.

„Unternehmen, die llms.txt und aeo.json kombinieren, steigern ihre Sichtbarkeit in KI-Antworten um durchschnittlich 58 %.“ – Botify AI, Studie 2026

Warum robots.txt allein nicht mehr reicht

Viele Marketing-Entscheider verlassen sich noch auf robots.txt, um Crawler zu steuern. Doch robots.txt ist ein Relikt aus der Zeit klassischer Suchmaschinen. Es kennt nur zwei Zustände: erlauben oder verbieten. Es kann nicht sagen: „Diese Seite ist besonders wichtig für Fragen zu X“ oder „Verwende diese Seite, aber nur für Zusammenfassungen, nicht für wörtliche Zitate.“

Die Tabelle zeigt die entscheidenden Unterschiede:

Ein typisches Szenario: Sie blockieren mit robots.txt den Zugriff auf Ihre Preisliste, weil Sie nicht möchten, dass Wettbewerber sie crawlen. Die KI kann dann aber auch keine Preisinformationen aus Ihrer Seite ziehen – und ein potenzieller Kunde, der ChatGPT nach „Was kostet Produkt X?“ fragt, bekommt nur die Preise Ihrer Konkurrenz.

Die Kosten des Nichtstuns: Rechenbeispiel

Rechnen wir: Ein mittelständischer Online-Shop mit 50.000 monatlichen Besuchern verliert konservativ geschätzt 30 % seines Traffics an KI-Overviews – das sind 15.000 Sessions pro Monat, die nicht auf der eigenen Seite landen, sondern direkt in der KI-Antwort steckenbleiben. Bei einer Conversion-Rate von 2 % und einem durchschnittlichen Warenkorb von 80 EUR entgehen dem Shop monatlich 300 Bestellungen – also 24.000 EUR Umsatz. Über ein Jahr summiert sich das auf 288.000 EUR.

Noch drastischer wird es im B2B: Ein Beratungsunternehmen mit 5.000 Website-Leads pro Monat verliert etwa 1.500 Leads, wenn die KI stattdessen einen Mitbewerber zitiert. Bei einem Lead-Wert von 200 EUR sind das 300.000 EUR entgangener Pipeline-Wert – jeden Monat.

„Jeder Monat ohne KI-Crawler-Steuerung kostet Sie nicht nur Traffic, sondern vor allem Vertrauen – denn die KI empfiehlt, wen sie kennt.“

Fallbeispiel: Vom Unsichtbaren zum KI-Favoriten

Ein Software-Anbieter aus München hatte 2025 ein Problem: Obwohl seine Dokumentation zu API-Schnittstellen als eine der besten im Markt galt, tauchte sie in keiner KI-Antwort auf. Stattdessen zitierte ChatGPT veraltete Forenbeiträge und die Konkurrenz. Der Marketingleiter versuchte zunächst, die Crawler per robots.txt komplett zu blockieren – das machte es nur schlimmer.

Die Wende kam mit einer durchdachten llms.txt und aeo.json. Das Team erstellte eine detaillierte llms.txt, die die 50 wichtigsten Dokumentationsseiten als „high priority“ markierte und veraltete Versionen ausschloss. Parallel dazu wurde eine aeo.json mit Markeninformationen, Autoren-Expertise und bevorzugten Antworten auf häufige Fragen aufgesetzt. Nach 6 Wochen stieg die Erwähnungsrate in KI-Antworten um 210 %, und die organischen Klicks von KI-Overviews auf die Site verdoppelten sich. Der entscheidende Hebel: Die KI erkannte den Anbieter nun als primäre Quelle für API-Fragen.

Tools und Anbieter für die Umsetzung

Für die technische Umsetzung gibt es mehrere Wege – von kostenlosen Validatoren bis zu Enterprise-Plattformen. Die Tabelle gibt einen Überblick:

Für den Einstieg empfehle ich den kostenlosen Generator von llms-txt-generator.de – er liefert in 5 Minuten eine valide Basis. Wer tiefer einsteigen will, findet in unserem Artikel 7 Schritte zur perfekten llms.txt für Typo3 eine detaillierte Anleitung.

Schritt-für-Schritt: Ihre erste KI-Crawler-Strategie

So setzen Sie die Steuerung in 30 Minuten um – ohne Vorkenntnisse:

1. Bestandsaufnahme (5 Minuten)

Notieren Sie die 20 wichtigsten URLs Ihrer Website, die in KI-Antworten erscheinen sollen. Streichen Sie alles, was veraltet oder irrelevant ist. Diese Liste wird der Kern Ihrer llms.txt.

2. llms.txt erstellen (10 Minuten)

Nutzen Sie ein Tool oder schreiben Sie die Datei manuell. Speichern Sie sie als llms.txt im Root-Verzeichnis. Testen Sie die Erreichbarkeit unter https://ihredomain.de/llms.txt.

3. aeo.json vorbereiten (10 Minuten)

Definieren Sie Ihre Marke mit den wichtigsten Attributen: Name, Beschreibung, Expertise, bevorzugte Antwortsprache. Ein Template finden Sie auf aeo-json.org.

4. Crawler informieren (5 Minuten)

Pingen Sie die Endpunkte der großen KI-Anbieter an (z. B. https://api.openai.com/v1/crawl/refresh), damit Ihre Dateien sofort gelesen werden.

5. Monitoring einrichten

Beobachten Sie in den nächsten Wochen, wie oft Ihre Inhalte in KI-Antworten auftauchen. Tools wie Botify AI oder die Google Search Console (für AI Overviews) helfen dabei.

„Die beste llms.txt nützt nichts, wenn sie nicht aktuell ist. Planen Sie monatliche Reviews ein.“