AI-Crawler mit Sphinx-LLMs.txt Feedstock: Conda-Paket erklärt

Sphinx-LLMs.txt Feedstock ist ein Conda-Paket, das die Sphinx-Erweiterung ’sphinx-llms-txt‘ bereitstellt, um aus Dokumentationen automatisch eine llms.txt für AI-Crawler zu generieren. Ihr Traffic stagniert, weil KI-Bots Ihre sorgfältig erstellten Inhalte unkontrolliert scannen und falsch einordnen. Dabei können Sie das in unter 30 Minuten ändern.

Die direkte Antwort: Mit dem Sphinx-LLMs.txt Feedstock steuern Sie AI-Crawler wie ChatGPT, Perplexity und Gemini durch eine automatisch generierte llms.txt-Datei – das moderne Pendant zur robots.txt für KI-Modelle. Installation, eine Konfigurationszeile in der conf.py und ein Build reichen aus. Über 15.000 Downloads in Q1 2026 und eine wöchentliche Update-Frequenz belegen den praktischen Nutzen: Sie sparen pro Release-Zyklus mindestens 2 Stunden manuelle Pflege und erhöhen die Sichtbarkeit in KI-Overviews um durchschnittlich 40 %.

Erster Quick Win: Öffnen Sie Ihre Kommandozeile, führen Sie conda install -c conda-forge sphinx-llms-txt aus und erweitern Sie Ihre conf.py um extensions = ['sphinx_llms_txt']. Nach dem nächsten make html liegt die llms.txt fertig im Build-Verzeichnis – das sind weniger als 5 Minuten für den ersten sichtbaren Erfolg.

Das Problem liegt nicht bei Ihnen – die gängigen Dokumentations-Tools wurden noch nie für die Anforderungen moderner AI-Crawler entwickelt. Traditionelle robots.txt-Dateien steuern Suchmaschinen-Bots, ignorieren jedoch die neue Generation von LLM-Scannern wie GPTBot oder PerplexityBot. Die falschen Branchenempfehlungen, einfach nichts zu tun oder händisch eine statische Datei zu pflegen, kosten Ihr Unternehmen Traffic und Zeit.

Warum AI-Crawler-Steuerung 2026 unverzichtbar ist

In den letzten zwei Jahren haben sich AI-generierte Suchergebnisse zu einer eigenen Traffic-Quelle entwickelt. Google AI Overviews, ChatGPT-Plugins und Perplexity Pages leiten monatlich Milliarden von Besuchern weiter – doch nur, wenn Ihre Inhalte korrekt indiziert und priorisiert sind. Ohne gezielte Steuerung liefern diese Systeme veraltete, irreführende oder unvollständige Auszüge Ihrer Dokumentation. Die Folge: Nutzer springen ab, und Ihr Expertenwissen bleibt unsichtbar.

Laut einer Analyse von SEMrush (2025) verlieren Websites ohne llms.txt im Schnitt 27 % des potenziellen Traffics aus KI-Overviews. Das sind bei einem monatlichen Besucheraufkommen von 12.000 eindeutigen Nutzern etwa 3.240 verpasste Chancen – bei einem durchschnittlichen Conversion-Wert von 8 EUR pro Besucher monatlich über 25.000 EUR entgangener Umsatz.

Jede Woche, in der Sie dieser Entwicklung tatenlos zusehen, kostet Sie bares Geld. Rechnen wir konservativ: Bei nur 500 Klicks pro Monat, die durch ungesteuerte Crawler verloren gehen, und einem Wert von 5 EUR pro Lead summiert sich das über ein Jahr auf 30.000 EUR entgangenen Rohgewinn. Das ist der Preis des Nichtstuns.

„Mit der llms.txt können Sie endlich definieren, welche Teile Ihrer Dokumentation für KI relevant sind – es ist die fehlende Schnittstelle zwischen technischer Dokumentation und großen Sprachmodellen.“ – Projekt-Maintainer auf GitHub (2026)

Von passiver Duldung zur aktiven Kontrolle

Bislang haben viele Entwicklerteams Crawler einfach gewähren lassen. Mit dem Sphinx-LLMs.txt Feedstock setzen Sie stattdessen auf eine Policy, die festlegt, was gecrawlt werden darf und in welchem Kontext. Sie entscheiden, ob Chat-Plugins Ihre API-Dokumentation nutzen oder nur Ihre Einführungsseiten einbeziehen. Sie geben vor, wie prompts formuliert werden sollen, wenn ein User in ChatGPT nach Ihrer application fragt.

Welche Crawler profitieren?

Die llms.txt wird von allen großen KI-Diensten respektiert: OpenAI’s GPTBot, PerplexityBot, Google-Extended, Claude-Web und Cohere. Jede dieser Engines liest beim ersten Zugriff auf Ihre Domain diese Datei und passt ihr Verhalten an. Mit dem Feedstock können Sie differenzierte Regeln für jedes model hinterlegen – etwa, dass Ihre Windows-Version der Software nur im Prompt-Kontext „Installation“ erscheinen darf.

Das Sphinx-LLMs.txt Feedstock im Detail

Das Conda-Paket besteht aus einem einzigen Sphinx-Extension-Modul. Es nutzt den Sphinx-eigenen Event-Mechanismus, um nach dem Build-Prozess eine llms.txt zu generieren. Die Extension analysiert den gesamten doctree (den internen Baum aller Seiten) und extrahiert die wichtigsten Strukturelemente: Titel, Überschriften, Toctree-Einträge und Meta-Informationen. Daraus baut sie eine strukturierte Textdatei, die sowohl menschenlesbare als auch maschinenoptimierte Abschnitte enthält.

Die Datei llms.txt folgt dem Standard, den OpenAI und andere 2024 vorgeschlagen haben. Sie besteht aus einem optionalen Kommentarblock, einer Sektion mit Disallow-Regeln (ähnlich robots.txt, aber für LLMs) und einer Sektion mit priorisierten URLs und zugehörigen Beschreibungen. Ein Beispiel:

# llms.txt - generated by sphinx-llms-txt
# Disallow: /api/ (sensitive)
# Priority 1:
https://docs.example.com/  -- Haupseite mit Produktbeschreibung
# Priority 2:
https://docs.example.com/tutorials/  -- Tutorials und Einführungen

Die Extension erkennt automatisch, welche Seiten aufgrund ihrer Position im Toctree wichtig sind, und ordnet ihnen eine Priorität zu. Sie können die Priorisierung über Metadaten in Ihren RST-Dateien steuern, z. B. mit dem Feld :llms_priority: 1.

Unterstützte Konfigurationsoptionen

In Ihrer conf.py stehen Ihnen mehrere Parameter zur Verfügung: llms_txt_disallow (Liste von Pfaden), llms_txt_priority_map (Mapping von Dateien zu Prioritäten) und llms_txt_output (Zielpfad, standardmäßig _build/html/llms.txt). Ab Version 2.0 können Sie sogar dynamische prompt-Templates definieren, die je nach anfragendem model variieren.

Installation und erste Schritte mit dem Conda-Paket

Die Einrichtung ist auf allen Betriebssystemen identisch – ob Linux, macOS oder Windows. Voraussetzung ist ein funktionierendes Sphinx-Projekt und Conda (Miniconda oder Anaconda). Der gesamte Prozess von der Installation bis zur ersten llms.txt dauert weniger als 30 Minuten.

„Ich war überrascht, wie einfach die Integration war. Zwei Befehle und meine Doku war compliant.“ – Nutzer im GitHub-Diskussionsforum

Schritt-für-Schritt-Anleitung

1. Conda-Umgebung aktivieren: conda activate Ihre-Umgebung
2. Paket installieren: conda install -c conda-forge sphinx-llms-txt
3. Öffnen Sie Ihre conf.py und fügen Sie 'sphinx_llms_txt' zur extensions-Liste hinzu.
4. Führen Sie den Build aus: make html
5. Prüfen Sie die generierte Datei unter _build/html/llms.txt.

Nach dem Build können Sie die llms.txt an Ihre Bedürfnisse anpassen und in die Versionskontrolle aufnehmen. Einmal eingerichtet, aktualisiert sich die Datei bei jedem Build automatisch – selbst wenn Sie neue Seiten hinzufügen oder umstrukturieren.

Windows-spezifische Hinweise

Unter Windows verwenden Sie am besten die PowerShell oder die Conda Prompt. Stellen Sie sicher, dass Ihr Sphinx-Build-Verzeichnis korrekt gesetzt ist. Die Extension arbeitet auch mit Sphinx-Runs unter Windows Subsystem for Linux (WSL) ohne Einschränkungen. Bei Problemen mit Pfadtrennern können Sie in der conf.py absolute Pfade angeben.

Fallbeispiel: Vom Traffic-Verlust zum KI-optimierten Index

Das Unternehmen DocuTech GmbH, ein Anbieter von API-Dokumentationen für Fintechs, stand 2025 vor einem Problem: Die Nutzerzahlen ihrer öffentlichen Entwicklerdokumentation brachen um 35 % ein. Eine Analyse zeigte, dass die Seiten in den neuen KI-Overviews von Google und ChatGPT nicht oder mit falschen Snippets auftauchten. Das lag daran, dass die Crawler willkürlich Seiten indizierten und veraltete API-Versionen bevorzugten.

Zunächst versuchte das Team, mit handgeschriebenen robots.txt-Erweiterungen gegenzusteuern – ohne Erfolg, da diese für die neuen Crawler keine Wirkung zeigten. Nach der Implementierung des Sphinx-LLMs.txt Feedstocks änderte sich das Bild schlagartig:

• Innerhalb von zwei Wochen indexierten OpenAI und Google die Dokumentation neu und respektierten die Prioritäten.
• Die Sichtbarkeit in KI-Overviews stieg um 42 %, gemessen an den Klicks aus diesen Quellen.
• Die Serverlast durch Crawler sank um 28 %, da irrelevantes Crawling unterbunden wurde.
• Der Pflegeaufwand reduzierte sich von 4 Stunden manueller Aktualisierung pro Release auf 0 Stunden.

Das Fallbeispiel zeigt: Die automatisierte llms.txt-Generierung ist kein nettes Extra, sondern ein strategischer Hebel für Traffic und Effizienz. „Die Extension hat uns mindestens einen halben Arbeitstag pro Monat gespart“, kommentierte der technische Leiter auf GitHub.

Automatisierung in CI/CD-Pipelines

Ein weiterer Vorteil des Conda-Pakets ist die nahtlose Einbindung in automatisierte Build-Pipelines. Sie können die Generierung in GitHub Actions, GitLab CI oder Jenkins integrieren, sodass bei jedem Push automatisch eine aktuelle llms.txt erzeugt und deployed wird.

Das typische Setup in GitHub Actions sieht so aus:

jobs:
  build:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: Install conda and sphinx-llms-txt
        run: |
          conda create -n docs python=3.11
          conda activate docs
          conda install -c conda-forge sphinx-llms-txt
      - name: Build docs
        run: make html
      - name: Deploy llms.txt
        run: cp _build/html/llms.txt ./public/

Damit stellen Sie sicher, dass Ihre AI-Crawler-Steuerung immer auf dem neuesten Stand ist – ohne manuelle Eingriffe. Kombiniert mit einem Deployment auf Netlify oder GitHub Pages ist die Datei sofort live.

Kostenvergleich: Manuell vs. Automatisiert

Rechnen wir den Break-even nach: Ein mittleres Doku-Projekt mit 80 Seiten erfordert bei manueller Pflege etwa 2 Stunden Aufwand pro Monat für die llms.txt (Prüfung auf neue Seiten, Anpassung der Prioritäten, Disallow-Prüfung). Bei einem internen Stundensatz von 75 EUR sind das 150 EUR monatlich. Das Sphinx-LLMs.txt Feedstock kostet nichts an Lizenzgebühren und erhöht den Build-Aufwand um maximal 2 Sekunden. Der einzige Aufwand ist die einmalige Konfiguration (30 Minuten = 37,50 EUR). Somit amortisiert sich das Paket bereits im ersten Monat und spart ab dem zweiten Monat 150 EUR pro Monat. Über fünf Jahre ergibt das eine Ersparnis von 8.962 EUR netto.

Zukunft der AI-Crawler-Steuerung

Die Entwicklungen im Jahr 2026 zeigen eine klare Richtung: Die Kommunikation zwischen Websites und großen Sprachmodellen wird standardisiert und automatisiert. Neben llms.txt setzen sich Formate wie robots.json und LLM-Sitemaps durch. Das Sphinx-LLMs.txt Feedstock ist als eines der ersten Tool-Pakete darauf vorbereitet und wird ständig erweitert, um mit den neuesten Spezifikationen von OpenAI, Anthropic und Google Schritt zu halten.

Schon jetzt unterstützt die Version 2.0 das Ausliefern dynamischer prompt-Listen, die abhängig vom anfragenden Modell variieren. So kann ChatGPT einen anderen Prompt erhalten als Perplexity, je nachdem, für welchen Chat-Anwendungszweck Ihre Dokumentation optimiert sein soll. Auch die Einbindung von Modellen, die nicht auf die llms.txt angewiesen sind, wird durch diese Schnittstelle einfacher: Sie definieren einmal Ihre Prompts und die Extension kümmert sich um die Verteilung.

„Wir sehen die llms.txt als Brücke zwischen technischer Dokumentation und KI – sie wird in den nächsten Jahren so selbstverständlich sein wie die robots.txt.“ – Kommentar aus dem OpenAI-Forum (2026)

Was Sie jetzt tun sollten

Beginnen Sie mit einer Bestandsaufnahme: Welche Crawler greifen aktuell auf Ihre Doku zu? Wie viel Traffic erhalten Sie aus KI-Quellen? Installieren Sie das Feedstock als Pilotprojekt auf einem Staging-System und messen Sie die Veränderungen. Innerhalb weniger Tage werden Sie sehen, wie die Crawler-Reports ansteigen und die ersten KI-Overviews korrekte Ausschnitte aus Ihrer Dokumentation zeigen.