Kurz erklärt: llms.txt ist ein vorgeschlagener Wegweiser zu Website-Inhalten. robots.txt steuert Crawling-Präferenzen; ein XML-Sitemap nennt URLs. Entscheiden Sie getrennt über öffentliche Suche, Modelltraining und geschützte Inhalte. Keines dieser Dokumente garantiert Erwähnungen, Besucher oder Anfragen.
Ein Betrieb veröffentlicht hilfreiche Produktinformationen, doch ein AI-Dienst findet sie nicht oder kann sie nicht lesen. Bevor eine neue Datei entsteht, muss die Ursache geklärt werden: Ist die Seite öffentlich erreichbar? Passt die Frage zum Inhalt? Verhindert eine Zugriffsregel das Lesen? Ein fehlendes llms.txt beantwortet diese Fragen nicht.
Für ein Wiener B2B-Unternehmen ist die Aufgabe deshalb überschaubar: die wichtigen Dokumente auswählen, den gewünschten öffentlichen Zugang festlegen und nachvollziehbare Beobachtungen sammeln. Das ist kein versprochener Sichtbarkeitssprung nach 48 Stunden.
Was llms.txt ist und was die drei Dateien leisten
Das llms.txt-v2-Proposal wurde am 10. August 2026 aktualisiert. Es ist ein Formatvorschlag, kein verpflichtender Standard aller AI-Suchdienste. Eine kleine Markdown-Datei bietet Orientierung und Verweise; sie ersetzt die verlinkten, aktuellen Informationen nicht.
| Datei | Aufgabe und Grenze |
|---|---|
| robots.txt | Crawling-Präferenzen für passende Bots; kein Schutz vertraulicher Daten. |
| XML-Sitemap | URLs zur Entdeckung anbieten; keine Zusage von Indexierung oder Rang. |
| llms.txt | Optionaler inhaltlicher Wegweiser für Werkzeuge, die ihn nutzen; keine allgemeine AI-Ranking-Anforderung. |
Ein Agent kann gefundene Dokumente für eine aktuelle Antwort heranziehen. Ein gut gepflegter Wegweiser kann einem solchen Ablauf helfen, wenn das Werkzeug ihn tatsächlich verwendet. Ein Crawl, eine Antwortquelle und das Training eines Modells sind dabei unterschiedliche Vorgänge.
Google Search ignoriert llms.txt, auch für seine generativen Funktionen. Eine Einführung sollte daher einen Bedarf eines konkreten anderen Werkzeugs erfüllen und nicht als verpflichtender Google-SEO-Schritt verkauft werden. Google zur Optimierung für generative Suche.
Welche Bots welche Aufgabe haben
Die Entscheidung „AI erlauben oder verbieten“ ist zu grob. Prüfen Sie die Rollen je Anbieter und die aktuellen Angaben, bevor Regeln geändert werden.
OpenAI: Suche, Training und einzelne Nutzeraktionen
OAI-SearchBot unterstützt ChatGPT-Suche, GPTBot mögliches Modelltraining. Beide Einstellungen sind unabhängig. Bei gesperrtem SearchBot können weiterhin Navigationslinks erscheinen. ChatGPT-User führt bestimmte Nutzeraktionen aus und entscheidet nicht über Search-Präsenz; robots.txt kann für diese Aktionen nicht gelten. OpenAI-Bots.
Anthropic und Perplexity
ClaudeBot sammelt potenzielle Trainingsinhalte, Claude-SearchBot unterstützt Suche und Claude-User den Abruf auf Nutzeranfrage. Anthropic beschreibt die Beachtung von robots.txt für diese Bots. Anthropic-Dokumentation.
PerplexityBot dient Suchergebnissen, nicht dem Training von Foundation Models. Perplexity-User ruft im Auftrag von Nutzern ab und ignoriert dabei laut Anbieter üblicherweise robots.txt. Perplexity-Crawler.
Google und Apple
GoogleOther ist ein allgemeiner Crawler, etwa für interne Forschung. Google-Extended ist ein Steuerungstoken für beschriebenes Gemini-Training und Grounding, kein eigener HTTP-User-Agent und kein Google-Search-Ranking-Signal. Google-Crawler.
Applebot crawlt. Applebot-Extended steuert die Trainingsnutzung bereits gesammelter Daten und crawlt selbst nicht; sein Verbot schließt Seiten nicht aus Apple-Suchergebnissen aus. Applebot-Support.
Das sind getrennte Entscheidungen. Ein Botname im Log beweist außerdem weder die Identität des Absenders noch eine spätere Empfehlung Ihres Betriebs.
Vier Schritte zur Vorbereitung
1. Öffentliche Inhalte und Ziele festlegen
Beginnen Sie mit den Dokumenten, die reale Kundenfragen beantworten: Leistung, Voraussetzungen, Produktdetails, Verfahren oder vorhandene Belege. Halten Sie je Dokument URL, Verantwortlichen, Aktualität und die erlaubte öffentliche Nutzung fest. Beispielsweise können zehn wichtige Dokumente ein überschaubarer Start sein; eine Pflichtzahl ist das nicht.
Vertrauliche Angebote, personenbezogene Daten und interne Kalkulationen gehören nicht in einen öffentlich lesbaren Wegweiser. Eine präzise Leistungsseite hilft mehr als eine Sammlung unzutreffender Werbeversprechen.
2. Zugang prüfen, bevor Regeln verändert werden
Die zuständige Person prüft HTTP-Antwort, Weiterleitung, Inhalt, robots.txt sowie mögliche CDN- oder Firewall-Regeln. Eine erfolgreiche Antwort muss auch den richtigen Inhalt liefern. Ein Login, ein Fehlerdokument oder eine Challenge kann mit dem erwarteten Zugriff kollidieren.
Erlauben Sie nicht pauschal jeden Zugriff mit einem passend klingenden User-Agent. Nutzen Sie die aktuellen Verifikationsinformationen des Anbieters, wenn eine Ausnahme benötigt wird, und begrenzen Sie sie auf den vereinbarten öffentlichen Zugriff. Die gesamte Sicherheitsprüfung abzuschalten ist keine Voraussetzung für AI-Suche.
Lehrbeispiel für eine getrennte Entscheidung, kein vollständiger Ersatz für eine bestehende robots.txt:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /Diese Auswahl erlaubt dem benannten Suchbot das Crawling und signalisiert dem benannten Trainingsbot einen Ausschluss. Sie schützt keine geheimen Dokumente und berücksichtigt nicht automatisch andere Anbieter oder vorhandene Regeln.
3. Einen kleinen, gepflegten Wegweiser vorbereiten
Der Vorschlag erlaubt llms.txt am Stammverzeichnis oder unter einem Bereich wie /docs/; die Datei gilt für den jeweiligen Pfadbereich. Ein Name als H1, eine kurze Zusammenfassung und geordnete Verweise machen die Aufgabe verständlich.
Das folgende Navigationsbeispiel verwendet bestehende deutsche Seiten. Es behauptet keine vorhandenen Markdown-Endpunkte und keine Verwendung durch Suchanbieter. Für eine Umsetzung nach v2 wären gepflegte, verlinkte Markdown-Versionen passend vorzubereiten.
# Canem Errant
> Informationen zu Marketing-Leistungen und ihrer Prüfung.
## Leistungen
- [GEO-Diagnostik](https://canemerrant.com/de/services/geo-audit/): Umfang und Ablauf.
## Leitfäden
- [GEO](https://canemerrant.com/de/blog/geo-generative-engine-optimization-leitfaden/): Sichtbarkeit und Messung.
- [AI-Sichtbarkeit](https://canemerrant.com/de/blog/ai-sichtbarkeit-unternehmen-pruefen/): Fragen und Beobachtungen.Manche Werkzeuge verwenden zusätzlich eine zusammengefasste Datei wie llms-full.txt. Klären Sie zuerst einen konkreten Bedarf. Mehr Text bedeutet weder mehr Zugriff noch eine garantierte Antwortquelle; doppelte Fassungen müssen zudem gemeinsam aktuell bleiben.
4. Inhalt und tatsächliche Nutzung getrennt beobachten
Prüfen Sie Links und Aktualität nach Änderungen an Leistungen oder Dokumenten. Halten Sie bei Beobachtungen Frage, System, Datum, sichtbare Quelle und gegebenenfalls einen zuordenbaren Website-Besuch fest.
Ein Abruf ist keine Zitierung. Eine Zitierung ist kein Klick, und ein Klick ist kein geeigneter Auftrag. Wenn die Beobachtungen verändert werden, prüfen Sie auch andere Ursachen wie neue Inhalte oder Änderungen am Dienst. Aus einer zeitlichen Abfolge allein folgt keine Wirkung von llms.txt.
Was bei kostenpflichtigen oder vertraulichen Inhalten gilt
Entscheiden Sie bewusst, welche Inhalte öffentlich sein sollen und welche hinter einer Anmeldung bleiben. Geschützte Dokumente benötigen Authentifizierung, Berechtigungsprüfung und eine entsprechend begrenzte Auslieferung. robots.txt ist öffentlich und kann unbefugtes Lesen nicht verhindern. Google zu den Grenzen von robots.txt.
Die Erlaubnis zum Crawling öffentlicher Informationen ist eine andere Frage als die Einwilligung eines Website-Besuchers in Analyse oder Werbung. Auch eine Trainingspräferenz ersetzt keine rechtliche oder technische Prüfung der tatsächlichen Datennutzung.
Lehrbeispiel: B2B-Dokumentation. Ein Hersteller stellt öffentlich geeignete technische Informationen und Kontaktwege bereit. Ein Wegweiser verweist auf aktuelle Fassungen; private Kundenzeichnungen bleiben geschützt. Beobachtet werden Zugriff, mögliche Quellenangaben und geeignete Anfragen, ohne einen festen Zuwachs zu versprechen.
Lehrbeispiel: kostenpflichtige Engineering-Inhalte. Eine Beratung veröffentlicht eine Zusammenfassung, behält vollständige Berechnungen hinter dem Kundenlogin und stimmt die Bot-Präferenzen getrennt ab. Es gibt damit noch keinen Beleg für sinkende oder steigende Abonnements.
Drei Aufgaben für diese Woche
- Auswählen: wichtige öffentliche Dokumente und ihre Pflegeverantwortlichen benennen.
- Abstimmen: gewünschte Suche, Trainingspräferenzen und geschützte Bereiche getrennt festhalten; die zuständige Person prüft mögliche Zugriffsprobleme.
- Beobachten: vorhandene Ausgangswerte und ein einfaches Beobachtungsprotokoll vorbereiten. Eine optionale Datei erst bei einem konkreten Bedarf umsetzen.
Für die weitere Bewertung helfen der GEO-Leitfaden und die Prüfung der AI-Sichtbarkeit.
Zur separaten Prüfung von Besucherdaten helfen die Leitfäden zu First-Party-Daten, Consent Mode, Cookie-Bannern und Datenschutz in Online-Werbung. Die Messung hat eine eigene Aufgabe und einen vereinbarten Umfang.
Häufig gestellte Fragen
Ist llms.txt inzwischen Pflicht?
Nein. Es handelt sich um einen Formatvorschlag. Prüfen Sie, welches Werkzeug die Datei benötigt und wie Sie sie pflegen würden. Google Search benötigt und verwendet sie nicht für Sichtbarkeit oder Ranking.
Ist llms.txt die neue robots.txt?
Nein. llms.txt bietet inhaltliche Orientierung; robots.txt beschreibt Crawling-Präferenzen für benannte Bots. Ein Wegweiser ändert keine Zugriffsberechtigungen und ersetzt die bestehenden Regeln nicht.
Was passiert mit ChatGPT-Suche, wenn GPTBot gesperrt ist?
GPTBot und OAI-SearchBot werden unabhängig gesteuert. Eine GPTBot-Sperre betrifft die beschriebene Trainingsnutzung, nicht automatisch die Suchrolle. Prüfen Sie OAI-SearchBot und tatsächliche Zugriffsregeln getrennt; eine Sucherwähnung bleibt nicht garantiert.
Kann eine Datei Bilder und vertrauliche Inhalte schützen?
Nein. Öffentlich abrufbare Bilder werden dadurch nicht geschützt. Vertrauliche Daten benötigen einen wirksamen Zugriffsschutz. Nehmen Sie sie nicht in öffentliche Listen auf und verlassen Sie sich weder auf llms.txt noch auf robots.txt als Authentifizierung.
Müssen Bilder und Videos enthalten sein?
Verlinken Sie Inhalte, die dem konkreten Werkzeug und einer echten Aufgabe helfen. Eine gepflegte Textbeschreibung kann nützlich sein. Eine Liste sämtlicher Medien ist kein allgemeines Erfordernis und garantiert keine Aufnahme in Antworten.
Ersetzt llms.txt SEO oder das XML-Sitemap?
Nein. Eine zugängliche, hilfreiche Website und passende Suchsignale bleiben eigenständige Aufgaben. Ein XML-Sitemap unterstützt die URL-Entdeckung; llms.txt gibt optional Orientierung für andere Werkzeuge. Keines verspricht Indexierung.
Wo liegt die Datei, und was gilt für Subdomains?
Der Vorschlag erlaubt die Wurzel oder einen Unterpfad, der seinen Bereich beschreibt. Die Datei heißt llms.txt und enthält Markdown. Sie können auf passende externe Ressourcen verweisen; eine solche Verlinkung erteilt dort keine Zugriffsrechte. Prüfen Sie pro Subdomain den tatsächlichen Inhalt und die Regeln; eine Datei auf dem Haupt-Host ist keine automatische Freigabe aller Hosts.
Kann ich Training begrenzen und Suche ermöglichen?
Bei Anbietern mit getrennten Rollen können Sie die jeweiligen Präferenzen getrennt setzen. Kontrollieren Sie dafür die aktuelle Anbieterbeschreibung. Das ist keine einheitliche Sperre für alle Modelle und keine Zusage, dass bereits vorhandenes Training rückgängig gemacht wird.
Den sinnvollen nächsten Schritt klären
Unsere GEO-Diagnostik kann öffentliche Inhalte, Zugang und eine nachvollziehbare Beobachtung in einem vereinbarten Umfang prüfen. Eine erste Anfrage klärt die Aufgabe; Diagnose, Umsetzung und laufende Messung werden getrennt vereinbart. Kontakt aufnehmen →
