Veröffentlicht: 2026-11-02
Autor: Jule | Seoholics
Lesezeit: 3 min
Was ist passiert?
Google, Microsoft und OpenAI haben angekündigt, künftig eine gemeinsame Zeile in der robots.txt zu respektieren, um das Training von KI-Modellen zu steuern. Anstatt für jeden Crawler eigene Regeln zu definieren, können Website-Betreiber über einen standardisierten Token zentral festlegen, ob ihre Inhalte für generative KI genutzt werden dürfen.
- Inventur der aktuellen KI-Blocker prüfen
- Strategische Entscheidung zwischen Training und Grounding treffen
- Implementierung des neuen Tokens planen
- Migration der Microsoft-Tags steuern
Die Fakten
- Die drei Unternehmen nutzen einen Entwurf der IETF-Arbeitsgruppe, der den Token __usage_ai-training einführt, um das Training generativer Modelle zu regeln.
- Google plant die Umsetzung für Anfang 2027; dabei wird der gemeinsame Opt-out analog zu Google-Extended behandelt, was sowohl das Training als auch das sogenannte Grounding umfasst.
- Microsoft trennt Training und Grounding strikt; die neuen Präferenzen ersetzen die bisherigen NoArchive und NoCache Tags bis zum 1. März 2027.
- OpenAI beabsichtigt, das Signal bereits innerhalb der nächsten Monate zu unterstützen, während die aktuelle robots.txt-Policy parallel bestehen bleibt.
- Die Steuerung erfolgt über klassische Allow und Disallow Anweisungen unter der neuen User-Agent-Gruppe, wobei ein Fehlen dieser Gruppe als Zustimmung gewertet wird.
Was bedeutet das für Dich?
Diese Entwicklung betrifft primär Publisher, Content-Strategen und Marketingverantwortliche von inhaltsstarken Plattformen, die die Kontrolle über ihr geistiges Eigentum im KI-Zeitalter behalten wollen. Wer keine Inhalte produziert, die als Trainingsmaterial für LLMs dienen könnten, ist von diesen technischen Änderungen nicht betroffen.
- Inventur der aktuellen KI-Blocker prüfen: Analysieren Sie, ob Sie derzeit Google-Extended oder spezifische Bot-Sperren für OpenAI nutzen. Ein Erfolg ist hier die vollständige Dokumentation aller aktuellen Opt-out-Entscheidungen. Der Aufwand ist gering.
- Strategische Entscheidung zwischen Training und Grounding treffen: Legen Sie fest, ob Inhalte zwar nicht das Modell trainieren, aber in KI-Antworten als Quelle (Grounding) erscheinen dürfen. Dies ist besonders bei Microsoft relevant, da hier eine Trennung erfolgt. Erfolg ist eine definierte Matrix für verschiedene Inhaltsbereiche. Der Aufwand ist mittel.
- Implementierung des neuen Tokens planen: Integrieren Sie die Zeile
User-Agent: __usage_ai-trainingin Ihre robots.txt-Strategie. Die Wirkung ist messbar, sobald die Anbieter die Unterstützung aktivieren und Crawler-Logs die Einhaltung bestätigen. Der Aufwand ist gering. - Migration der Microsoft-Tags steuern: Falls Sie NoArchive oder NoCache zur KI-Steuerung nutzen, müssen Sie bis März 2027 auf die neuen Optionen umstellen. Erfolg ist der Erhalt der Sichtbarkeitskontrolle in Copilot. Der Aufwand ist mittel.
Für inhaltsgetriebene Magazine
Priorisieren Sie den Schutz Ihrer exklusiven Fachartikel gegen das Training, erlauben Sie aber das Grounding, um weiterhin als Quelle in KI-Antworten sichtbar zu bleiben und Traffic-Potenziale zu nutzen.
Für Onlineshops
Hier steht die Effizienz im Vordergrund. Nutzen Sie den gemeinsamen Token, um die robots.txt schlank zu halten, solange keine spezifischen Ausnahmen für Produktbeschreibungen gegenüber Marktplatz-KI nötig sind.
Wer diese Änderungen ignoriert, riskiert, dass seine Inhalte ungefiltert in die Trainingsdaten künftiger Modellgenerationen fließen, ohne die Möglichkeit, die Sichtbarkeit in KI-Antworten gezielt zu steuern.
Experten-Meinung
Die Einführung eines gemeinsamen Standards ist ein wichtiger Schritt zur Vereinfachung, jedoch bleibt die Umsetzung inkonsistent. Während OpenAI schnell reagiert, wählt Google einen langsamen Pfad bis 2027. Besonders kritisch ist, dass Google Training und Grounding koppelt, während Microsoft sie trennt. Für Entscheider bedeutet das: Ein einziger Schalter in der robots.txt löst das Problem nicht universell. Man muss weiterhin provider-spezifisch prüfen, ob ein Opt-out aus dem Training automatisch auch die Sichtbarkeit in den KI-Antworten (wie Gemini Apps) löscht.
Daten und Zahlen
Die Zeitpläne der Unternehmen klaffen weit auseinander. Während OpenAI eine Umsetzung innerhalb der nächsten Monate anstrebt, nennt Google als Zielzeitraum das Jahr 2027, konkret Anfang 2027. Microsoft setzt eine harte Deadline: Die Unterstützung der neuen Optionen beginnt am 1. Februar 2027, und die alten Tags NoArchive sowie NoCache werden ab dem 1. März 2027 nicht mehr als KI-Steuerung anerkannt. Wer weiterhin eine Sperre wünscht, muss bis zum 15. Dezember eine temporäre Präferenz in den Bing Webmaster Tools hinterlegen.
Ausblick
Der aktuelle Entwurf des IETF-Tokens läuft am 3. Mai 2027 aus, sofern er nicht durch eine neue Version ersetzt wird. Es ist zu erwarten, dass weitere KI-Anbieter dem Ruf von OpenAI folgen und den Standard übernehmen. Die kommenden Monate werden zeigen, wie OpenAI den Konflikt löst, wenn eine gemeinsame Regel der spezifischen GPTBot-Regel widerspricht. Die Priorität für Marketingleiter liegt nun in der Vorbereitung der robots.txt für das Jahr 2027.