Veröffentlicht: 2026-09-16
Autor: Jule | Seoholics
Lesezeit: 3 min
Was ist passiert?
Cloudflare hat die Steuerung von KI-Bots grundlegend überarbeitet und die neue Einstellung Disallow AI Training eingeführt. Diese Funktion ermöglicht es Website-Betreibern, das Training von KI-Modellen zu untersagen, ohne gleichzeitig die Indexierung für die klassischen Suchmaschinen Google, Apple und Bing zu blockieren.
- Prüfung der aktuellen Training-Einstellungen
- Strategische Entscheidung zwischen Sichtbarkeit und Datenschutz
- Implementierung von NOARCHIVE für Bing
- Monitoring der URL-Transparenz
Die Fakten
- Die neue Option Disallow AI Training schreibt entsprechende Präferenzen in die robots.txt, lässt aber Googlebot, Applebot und Bingbot für die Suche weiterhin zu.
- Wer die Option Block wählt, sperrt diese Crawler vollständig, was die Sichtbarkeit in den Suchmaschinen direkt gefährdet.
- Google und Apple unterstützen diesen Opt-out bereits über die Tokens Google-Extended und Applebot-Extended.
- Microsoft hat die Unterstützung für eine robots.txt-basierte Sperre des KI-Trainings noch nicht implementiert; hier gilt weiterhin das NOARCHIVE-Meta-Tag.
- Cloudflare definiert Crawler als Accountable, wenn sie vier Bedingungen erfüllen, darunter die Garantie, dass ein Trainings-Opt-out die traditionellen Suchergebnisse nicht beeinflusst.
Was bedeutet das für Dich?
Diese Änderung betrifft alle Entscheider, die Cloudflare nutzen und den Schutz ihres geistigen Eigentums gegen KI-Training mit der Notwendigkeit von organischem Traffic abwägen müssen. Für Unternehmen, die keine Cloudflare-Infrastruktur nutzen, hat diese spezifische technische Änderung keine direkten Konsequenzen.
- Prüfung der aktuellen Training-Einstellungen: Überprüfen Sie, ob Ihre aktuelle Konfiguration auf „Block“ steht oder bereits auf „Disallow AI Training“ migriert wurde. Ein Erfolg ist hier die Bestätigung, dass der Traffic aus Google und Bing stabil bleibt, während KI-Bots ausgeschlossen werden. Der Aufwand ist gering und innerhalb dieser Woche erledigt.
- Strategische Entscheidung zwischen Sichtbarkeit und Datenschutz: Legen Sie fest, ob das Verhindern von KI-Training Priorität vor einer maximalen Crawler-Effizienz hat. Ein Erfolg ist eine schriftlich fixierte Richtlinie, die für alle verwalteten Domains gilt. Dieser Prozess sollte in diesem Quartal abgeschlossen sein.
- Implementierung von NOARCHIVE für Bing: Da Bing die robots.txt-Sperre noch nicht unterstützt, müssen Sie das NOARCHIVE-Tag manuell prüfen oder steuern. Die Wirkung ist die Abwesenheit Ihrer Inhalte in Copilot-Antworten. Der Aufwand ist moderat und sollte dieses Jahr priorisiert werden.
- Monitoring der URL-Transparenz: Nutzen Sie die kommenden Tools von Google und Apple, um zu prüfen, welche Inhalte tatsächlich für das Training genutzt wurden. Ein Erfolg ist ein detaillierter Report über die Datenexposition. Die Umsetzung erfolgt schrittweise über dieses Jahr.
Für Content-Plattformen und Publisher
Hier ist die Priorität hoch. Die Nutzung von Disallow AI Training ist essenziell, um die Monetarisierung von Inhalten zu schützen, ohne die Reichweite über Suchmaschinen zu opfern. Die Bedingung für diese Empfehlung ist, dass die Inhalte einen hohen Eigenwert besitzen, der durch KI-Zusammenfassungen entwertet würde.
Für Onlineshops
Die Priorität ist hier niedriger. Die Sichtbarkeit in der Suche ist für den Umsatz kritisch, während das KI-Training von Produktbeschreibungen oft vernachlässigbar ist. Hier sollte die Standardeinstellung beibehalten werden, sofern keine spezifischen Datenschutzvorgaben vorliegen.
Wer nichts unternimmt und versehentlich auf „Block“ statt „Disallow AI Training“ setzt, riskiert einen vollständigen Absturz der organischen Sichtbarkeit in den führenden Suchmaschinen.
Experten-Meinung
Die Einführung der „Accountable“-Kategorie durch Cloudflare ist ein strategischer Versuch, Standards in einem derzeit chaotischen Markt für KI-Crawler zu etablieren.
„Cloudflare schafft eine notwendige Trennung zwischen Indexierung für die Suche und Nutzung für das Training“
, so die Einordnung der technischen Logik. Es zeigt, dass die Branche erkennt, dass ein binärer „Alles oder Nichts“-Ansatz beim Blocking für Publisher nicht tragbar ist. Die Abhängigkeit von der Kooperationsbereitschaft der Tech-Giganten bleibt jedoch der Schwachpunkt, da die Durchsetzung der robots.txt-Regeln rein freiwillig erfolgt.
Daten und Zahlen
Die technische Umsetzung erfolgt über spezifische Tokens. Google nutzt Google-Extended, während Apple auf Applebot-Extended setzt. Ein wichtiger zeitlicher Faktor ist die Roadmap von Microsoft: Die Unterstützung für eine robots.txt-basierte Sperre des KI-Trainings durch Bing ist für Anfang 2027 geplant. Cloudflare strebt zudem an, bis Anfang nächsten Jahres eine zentrale Steuerung für KI-Zusammenfassungen zu implementieren, die unabhängig von den einzelnen Betreibern funktioniert.
Ausblick
In den kommenden Wochen wird Google Tools für eine URL-basierte Transparenz bei Google-Extended einführen, gefolgt von Apple im nächsten Jahr. Der Fokus verschiebt sich von der reinen Blockierung des Trainings hin zur Steuerung von KI-Zusammenfassungen (AI Summaries). Entscheider müssen sich darauf einstellen, dass die Kontrolle über die eigene Sichtbarkeit zunehmend über granulare Einstellungen in Cloudflare und der Search Console erfolgt, statt über eine einfache robots.txt.