Veröffentlicht: 2026-07-13
Autor: Berndt Schwanenmeisterja | Seoholics
Lesezeit: 3 min
Was ist passiert?
Cloudflare verschärft seine Regeln für KI-Crawler und unterscheidet nun zwischen Crawlern für reine Suche und solchen für KI-Training oder Agenten-Aufgaben. Dies führt zu einer Fragmentierung der KI-Crawling-Landschaft und beeinflusst, wie Publisher Inhalte lizenzieren und vor unautorisiertem Scraping schützen können.
Die Fakten
- Cloudflare’s neue Regeln: Ab dem 15. September werden Crawler, die sowohl für die Suche als auch für KI-Training eingesetzt werden (“Mixed Crawler”), standardmäßig blockiert, was die Nutzung für KI-Training erschwert.
- Webseiten-Abdeckung von Cloudflare: Rund 20% des Webs laufen über Cloudflare, was bedeutet, dass die neuen Regeln potenziell große Auswirkungen haben könnten.
- Graue Scraping-Wirtschaft: Etwa 25% des Traffics auf großen Nachrichtenseiten besteht aus „Stealth“-Crawlern, die sich als menschliche Nutzer tarnen und von Publishern oft nicht erkannt werden.
- Kosten für KI-Crawling: Rivalisierende Search APIs kosten typischerweise zwischen 5 und 14 Dollar pro 1.000 Queries, während Ceramic, ein neuer Anbieter, Kosten von nur 0,05 Dollar pro 1.000 Queries anstrebt.
- Steigende Kosten für Scraping: Durch die neuen Regeln und zunehmende Sicherheitsmaßnahmen steigen die Kosten für das unautorisierte Scraping von Inhalten.
Was bedeutet das für Dich?
- Überprüfe deine robots.txt: Stelle sicher, dass deine robots.txt-Datei korrekt konfiguriert ist und unerwünschte Crawler effektiv blockiert.
- Implementiere Client-Side-Challenges: Nutze JavaScript-basierte „Are you human?“-Challenges auf wichtigen Seiten, um Bots zu identifizieren und zu blockieren.
- Überwache deinen Traffic: Analysiere deinen Server-Log und nutze Analysetools, um verdächtige Crawler-Aktivitäten zu erkennen und zu stoppen.
- Prüfe Cloudflare-Einstellungen: Wenn du Cloudflare nutzt, überprüfe die neuen Einstellungen für „Mixed Crawlers“ und passe sie an deine Bedürfnisse an.
- Erwäge Lizenzierungsmodelle: Informiere dich über neue Lizenzierungsmodelle wie das von Ceramic, um eine faire Vergütung für die Nutzung deiner Inhalte durch KI-Systeme zu erhalten.
Experten-Meinung
Chris Dicker, CEO von Candr Media, betont, dass die neue Cloudflare-Politik weniger durch die individuellen Einstellungen als vielmehr durch die Trägheit der Nutzer bestimmt wird. „Wenn nur ein Bruchteil der Webseitenbetreiber, die Cloudflare nutzen, die Standardeinstellungen beibehält, schrumpft das Angebot an frei scrappablem Content und die Kosten für das Crawling steigen.“ Stephanie Cohen, Chief Strategy Officer von Cloudflare, erklärt: „Wir verstehen, wie es zu den Mixed-Use Crawlern kam, aber es funktioniert nicht für das Ökosystem.“
Daten und Zahlen
25% des Traffics auf großen Nachrichtenseiten besteht aus „Stealth“-Crawlern, die sich als menschliche Nutzer ausgeben. Die Kosten für das Scraping von Inhalten könnten um bis zu 280% steigen, wenn Publisher die neuen Cloudflare-Einstellungen nicht anpassen oder andere Schutzmaßnahmen implementieren. Ceramic bietet eine Kostenreduktion von bis zu 99,5% im Vergleich zu bestehenden Such-APIs.
Ausblick
Die Landschaft des KI-Crawlings wird sich weiterentwickeln. Wir werden wahrscheinlich eine Zunahme von Lizenzierungsmodellen sehen, ähnlich dem von Ceramic, und eine stärkere Regulierung durch Behörden wie die U.K. Competition and Markets Authority. Die Unterscheidung zwischen „guten“ und „schlechten“ Bots wird immer wichtiger, und Publisher werden zunehmend in der Lage sein, den Zugang zu ihren Inhalten zu kontrollieren und zu monetarisieren. Die Entwicklung von robusteren Schutzmechanismen gegen Stealth-Scraping wird weiterhin eine Priorität sein. KI-Inhaltsoptimierung wird hierbei ebenfalls eine wichtige Rolle spielen, da die Qualität und Relevanz der Inhalte entscheidend für die Vermeidung unautorisierter Nutzung sind.