Veröffentlicht: 2026-11-01
Autor: Marcel Christen | Seoholics
Lesezeit: 3 min
Was ist passiert?
Viele Unternehmen investieren massiv in die Sichtbarkeit innerhalb von KI-Suchmaschinen. Sie prüfen jedoch selten, ob die KI-Bots die Seiten technisch überhaupt erreichen. Die Lösung liegt in der Analyse von Server-Logs, da nur dort die tatsächliche Kommunikation zwischen Bot und Server lückenlos dokumentiert wird.
Die Fakten
- Ein Server-Log ist eine Datei, die jede einzelne Anfrage an den Server als eine Zeile speichert.
- Wichtige Datenfelder pro Zeile sind die IP-Adresse, das Datum, die angeforderte URL, der HTTP-Statuscode, die übertragenen Bytes und der User-Agent.
- Der User-Agent ist die Kennung, mit der sich ein Besucher oder Bot gegenüber dem Server ausweist.
- Probleme wie Timeouts (Statuscode 499) oder Firewall-Blockaden (Statuscode 403) sind in Logs sichtbar, aber in Analyse-Tools oft unsichtbar.
- CDN-Logs (Content Delivery Network) sind die präziseste Quelle, da sie auch Anfragen erfassen, die gar nicht erst den Ursprungsserver erreichen.
Was bedeutet das für Dich?
Diese Informationen sind relevant für alle Shop-Betreiber und Redaktionen, die Inhalte für KI-Assistenten optimieren wollen. Wer nur auf Referral-Daten aus Analyse-Tools setzt, sieht nur die Klicks von Menschen, aber nicht die Fehler der Bots. Wer eine sehr kleine Seite ohne signifikanten Traffic hat, kann diesen Aufwand vorerst vernachlässigen.
Für kleine Websites
- Fordern Sie eine kleine Log-Stichprobe von Ihrem Hoster an. Sie erkennen den Erfolg daran, dass Sie die Datei in einem Texteditor öffnen und die oben genannten Felder wie den User-Agent sehen. Der Aufwand ist gering und dauert etwa 10 Minuten.
- Nutzen Sie Tools wie den Screaming Frog Log File Analyser. Das Tool erkennt AI-Bots automatisch, sofern Sie die Funktion „Verify Bots When Importing Logs“ aktivieren. Der Aufwand ist mittel, da die Software eingelernt werden muss.
- Prüfen Sie, ob Bots einen Statuscode 200 erhalten. Das ist das Zeichen für eine erfolgreiche Auslieferung der Seite. Der Aufwand ist gering.
Für Onlineshops
- Fordern Sie detaillierte Logs direkt vom CDN an. Ein Erfolg liegt vor, wenn Sie Felder wie die Antwortzeit und den Cache-Status (HIT oder MISS) sehen. Der Aufwand ist hoch, da eine Abstimmung mit der DevOps-Abteilung nötig ist.
- Analysieren Sie die übertragenen Bytes pro Anfrage. Wenn ein Bot einen Statuscode 200 erhält, aber viel weniger Bytes als ein menschlicher Nutzer, liegt oft ein Problem mit dem Client-side Rendering vor. Das bedeutet, der Bot sieht nur eine leere Seite ohne Inhalte. Der Aufwand ist hoch, da URLs manuell ohne JavaScript geprüft werden müssen.
- Prüfen Sie Log-Einträge auf den Statuscode 403. Dieser zeigt an, dass die Web Application Firewall (WAF), also die Sicherheitssoftware Ihres Servers, den Bot blockiert hat. Sie erkennen die Lösung, wenn die Blockade aufgehoben wird und der Statuscode auf 200 springt. Der Aufwand ist mittel.
Wenn Sie nichts unternehmen, riskieren Sie, dass Ihre Inhalte trotz inhaltlicher Qualität nicht in KI-Antworten erscheinen. Sie bleiben blind für technische Blockaden, die Ihren Traffic verhindern.
Experten-Meinung
Die Analyse von Server-Logs ist das einzige Mittel, um die Wahrheit über das Crawling zu erfahren. Prompt-Tracking zeigt nur, was die KI sagt, und Referral-Daten zeigen nur den Klick des Menschen. Keines dieser Instrumente sagt aus, ob der Bot die Seite überhaupt laden konnte.
„Ich bin seit mehr als 15 Jahren im SEO tätig und sehe immer noch nicht genug Fokus auf Server-Log-Dateien, wo diese Antworten liegen.“
Die Verifizierung der Bots ist hierbei essenziell, damit man sich nicht von gefälschten User-Agents täuschen lässt.
Daten und Zahlen
Die Analyse zeigt deutliche Unterschiede in der Bot-Reaktion. Ein erfolgreicher Abruf liefert beispielsweise eine Seite mit 48.213 Bytes in weniger als 0,5 Sekunden. Im Gegensatz dazu kann ein Timeout bei einem Cache-Miss dazu führen, dass ein Bot wie ChatGPT-User über 31 Sekunden wartet und dann die Verbindung abbricht. In einem solchen Fall wird ein Statuscode 499 registriert und 0 Bytes übertragen. Eine Firewall-Blockade hingegen ist extrem schnell und führt innerhalb von 6 Millisekunden zu einem Statuscode 403.
Ausblick
Die Unterscheidung zwischen verschiedenen Bot-Kategorien wird wichtiger. Es gibt Training-Bots, die Daten für das Modell sammeln, und Real-Time-Bots, die aktuelle Seiten für Nutzer laden. In Zukunft müssen Webseitenbetreiber ihre Log-Strategie an diese verschiedenen Zyklen anpassen. Wer seine Server-Logs beherrscht, kann schneller auf Änderungen im Verhalten der KI-Crawler reagieren als die Konkurrenz.