Google-robots.txt-Regeln für AI-Crawler, Emojis, internationale URLs und mehr
Veröffentlicht: 2026-10-22 Autor: Marcel Christen | Seoholics Lesezeit: 4 min Was ist passiert? Google hat in einem neuen Video-Format Details zur Funktionsweise der robots.txt-Datei veröffentlicht. Die Experten Gary Illyes und Cherry Prommawin erläutern, wie Googlebot und andere Crawler die Datei interpretieren. Im Fokus stehen dabei die Einhaltung technischer Standards sowie der Umgang mit Sonderzeichen und KI-Bot-Sperren. Die Fakten Die robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Website. Sie dient als Steuerung für automatisierte Bots, welche Bereiche sie besuchen dürfen. Google orientiert sich strikt am Internet-Standard RFC 9309. Dies ist ein technisches Regelwerk, das festlegt, wie robots.txt-Dateien aufgebaut sein müssen. User-Agent-Tokens, also die Bezeichnungen für bestimmte Bots, dürfen nur aus Buchstaben und Bindestrichen bestehen. Emojis oder Sonderzeichen funktionieren hier nicht. Nicht-englische Zeichen in URL-Pfaden sollten mittels Percent-Encoding geschrieben