Ein gemeinsames Signal für KI-Anbieter
Wie SEO Südwest berichtet, geht der Vorschlag auf einen Entwurf der AIPREF-Arbeitsgruppe der IETF zurück. Verfasst wurde er von Kevin Kelley von Anthropic. Auch Meta, Cloudflare und Common Crawl beteiligten sich an der Diskussion.
So funktioniert das neue Token
Der Entwurf ergänzt die robots.txt weder um neue Direktiven noch um eine neue Syntax. Er definiert ein Policy-Token, das wie ein Crawler-Name in der User-Agent-Zeile erscheint: __usage_ai-training. „Disallow“ drückt eine Ablehnung des KI-Trainings aus, „Allow“ eine Präferenz dafür. Das Beispiel aus dem Draft lehnt das Training für die gesamte Website ab und erlaubt es nur für den Pressebereich:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Es gelten folgende Regeln:
- Parser, die das Token nicht erkennen, ignorieren die Gruppe.
- Die Wildcard-Gruppe User-agent: * gilt nicht für das Token. Ein pauschales Verbot aller Bots bedeutet keine Trainingspräferenz.
- Fehlt eine Gruppe mit dem Token, liegt keine Präferenz vor.
- Das Token steuert das Crawling nicht.
Google beabsichtigt, ein Opt-out über das Token genauso zu behandeln wie eine Sperre in Google-Extended. Dies gilt nur, solange die robots.txt keine eigene Google-Extended-Regel enthält, da spezifische Anweisungen Vorrang haben. Wer sich pauschal abmeldet, aber Google-Extended zulässt, hält Inhalte für das Grounding offen, sodass sie in Gemini-Inhalte einfließen können. Nach dieser Logik ist es Google jedoch auch gestattet, die Inhalte für Trainingszwecke zu nutzen. Die Ankündigung enthält keine Angaben dazu, wie sich beides voneinander trennen lässt.
Zeitplan: Nur Microsoft nennt feste Termine
Google will das Signal „im Jahr 2027“ unterstützen, OpenAI „in den kommenden Monaten“. Bislang hat nur Microsoft konkrete Termine genannt:
- 15. Dezember 2026: Die Bing Webmaster Tools öffnen temporäre Grounding-Einstellungen, jedoch nur für Websites mit NoArchive oder NoCache.
- 1. Februar 2027: Microsoft beachtet die neuen Präferenzen beim Crawlen.
- 1. März 2027: Nach diesem Datum gelten NoArchive und NoCache bei Microsoft nicht mehr als Präferenz für Training und Grounding.
robots.txt prüfen: Diese Schritte stehen für Website-Betreiber an
Wer NoArchive oder NoCache gegen Training oder Grounding einsetzt, muss bei Microsoft vor dem 1. März 2027 handeln. Dazu muss die neue Grounding-Einstellung auf den Seiten festgelegt und ab dem 15. Dezember 2026 die temporäre Einstellung in den Bing Webmaster Tools aktiviert werden. Fehlt die temporäre Einstellung, stehen die Seiten bis zum nächsten Recrawl des Bingbots auf „Zulassen“. Für das Training reicht die Angabe in der robots.txt oder auf der Seite.
Alle anderen sollten vorerst nichts löschen. Regeln für Google-Extended bleiben gültig und haben bei Google Vorrang. GPTBot gilt weiterhin, bei OpenAI ist unklar, welche Regel Vorrang hat.
Unsere Einschätzung
Das Token gibt der robots.txt ein standardisiertes Signal für das KI-Training, doch die Umsetzung variiert je nach Anbieter. Microsoft warnt, dass Seiten mit eingeschränktem Grounding in KI-Antworten deutlich an Sichtbarkeit verlieren werden. Als GEO-Agentur prüft seowerk mit Ihnen zusammen, welche Regeln mit Ihren Zielen übereinstimmen.
VERTRAUEN SIE AUF ECHTE QUALITÄT – LASSEN SIE SICH JETZT BERATEN!
0821 – 80 90 290
Quellen:
Kunz, Christian: KI-Training wird per robots.txt einheitlich steuerbar: Google, Microsoft und weitere arbeiten daran.
Kelley, Kevin: Machine-Readable Training Preference Signal.
https://www.ietf.org/archive/id/draft-kelley-aipref-training-preference-signal-00.txt
