Was steckt hinter dem Vorschlag für neue robots.txt-Anweisungen?
Cloudflare versucht, Webseitenbetreibern Werkzeuge an die Hand zu geben, mit denen der Zugriff von KI-Bots differenzierter gesteuert werden kann als durch ein einfaches generelles Verbot. Kernstück des Vorschlags ist die Einführung einer neuen Anweisung namens content-signal für die Datei robots.txt.
Mit diesem Befehl soll genau definiert werden, zu welchem Zweck ein Bot den Inhalt einer Seite nutzen darf. Zu den vorgeschlagenen Optionen gehören:
- search: Erlaubt die klassische Nutzung des Inhalts für die Websuche.
- ai-train: Legt fest, ob der Inhalt zum Trainieren großer Sprachmodelle (LLM) verwendet werden darf.
- reference: Steuert die Wiedergabe des Inhalts – auch in voller Länge – in von KI generierten Antworten.
So könnten Herausgeber theoretisch Bots für die klassische Suche autorisieren, ihnen aber gleichzeitig das Trainieren von KI-Modellen untersagen.
Warum Google die Verwendung von „content-signal“ nicht empfiehlt
John Müller, Search Advocate bei Google, hat sich auf Reddit klar gegen die Verwendung dieser neuen Richtlinien ausgesprochen. Soweit ihm bekannt ist, nutzt derzeit weder ein LLM noch ein gewöhnlicher Crawler das Attribut content-signal.
Müllers Argumentation stützt sich auf zwei wesentliche Punkte:
- Unnötiger Aufwand: Die Einbindung solcher nicht standardisierter Befehle würde die robots.txt-Datei unnötig aufblähen und die Verwaltung von Websites erschweren.
- Fehlende Interpretation: Crawler berücksichtigen im Allgemeinen nur jene Anweisungen, die technisch implementiert und für sie verbindlich definiert sind. Da ein Standard fehlt, geht die Wirkung verloren.
Branchenbeobachter betonen zudem, dass Google als Betreiber eigener KI-Systeme (wie Gemini) stark auf den Zugriff auf Webdaten angewiesen ist und daher naturgemäß wenig Interesse an zusätzlichen Hindernissen für die Extraktion von Inhalten hat.
Was Webbetreiber jetzt beachten sollten
Webmaster, die die Kontrolle über ihre Daten behalten wollen, sollten sich derzeit nicht auf experimentelle und proprietäre Syntaxen verlassen. Stattdessen werden bewährte Schutzmaßnahmen empfohlen:
- Verwendung bekannter User-Agents: Blockieren Sie bestimmte KI-Bots (wie Google-Extended oder GPTBot) gezielt mithilfe der klassischen und bewährten Disallow-Anweisungen.
- Keine voreiligen Experimente mit dem Code: Das Hinzufügen von Parametern wie content-signal bietet derzeit keinen nachgewiesenen Schutz, da LLM-Anbieter diese einfach ignorieren.
- Ganzheitliche GEO-Strategie: Da Studien zeigen, dass gesperrte Bots den Inhalt von Webseiten dennoch in KI-generierte Zitate einbeziehen können, reicht die robots.txt-Datei oft nicht aus.
Eine zukunftsfähige Aufbereitung von Inhalten, die sowohl die klassischen Google-Richtlinien als auch den Schutz vor Ausbeutung durch KI berücksichtigt, erfordert einen strategischen Ansatz. Vertrauen Sie auf authentische Qualität, lassen Sie sich jetzt beraten: 0821 – 80 90 290 oder info@seowerk.de. Als GEO-Agentur unterstützen wir Unternehmen dabei, im Zeitalter der generativen KI sichtbar und geschützt zu bleiben.
Quellen:
Fachartikel bei Search Engine Roundtable (Hauptquelle): Google: Cloudflare Content Signals Robots.txt Directive Has No Effects Dieser Artikel von Barry Schwartz fasst die Diskussion zusammen und zitiert das vollständige Statement von John Mueller.
Fachartikel bei Search Engine Journal: Google Answers Question About LLMs-Author.txt For SEO Dieser Beitrag beleuchtet den technischen Hintergrund zu Cloudflares „Content-Signal“-Vorschlag und der Diskussion um llms-author.txt.
