Drei Verhaltenskategorien als Grundlage der neuen Richtlinien
Wie aus der offiziellen Cloudflare-Dokumentation hervorgeht, klassifiziert das Unternehmen KI-Bots in drei abgegrenzte Kategorien nach ihrem Verwendungszweck:
- Search: Crawler, die Inhalte sammeln oder indexieren, damit KI-Systeme später Fragen dazu beantworten können.
- Agent: Automatisierte Systeme, die Inhalte für Echtzeit-Aktionen im Auftrag einer Person nutzen.
- Training: Crawler, die Inhalte als Trainingsdaten für KI-Modelle verwenden. Diese Kategorie umfasst auch Mixed-Purpose-Crawler, die sowohl für Training als auch für Suche eingesetzt werden.
Für jede Kategorie stehen drei Konfigurationsoptionen zur Verfügung:
- Blockieren (auf allen Seiten): Die Blockierung gilt zonenübergreifend für die gesamte Website.
- Blockieren auf Seiten mit Werbung: Cloudflare erkennt automatisch, welche Seiten Werbeanzeigen enthalten, und blockiert den jeweiligen Bot-Typ nur dort.
- Zulassen: Keine Blockierung wird angewendet.
Die Konfiguration erfolgt im Cloudflare-Dashboard unter Security Settings > Configure AI bot policies.
Neue Standardeinstellungen ab dem 15. September 2026
Ab dem 15. September 2026 gelten für neue Domains automatisch aktualisierte Standardeinstellungen. Cloudflare blockiert dann standardmäßig:
- Bots der Kategorien Training und Agent auf Seiten mit Werbeanzeigen.
- Mixed-Purpose-Crawler bei allen Konfigurationen, die KI-Training unterbinden, einschließlich der bisherigen Option „Block AI bots“.
Bots der Kategorie Search bleiben weiterhin zugelassen. Wer die neuen Defaults nicht übernehmen möchte, kann vor dem Stichtag im Dashboard widersprechen.
Bisherige „Block AI Bots“-Option wird abgelöst
Die bisherige Einstellung wird von Cloudflare zum 15. September 2026 als veraltet eingestuft und durch die neuen Richtlinien abgelöst. Bislang blockierte sie verifizierte Bots, die explizit für KI-Training crawlen, sowie nicht verifizierte Bots mit ähnlichem Verhalten. Mixed-Purpose-Crawler schloss sie aus. Zwar erfasst die Option zum Stichtag zusätzlich diese Mischcrawler, jedoch wird die Funktion mittelfristig komplett durch die neuen, verhaltensbasierten Richtlinien unter Configure AI bot policies ersetzt.
Warum die neue Steuerung für Website-Betreiber relevant ist
Website-Betreiber stehen vor einer Abwägung. Wer KI-Crawlern den Zugang zu seinen Inhalten verwehrt, riskiert, in KI-gestützten Suchintegrationen unsichtbar zu bleiben. Wer sie zulässt, stellt seine Inhalte auch als Trainingsdaten für KI-Modelle bereit.
Die neuen Cloudflare-Richtlinien bieten einen differenzierteren Weg: Search-Bots zulassen, um in KI-Suchintegrationen sichtbar zu bleiben, und Training-Bots blockieren, um Inhalte nicht kostenfrei als Trainingsdaten bereitzustellen. Eine Einschränkung bleibt bestehen: Mischcrawler wie Googlebot bündeln Suche und Training in einem Bot. Wer Training blockiert, blockiert solche Crawler vollständig und verliert damit auch Suchsichtbarkeit. Cloudflare benennt diesen Konflikt, löst ihn jedoch nicht auf.
Zwei Schritte empfehlen sich jetzt:
- Migration einplanen: Wer die bisherige „Block AI bots“-Option nutzt, sollte den Wechsel auf die neuen Richtlinien vor dem 15. September 2026 vorbereiten.
- Neue Defaults prüfen: Wer die ab September geltenden Standardeinstellungen nicht übernehmen möchte, kann vorab im Dashboard widersprechen.
Wenn Sie Unterstützung bei der Sichtbarkeit im KI-Zeitalter suchen: Wir unterstützen Sie als spezialisierte GEO-Agentur dabei, die Potenziale der neuen Suchsysteme zu nutzen. Gemeinsam bereiten wir Ihre Website so auf, dass sie für KI-Crawler bestmöglich verständlich und einordbar ist, damit Ihre Inhalte von Sprachmodellen als relevante Quelle zitiert werden können.
VERTRAUEN SIE AUF ECHTE QUALITÄT – LASSEN SIE SICH JETZT BERATEN!
0821 – 80 90 290
Quellen:
Cloudflare (1. Juli 2026): Block AI Bots. https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/
