Signal-Briefing von Obenan
Am 1. Juli 2026 teilte Cloudflare KI-Traffic in die Kategorien Search (Suche), Agent (Agenten) und Training auf.
Eine große Edge-Plattform behandelt KI-Zugriffe nicht länger wie einen einzigen Ein-/Aus-Schalter. KI-Traffic erfordert nun drei getrennte operative Entscheidungen: auffindbar bleiben, Echtzeit-Agenten steuern und Trainings-Crawls begrenzen. Hinzu kommt ein Verhältnis von Crawls zu Referral-Traffic, an dem sich prüfen lässt, ob dieser Traffic Besucher zurückführt.
Veröffentlicht am 8. Juli 2026
Die Kernaussage
Bei der Steuerung von KI-Sichtbarkeit geht es zunehmend darum, wer zu welchem Zweck lesen darf und was im Gegenzug zurückkommt, nicht um einen einzigen Schalter zum Blockieren von KI-Bots. Am 15. September 2026 kündigte Cloudflare eine Einstellung an, mit der sich KI-Training ablehnen lässt, ohne die Suche aufzugeben; ob Ihre eigene Domain so eingestellt ist, müssen Sie gesondert prüfen.
- Veröffentlicht am
- 8. Juli 2026
- Format
- Signal-Briefing
- Quellen
- 7 öffentliche Primärquellen
- Umfang
- Cloudflare-Veröffentlichungen, 1. Juli und 15. September 2026
Ausschließlich öffentliche Quellen. Beobachtete Fakten und unsere Einordnung bleiben getrennt.
In 60 Sekunden gelesen
Drei Fragen, drei Antworten.
Was Cloudflare an der Edge geändert hat, weshalb die verhaltensbezogene Steuerung von KI-Traffic wichtig ist und was dadurch weiterhin nicht entschieden wird.
KI-Traffic erfordert nun drei getrennte Entscheidungen.
Am 1. Juli 2026 ersetzte Cloudflare seine einheitliche Voreinstellung Block AI bots durch verhaltensbezogene Kontrollen, die KI-Crawler in Suche, Agenten und Training aufteilen. Alle Kunden, einschließlich des Free-Tarifs, können den Traffic jeder Kategorie nun zulassen, auf allen Seiten blockieren oder nur auf Seiten mit Werbung blockieren.
Eine Website kann auffindbar bleiben und bei Agenten sowie Training strengere Regeln anwenden.
Da die drei Verhaltensweisen getrennt gesteuert werden, muss ein Unternehmen nicht mehr alles zulassen oder alles blockieren. Es kann den Suchzugriff für die Auffindbarkeit offenhalten und Echtzeit-Agenten sowie extraktive Trainings-Crawls anders behandeln. Cloudflare legte für den 15. September 2026 eine datierte Standardänderung fest und kündigte an diesem Tag die Einstellung Disallow AI Training an, mit der eine Website nach Angaben von Cloudflare in der Suche indexiert bleibt, während derselbe Crawler nicht mit ihren Inhalten trainieren darf.
Ob die Angaben hinter der Seite stimmen, aktuell und vollständig sind.
Die Kontrolle darüber, wer crawlen darf, macht eine KI-Antwort über ein Unternehmen nicht automatisch richtig. Das Verhältnis von Crawls zu Referral-Traffic kann zeigen, ob ein Bot überhaupt Besucher zurückführt. Es belegt jedoch weder die Qualität von Empfehlungen noch korrigiert es die Fakten, die ein Unternehmen veröffentlicht.
Was daraus folgt
Sechs Schritte für alle, die KI-Zugriffe steuern.
Unterscheiden Sie zwischen dem, was der Websitebetreiber kontrolliert, und dem, was die Plattform kontrolliert.
- 01
KI-Zugriff als drei Entscheidungen behandeln, nicht als eine (betreibergesteuert)
Entscheiden Sie getrennt, ob Sie die Auffindbarkeit über die Suche, Aktivitäten von Agenten und Trainings-Crawls zulassen. Eine einzige Einstellung, die alles blockiert, ist heute die undifferenzierte Option, nicht mehr die einzige.
- 02
Suche offen lassen, wenn Auffindbarkeit wichtig ist (betreibergesteuert)
Für die meisten lokalen Unternehmen und Unternehmen mit mehreren Standorten trägt der Zugang für suchorientierte Crawler dazu bei, gefunden zu werden. Bei Agenten oder Training können Sie strenger sein, ohne diese Auffindbarkeit aufzugeben.
- 03
Das Verhältnis von Crawls zu Referral-Traffic als Drucksignal lesen, nicht als Beleg (gemeinsam)
Das Verhältnis prüft, ob ein Bot-Betreiber für die abgerufenen Inhalte Besucher zurückschickt. Nutzen Sie es, um extraktive Crawler zu hinterfragen, nicht um Konversionen, Empfehlungen oder Umsätze zu behaupten.
- 04
Die Plattform steuert den Edge-Zugriff, nicht die Fakten über das Unternehmen (plattformgesteuert)
Cloudflare steuert Crawler-Zugriff und -Klassifizierung an der Edge. Die Plattform verfasst nicht die Öffnungszeiten, Adressen, Services und Richtlinien, die eine KI über ein Unternehmen wiedergibt. Für diese Fakten bleibt das Unternehmen verantwortlich.
- 05
Zugriff und Empfehlung im Bericht getrennt ausweisen (gemeinsam)
Führen Sie zwei Spalten: Haben Crawler die Website erreicht? Und unabhängig davon: Ist der von der KI wiedergegebene Fakt richtig? Eine grüne Zugriffseinstellung ist noch keine richtige Antwort.
- 06
Die eigene Zone prüfen, bevor man einer Standardeinstellung glaubt (betreibergesteuert)
Die Ankündigung eines Anbieters sagt Ihnen, was ein Produkt jetzt bietet. Sie sagt Ihnen nicht, wie Ihre eigene Domain eingestellt ist. Bevor Sie intern über eine Richtlinie berichten, öffnen Sie die Cloudflare-Zone, über die Ihre Website ausgeliefert wird, und lesen Sie die tatsächlich gesetzten Einstellungen für Suche, Training und Agenten. Rufen Sie dann Ihre eigene robots.txt ab, die kurze öffentliche Datei im Stammverzeichnis einer Website, die automatisierten Besuchern mitteilt, was sie lesen dürfen (bei einem Restaurant etwa ihrrestaurant.de/robots.txt), und prüfen Sie, was sie jetzt veröffentlicht und ob eine ältere Managed-Robots.txt-Präferenz übertragen wurde. Angekündigt und wirksam sind zwei verschiedene Tatsachen, und nur eine davon betrifft Sie.
Die Belege mit Datum
Zwei Veröffentlichungen, sechs Bausteine.
Die Veröffentlichungsrunde am 1. Juli 2026 und danach Cloudflares Veröffentlichung vom 15. September 2026, dem im Juli genannten Termin, dargestellt in der Reihenfolge, in der Cloudflare sie veröffentlichte.
Verhaltensbezogene Kontrollen für KI-Traffic werden für alle Kunden eingeführt
Cloudflare gab bekannt, dass alle Kunden, einschließlich des Free-Tarifs, KI-Traffic nun nach Suche, Agenten und Training steuern können, weil nicht jeder KI-Traffic demselben Zweck dient.
Jedes Verhalten erhält eine eigene Zulassungs- oder Blockieroption
Laut Änderungsprotokoll kann der Traffic jeder Kategorie zugelassen, auf allen Seiten blockiert oder nur auf Seiten mit Werbung blockiert werden. Dort hieß es auch, dass ab dem 15. September 2026 Agenten und Training auf Werbeseiten neuer Domains standardmäßig blockiert würden, während die Suche zugelassen bleibe. Cloudflares Beitrag vom 15. September beschreibt diese Änderung anders: Beim Einrichten einer neuen Domain wird eine von zwei empfohlenen Voreinstellungen angeboten, die der Inhaber ändern kann; für eine werbefinanzierte Website setzt sie Training auf Disallow AI Training, statt es zu blockieren.
Attribution Business Insights ergänzt ein Wertsignal
Für Kunden von Bot Management Enterprise zeigt ein neues Dashboard den Bot-Traffic auf Inhaltsseiten sowie websiteweite und betreiberspezifische Verhältnisse von Crawls zu Referral-Traffic über 24 Stunden, 7 Tage oder 30 Tage. Cloudflare beschreibt dies als Einblick für eine breitere Gruppe von Beteiligten, nicht als neue Steuerungsebene.
BotBase zeigt Verhalten und Erkennungs-IDs für einzelne Bots
BotBase zeigt, wie Cloudflare jeden Bot nach Verhalten klassifiziert, darunter Suche, Agenten und Training, stellt für jeden eine Erkennungs-ID bereit und veröffentlicht alle erfassten Bots im öffentlichen Verzeichnis für Bots und Agenten von Cloudflare Radar.
Der angekündigte Termin bringt eine benannte Trainingssperre
Cloudflare kündigte die neue Einstellung Disallow AI Training an, mit der eine Website nach Angaben des Unternehmens in der Suche indexiert bleibt, während derselbe Crawler nicht mit ihren Inhalten trainieren darf. Laut Cloudflare bleiben Crawler mit gemischter Nutzung, die als Accountable eingestuft sind, für die Suche zugelassen. Zudem nennt Cloudflare vier Anforderungen, die ein Crawler-Betreiber erfüllen oder verbindlich zusagen muss, um als Accountable zu gelten. Eine davon ist die Zusicherung, dass ein Opt-out aus dem KI-Training die klassischen Suchergebnisse nicht beeinträchtigt.
Managed Robots.txt soll durch Bot Preference Sync abgelöst werden
Cloudflare erklärt, dass Managed Robots.txt zugunsten von Bot Preference Sync eingestellt wird und Kunden, die Managed Robots.txt aktiviert haben, auf das neue System migriert werden. Der Beitrag zu Bot Preference Sync, veröffentlicht am 21. August 2026 und aktualisiert am 15. September 2026, beschreibt das Ziel so: Die Präferenz, die Sie festlegen, ist die Präferenz, die Sie veröffentlichen. Zudem ist die Funktion laut Cloudflare für alle Kunden vom Free-Tarif bis Enterprise verfügbar.
Im Juli wurde aus einer einzelnen Schalterlösung für KI-Traffic eine Reihe verhaltensspezifischer Entscheidungen, ergänzt um ein für Unternehmen verständliches Wertsignal. Im September kündigte Cloudflare eine Einstellung an, mit der sich KI-Training ablehnen lässt, ohne die Suche aufzugeben, und erklärte, dass Managed Robots.txt durch Bot Preference Sync abgelöst wird.
Der entscheidende Unterschied
Eine Traffic-Kontrolle macht eine Antwort nicht wahr.
Die Entscheidung darüber, welche Crawler eine Website erreichen dürfen, bestimmt, ob eine KI sie lesen kann. Sie bestimmt nicht, ob die anschließende Aussage der KI über das Unternehmen richtig, aktuell und vollständig ist.
Bei einer statischen Seite ist diese Lücke klein. Bei einem lokalen Unternehmen, dessen Öffnungszeiten, Verfügbarkeit, Services und Richtlinien sich ändern, liegt die Ursache vieler falscher KI-Antworten in den Fakten hinter der Seite. Keine Crawl-Einstellung behebt das.
Korrekte Identität
Name, Adresse und Kategorie, die auf allen von einem Agenten gelesenen Oberflächen mit der Realität übereinstimmen.
Aktuelle Öffnungszeiten und Verfügbarkeit
Reguläre und besondere Öffnungszeiten sowie echte Verfügbarkeit, statt einer unbemerkt veralteten Liste.
Vollständige Richtlinien
Buchungs-, Anzahlungs-, Stornierungs- und Servicebedingungen, auf deren Grundlage ein Agent handeln kann, ohne raten zu müssen.
Services und Merkmale
Was das Unternehmen tatsächlich anbietet, beschrieben so, wie ein Kunde danach fragen würde.
Aktualität
Fakten, die im Moment der Antwort aktuell sind, nicht die Wahrheit des letzten Quartals.
Belege
Bewertungen und Signale, die eine Aussage stützen, damit die Antwort Bestand hat.
Wo es heute scheitert
Wenn die Zugriffsrichtlinie stimmt und die Antwort falsch ist.
Jeder dieser Fälle kann auf einer Website eintreten, deren Kontrollen für KI-Traffic genau wie beabsichtigt eingestellt sind.
Eine Website lässt die Suche zu und blockiert Training, doch eine KI nennt weiterhin Öffnungszeiten, die vor drei Wochen geändert wurden.
Ein Betreiber sieht für einen Bot ein gesundes Verhältnis von Crawls zu Referral-Traffic und nimmt an, der Bot empfehle das Unternehmen. Das Verhältnis zählt jedoch nur vermittelte Besuche, nicht Empfehlungen.
Ein Unternehmen blockiert Agenten-Traffic zum Schutz seiner Inhalte und stellt dann fest, dass der Assistent eines echten Kunden eine Aufgabe nicht erledigen kann, die sonst möglich gewesen wäre.
Ein Crawler ist zugelassen und korrekt klassifiziert, doch eine Antwortmaschine nennt weiterhin eine Adresse, die das Unternehmen vor Monaten korrigiert hat.
Ein Unternehmen mit mehreren Standorten liest, dass Kunden von Managed Robots.txt zu Bot Preference Sync migriert werden, teilt dem Marketingteam mit, die Trainingssperre sei nun wirksam, und öffnet die Zone nie, um zu prüfen, welche Einstellung für die Domain tatsächlich gilt.
In jedem Fall war die Zugriffsrichtlinie richtig eingestellt. Der Fehler lag in den Fakten hinter der Seite oder darin, eine Traffic-Metrik als Empfehlung zu deuten.
Wo die Arbeit ansetzt
Drei Arten von KI-Traffic, getrennt gesteuert.
Cloudflares Veröffentlichung teilt KI-Traffic in drei Verhaltensweisen, die nun jeweils zugelassen oder blockiert werden können, statt von einem einzigen Block AI bots-Schalter abzuhängen.
Entscheidend sind nicht die Bezeichnungen. Auffindbarkeit, Aktivitäten von Echtzeit-Agenten und Modelltraining sind nun eigenständige operative Entscheidungen statt eines undifferenzierten Gesamtpakets.
Auffindbar bleiben
Crawler, die Auffindbarkeit und Indexierung unterstützen. Die meisten Unternehmen lassen sie zu, um erreichbar zu bleiben.
Entscheidung: Auffindbarkeit erhalten
Echtzeit-Aktivitäten steuern
Autonome Agenten, die in Echtzeit im Auftrag einer Person handeln. Je nachdem, ob ihre Aktivität hilft oder nur Inhalte abschöpft, können Sie sie zulassen, begrenzen oder blockieren.
Entscheidung: Agentenzugriff steuern
Extraktive Crawls begrenzen
Crawls, die Inhalte zum Trainieren von Modellen sammeln. Hier gelten oft die strengsten Regeln, besonders auf Seiten mit Werbung.
Entscheidung: Training begrenzen
KI-Traffic als drei Steuerungsentscheidungen, nicht als einzelner Schalter.
Die Sicht von Obenan
Eine Edge-Plattform kann entscheiden, wer Ihre Website liest. Nur das Unternehmen kann dafür sorgen, dass die Antwort stimmt.
Cloudflares Veröffentlichung ist ein echter Fortschritt. KI-Traffic als drei Entscheidungen zu behandeln ist hilfreicher als ein einzelner Schalter zum Blockieren von KI-Bots. Das Verhältnis von Crawls zu Referral-Traffic bietet Betreibern zudem eine konkrete Möglichkeit, extraktive Crawler zu hinterfragen.
Obenan arbeitet auf einer Ebene, die eine Traffic-Kontrolle nicht erreicht. Dort geht es darum, ob die Öffnungszeiten, die Adresse, die Services, die Verfügbarkeit und die Richtlinien, die eine KI über ein Unternehmen wiedergibt, richtig, aktuell und vollständig sind. Zugriff ist notwendig. Eine richtige Antwort ist das Ziel.
So lesen Sie dieses Briefing
Beobachtet, abgeleitet und weiterverfolgt. Bewusst voneinander getrennt.
Dies ist ein Signal-Briefing. Wir berichten zuerst, was öffentlich belegt ist, dann unsere Einordnung und schließlich, was wir weiterhin beobachten.
Beobachtet
Cloudflares Einführung, Änderungsprotokoll und Dokumentation vom 1. Juli 2026 beschreiben die Kontrollen für Suche, Agenten und Training, die drei Optionen je Verhalten, die Standardänderung für neue Domains am 15. September 2026, Attribution Business Insights für Bot Management Enterprise sowie die in Cloudflare Radar veröffentlichten BotBase-Klassifizierungen. Cloudflares Beitrag vom 15. September 2026 kündigt die Einstellung Disallow AI Training an, nennt vier Anforderungen, die ein Crawler-Betreiber für die Einstufung als Accountable erfüllen muss, und erklärt, dass Managed Robots.txt zugunsten von Bot Preference Sync eingestellt wird. Am 22. September 2026 erneut geprüft.
Abgeleitet
Dass die Steuerung von KI-Traffic zu drei getrennten operativen Entscheidungen wird und das Verhältnis von Crawls zu Referral-Traffic eine nützliche betriebliche Druckmetrik ist, stellt die Einordnung der öffentlichen Quellen durch Obenan dar, keine Aussage von Cloudflare.
Was wir beobachten
Ob nach Verhalten getrennte Kontrollen und Berichte zum Verhältnis von Crawls zu Referral-Traffic zur gängigen Betreiberpraxis werden, ob das, was ein Websitebetreiber in seiner eigenen Zone vorfindet, der Beschreibung in der Ankündigung entspricht, und ob sie irgendwann auch die Richtigkeit der Fakten betreffen, die KI-Systeme über ein Unternehmen wiedergeben.
Was dieses Briefing nicht behauptet
Die Grenzen, klar benannt.
Präzision schützt Leser und genannte Unternehmen. Das sind die Grenzen der Aussage.
- 01
Dieses Briefing behauptet nicht, dass Cloudflares Kontrollen Rankings oder Empfehlungen in ChatGPT, Gemini, Perplexity, Google AI Mode oder einem anderen KI-System verbessern.
- 02
Attribution Business Insights steht nur Kunden von Bot Management Enterprise zur Verfügung, nicht allen Cloudflare-Kunden.
- 03
Obenan ist weder mit Cloudflare, OpenAI, Microsoft, Google noch mit einer anderen genannten Quelle verbunden oder integriert, unterhält mit ihnen keine Partnerschaft und wird von keiner dieser Parteien unterstützt. Sie werden hier ausschließlich auf Grundlage öffentlicher Quellen behandelt.
- 04
Das Verhältnis von Crawls zu Referral-Traffic setzt das Crawl-Volumen zu vermittelten Besuchern ins Verhältnis. Es steht weder für einen Anstieg der Konversionen noch für Empfehlungsqualität, Zitierqualität, Umsatz oder ROI.
- 05
Cloudflares Klassifizierungen erfassen nicht jede KI-Anfrage oder jede Absicht eines Betreibers fehlerfrei und sind weder ein Signal für die Richtigkeit von Unternehmensangaben noch für Empfehlungen.
- 06
Obenan ist der Wegweiser, nicht der Held: Das Unternehmen betreibt weder Edge-Infrastruktur noch Crawl-Kontrollen oder Bot-Klassifizierung. Dieses Signal-Briefing behandelt eine Änderung von Cloudflare, nicht die Einführung eines Produkts von Obenan.
- 07
Obenan berichtet, was Cloudflare am 1. Juli und am 15. September 2026 angekündigt hat. Für dieses Briefing wurden keine authentifizierte Cloudflare-Zone, keine Kundendomain, keine generierte robots.txt-Antwort und kein Migrationsstatus geprüft; nichts hier beschreibt daher die tatsächlich wirksame Richtlinie einer realen Website.
Weiterlesen
Die Bewertung, die Lösung und die These.
Wenn Sie den KI-Zugriff steuern, wer korrigiert dann die Antwort?
Cloudflare kann entscheiden, welche Crawler Ihre Website erreichen. Obenan arbeitet auf der von Traffic-Kontrollen unerreichbaren Ebene der Unternehmensfakten: an der Richtigkeit der Informationen, die eine KI über Ihr Unternehmen wiedergibt.
Öffentliche Recherche. Ein Partnerstatus wird weder behauptet noch angedeutet.
Quellen
Alle Quellen sind primär, öffentlich zugänglich und direkt prüfbar. Sieben offizielle Cloudflare-Seiten zu den Veröffentlichungen vom 1. Juli und 15. September 2026, jeweils mit dem Datum der letzten Prüfung.
Primärquellen
- 1.Cloudflare: Your site, your rules, new AI traffic options for all customersblog.cloudflare.com · 1. Juli 2026 · geprüft am 22. September 2026
Primärquelle. Einführung der Kontrollen für Suche, Agenten und Training, Verfügbarkeit für alle Kunden einschließlich des Free-Tarifs sowie Standardänderung für neue Domains am 15. September 2026. Quelle 6 beschreibt, was Cloudflare an diesem Tag geändert hat.
- 2.Cloudflare: New options to manage AI traffic (changelog)developers.cloudflare.com · 1. Juli 2026 · geprüft am 22. September 2026
Primärquelle. Verhaltensbezogene Zulassungs- oder Blockieroptionen und die datierte Änderung der Standardrichtlinie für neue Domains.
- 3.Cloudflare: Unmasking the crawls with Attribution Business Insightsblog.cloudflare.com · 1. Juli 2026 · geprüft am 22. September 2026
Primärquelle. Zweck des Dashboards, Verhältnisse von Crawls zu Referral-Traffic, Ansichten der wichtigsten Bots und Umfang der geschäftsorientierten Berichte.
- 4.Cloudflare: Attribution Business Insights (docs)developers.cloudflare.com · 1. Juli 2026 · geprüft am 8. Juli 2026
Primärquelle. Verfügbarkeit für Bot Management Enterprise, Definition des Verhältnisses von Crawls zu Referral-Traffic und die Grenze zwischen Einblick und Steuerungsebene.
- 5.Cloudflare: More visibility into bot traffic with BotBase and Attribution Business Insights (changelog)developers.cloudflare.com · 1. Juli 2026 · geprüft am 8. Juli 2026
Primärquelle. BotBase-Verhaltensklassifizierungen, Erkennungs-IDs je Bot und Veröffentlichung im öffentlichen Bot-Verzeichnis von Cloudflare Radar.
- 6.Cloudflare: Have it both ways: stay discoverable in search while disallowing AI trainingblog.cloudflare.com · 15. September 2026 · geprüft am 22. September 2026
Primärquelle. Ankündigung der Einstellung Disallow AI Training, die vier Anforderungen an Accountable-Crawler-Betreiber, die ab dem 15. September für neue Domains empfohlenen Voreinstellungen für werbefinanzierte und nicht werbefinanzierte Websites sowie die geplante Abkündigung von Managed Robots.txt zugunsten von Bot Preference Sync.
- 7.Cloudflare: Say it once: introducing Bot Preference Syncblog.cloudflare.com · 21. August 2026, aktualisiert am 15. September 2026 · geprüft am 22. September 2026
Primärquelle. Wie eine konfigurierte Präferenz in die robots.txt übernommen wird, das erklärte Ziel, dass die festgelegte Präferenz auch die veröffentlichte ist, und die Verfügbarkeit für alle Kunden vom Free-Tarif bis Enterprise.
Obenan Briefings. Bereich KI-Sichtbarkeit und Auffindbarkeit. Dies ist ein Signal-Briefing: Es berichtet über eine öffentliche Entwicklung und die Einordnung durch Obenan, bewusst voneinander getrennt.