Briefing · KI-Crawler
Seit dem 1. Juli 2026 unterscheidet Cloudflare drei Arten von KI-Besuchern. Welche lässt Ihre Website herein?
Am 1. Juli 2026 ersetzte Cloudflare, das Websites vorgeschaltet ist, um sie auszuliefern und zu schützen, seinen einzelnen Schalter „Block AI bots“ durch getrennte Einstellungen für Search, Agent und Training. Am 15. September 2026 kündigte es eine Einstellung an, mit der sich KI-Training ablehnen lässt, ohne aus der Suche zu verschwinden. Ob Ihre eigene Website so eingestellt ist, muss separat geprüft werden. Und keine Crawling-Einstellung sorgt dafür, dass KI korrekt über Sie spricht.
Veröffentlicht Aktualisiert
Cloudflare, 1. Juli 2026
Aus einem Schalter wurden drei Entscheidungen
Im Juli konnten alle Cloudflare-Kunden, auch im Free-Tarif, jede Art von KI-Traffic einzeln einstellen: zulassen, auf allen Seiten blockieren oder nur auf Seiten mit Werbung blockieren. Seit dem 15. September gibt es für Training eine vierte Option: Disallow AI Training.
Search
Crawler, die Ihre Auffindbarkeit unterstützen
- Für die meisten Unternehmen
- Lassen Sie den Zugriff zu, wenn Sie erreichbar bleiben möchten.
Sie lesen Ihre Seiten, damit Suchmaschinen, einschließlich KI-Suche, sie finden und indexieren können.
Agent
Assistenten, die gerade für einen Menschen handeln
- Eine bewusste Entscheidung wert
- Eine Sperre kann den Assistenten eines echten Kunden daran hindern, eine Aufgabe abzuschließen.
Ein KI-Agent besucht die Website im Auftrag eines Kunden, etwa um etwas zu prüfen oder eine Aufgabe zu erledigen.
Training
Crawler, die Inhalte zum Training von KI-Modellen sammeln
- Seit dem 15. September
- Laut Cloudflare lehnt die neue Einstellung Disallow AI Training das Training ab, während Ihre Website in der Suche bleibt.
Sie verwenden Ihre Inhalte zum Modellaufbau und schicken möglicherweise nichts zurück.
Was neue Websites ab dem 15. September erhalten
Cloudflares Änderungsprotokoll vom Juli besagte, dass neue Domains ab dem 15. September 2026 Agent und Training auf Seiten mit Werbung standardmäßig blockieren würden, während Search erlaubt bliebe.
Der Beitrag vom 15. September beschreibt es anders: Bei der Einrichtung einer neuen Domain wird eine von zwei empfohlenen Voreinstellungen angeboten, die der Inhaber jederzeit ändern kann. Für eine Website mit Werbeeinnahmen setzt die Voreinstellung Training auf Disallow AI Training, statt es zu blockieren.
Cloudflare, 15. September 2026
Block greift weiter, als es klingt
Laut Cloudflare ermöglicht die neue Einstellung, für die Suche indexiert zu bleiben und demselben Crawler dennoch das Training mit Ihren Inhalten zu untersagen. Sie gilt nur für Training.
Disallow AI Training
- Laut Cloudflare wird KI-Training abgelehnt, während Ihre Website in der Suche bleibt
- Crawler mit beiden Funktionen, die Cloudflare als Accountable einstuft, bleiben für die Suche zugelassen; dazu zählen auch Betreiber, die die Erfüllung der Anforderungen lediglich zugesagt haben
- Die Ablehnung des Trainings wird noch nicht über robots.txt an Bing übermittelt: Laut Cloudflare ist Microsofts Unterstützung für Anfang 2027 vorgesehen
Block
- Laut Cloudflare stoppen Block und Block on pages with ads jetzt auch Crawler, die sowohl Suche als auch Training bedienen, etwa Googlebot, Bingbot und Applebot
- Training zu blockieren kann Sie also auch Suchsichtbarkeit kosten
Wenn Sie gefunden, aber nicht für Training genutzt werden möchten, verweist Cloudflare auf Disallow AI Training, nicht auf Block.
Was Accountable und Bot Preference Sync bedeuten
Cloudflare vergibt die Kennzeichnung Accountable an Crawler-Betreiber, die vier aufgeführte Anforderungen erfüllen oder deren Erfüllung zusagen. Eine davon sichert zu, dass ein Widerspruch gegen KI-Training die klassischen Suchergebnisse nicht beeinträchtigt. Laut Cloudflare berücksichtigt die Kennzeichnung sowohl heute verfügbare Fähigkeiten als auch konkrete Zusagen, sie bereitzustellen.
Cloudflare kündigt außerdem an, Managed Robots.txt zugunsten von Bot Preference Sync abzulösen und Kunden, die Managed Robots.txt aktiviert haben, in das neue System zu überführen. Der Beitrag zu Bot Preference Sync, veröffentlicht am 21. August 2026 und aktualisiert am 15. September 2026, nennt als Ziel, dass die eingestellte Präferenz auch veröffentlicht wird. Laut Beitrag ist es in allen Tarifen von Free bis Enterprise verfügbar.
Neue Berichte
Schickt ein Bot auch etwas zurück?
Neben den Einstellungen ergänzte Cloudflare zwei Möglichkeiten, die Aktivitäten von KI-Bots auf einer Website zu sehen.
Attribution Business Insights
Verhältnis von Crawls zu vermittelten Besuchen
- Wer Zugang hat
- Nur Kunden von Bot Management Enterprise, nicht alle Cloudflare-Kunden.
Es vergleicht, wie viel ein Bot crawlt und wie viele Besucher er zurückschickt, für die gesamte Website und je Bot-Betreiber über 24 Stunden, 7 Tage oder 30 Tage. Cloudflare beschreibt es als Einblick, nicht als neue Steuerungsmöglichkeit.
BotBase
Welcher Bot ist welcher?
Es zeigt, wie Cloudflare jeden Bot als Search, Agent oder Training einstuft, vergibt eine Erkennungs-ID und listet alle erfassten Bots im öffentlichen Bot- und Agentenverzeichnis von Cloudflare Radar auf.
Unsere Einschätzung: Hinterfragen Sie anhand des Verhältnisses Bots, die viel nehmen und wenig zurückschicken. Gezählt werden Besuche, keine Empfehlungen, Verkäufe oder Umsätze.
Was diese Zahlen nicht aussagen können
Das Verhältnis setzt Crawling zu vermittelten Besuchern in Beziehung. Es ist weder Conversion-Steigerung noch Empfehlungsqualität, Quellenqualität, Umsatz oder Kapitalrendite.
Cloudflares Klassifikationen erfassen nicht jede KI-Anfrage oder die Absicht jedes Betreibers vollkommen.
Zugang ist nicht Richtigkeit
Eine Crawling-Einstellung entscheidet, wer liest. Nicht, was er sagt.
Den Zugriff richtig einzustellen ist notwendig. Doch die Angaben hinter Ihrer Seite sind die Stelle, an der die meisten KI-Antworten über lokale Unternehmen fehlerhaft werden.
Was eine Crawling-Einstellung entscheidet
- Welche KI-Crawler Ihre Website lesen dürfen
- Ob sie die Inhalte für Suche, Agenten oder Training nutzen dürfen
- Welche Bots Cloudflare erkennt und wie es sie kennzeichnet
Wofür nur Sie korrekte Angaben liefern können
- Name, Adresse und Kategorie, überall einheitlich
- Aktuelle Öffnungszeiten, Sonderöffnungszeiten und Verfügbarkeit
- Buchungs-, Anzahlungs-, Storno- und Leistungsbedingungen
- Was Sie tatsächlich anbieten, in den Worten Ihrer Kunden
Nichts hier behauptet, dass diese Einstellungen Rankings oder Empfehlungen in ChatGPT, Gemini, Perplexity, Google AI Mode oder anderen KI-Systemen verbessern.
Was trotz richtiger Einstellungen schiefgeht
Eine Website erlaubt Search und blockiert Training, doch eine KI wiederholt weiterhin Öffnungszeiten, die sich vor drei Wochen geändert haben.
Ein Unternehmen blockiert Agent-Traffic zum Schutz seiner Inhalte und stellt dann fest, dass der Assistent eines echten Kunden eine eigentlich mögliche Aufgabe nicht erledigen kann.
Ein Team liest, dass Managed-Robots.txt-Kunden zu Bot Preference Sync wechseln, nimmt an, dass die Trainingsablehnung nun wirksam ist, und prüft seine eigenen Einstellungen nie.
Was Sie tun können
Fünf Prüfungen auf Ihrer eigenen Website
Eine Ankündigung sagt, was ein Produkt bietet. Nur Ihre eigenen Einstellungen zeigen, was Ihre Website tut.
Öffnen Sie Ihre eigenen Einstellungen
Wenn Ihre Website Cloudflare nutzt, prüfen Sie, wie Search, Agent und Training für Ihre Domain tatsächlich eingestellt sind. Unsicher, ob sie Cloudflare nutzt? Fragen Sie die Person, die Website oder Domain eingerichtet hat.
Lassen Sie Search zu, wenn Sie gefunden werden möchten
Um KI-Training abzulehnen, ohne die Suche zu verlassen, verwenden Sie Disallow AI Training statt Block. Block kann auch Googlebot, Bingbot und Applebot stoppen.
Lesen Sie Ihre robots.txt
Das ist die kurze öffentliche Datei, die automatisierten Besuchern sagt, was sie lesen dürfen, zum Beispiel yourrestaurant.com/robots.txt. Prüfen Sie ihren aktuellen Inhalt und ob eine ältere Managed-Robots.txt-Einstellung übertragen wurde.
Nutzen Sie das Verhältnis als Anlass für Fragen
Wenn Sie Zugriff auf Berichte zum Crawl-zu-Verweis-Verhältnis haben, hinterfragen Sie damit Bots, die viel nehmen und wenig zurückgeben. Nutzen Sie es nicht als Beleg für Empfehlungen oder Verkäufe.
Korrigieren Sie die Angaben und berichten Sie getrennt
Prüfen Sie Öffnungszeiten, Adresse, Leistungen und Regeln. Berichten Sie „Kann KI uns lesen?“ und „Stimmt, was KI sagt?“ als zwei getrennte Ergebnisse.
Weiterlesen
Ihre Website zu lesen ist der erste Schritt
Ob KI Sie erreichen kann und ob sie Sie korrekt beschreibt, sind zwei unterschiedliche Fragen.
- Ihre Website lässt sich jetzt auf Eignung für KI-Agenten bewertenEine Bereitschaftsbewertung zeigt, ob Agenten Ihre Website lesen können, nicht, ob ihre Aussagen stimmen.Signal lesen
- Sie können jetzt messen, wie KI Sie sieht. Die Kennzahl korrigiert die Antwort nichtWarum ein Dashboard mit KI-Aussagen über Sie nicht dasselbe ist, wie die zugrunde liegenden Angaben zu korrigieren.Signal lesen
- KI-Sichtbarkeit erklärtWarum es von den selbst veröffentlichten Unternehmensangaben abhängt, ob KI ein Unternehmen findet, versteht und empfiehlt.Mehr lesen
Fragen zu dieser Recherche?
Schreiben Sie Obenan Research zu den Quellen oder dazu, was sie für Ihr Unternehmen bedeuten könnten.
Quellen
Worauf dieser Beitrag beruht
Auf Grundlage von sieben offiziellen Cloudflare-Seiten zu den Veröffentlichungen vom 1. Juli und 15. September 2026, jeweils mit unserem letzten Prüfdatum. Den Beitrag vom 15. September und den zu Bot Preference Sync haben wir am 5. Oktober 2026 erneut gelesen. Wir berichten über Cloudflares Ankündigungen. Es wurden weder ein Cloudflare-Konto noch eine Kundendomain, eine robots.txt-Datei oder eine Migration geprüft. Nichts hier beschreibt daher die tatsächlichen Einstellungen einer realen Website. Obenan ist weder mit Cloudflare, OpenAI, Microsoft, Google oder anderen genannten Quellen verbunden, noch bestehen Partnerschaften oder Integrationen, noch wird Obenan von ihnen empfohlen. Obenan betreibt keine Edge-Infrastruktur, Crawling-Steuerung oder Bot-Klassifikation.
- Cloudflare: Your site, your rules, new AI traffic options for all customers
Cloudflare Veröffentlicht Geprüft
Die Einstellungen Search, Agent und Training für alle Kunden einschließlich Free sowie der damals für den 15. September 2026 geplante Standard für neue Domains.
- Cloudflare: New options to manage AI traffic (changelog)
Cloudflare developer docs Veröffentlicht Geprüft
Die Optionen Zulassen, Blockieren und Blockieren auf Seiten mit Werbung sowie der damals im Änderungsprotokoll geplante Standard für neue Domains.
- Cloudflare: Unmasking the crawls with Attribution Business Insights
Cloudflare Veröffentlicht Geprüft
Wozu das Dashboard dient und welche Verhältnisse von Crawls zu vermittelten Besuchen es zeigt.
- Cloudflare: Attribution Business Insights (docs)
Cloudflare developer docs Veröffentlicht Geprüft
Verfügbarkeit für Bot Management Enterprise, Definition des Verhältnisses und die Unterscheidung zwischen Einblick und Steuerung.
- Cloudflare: More visibility into bot traffic with BotBase and Attribution Business Insights (changelog)
Cloudflare developer docs Veröffentlicht Geprüft
BotBase-Klassifikationen, Erkennungs-IDs je Bot und das öffentliche Bot-Verzeichnis in Cloudflare Radar.
- Cloudflare: Have it both ways: stay discoverable in search while disallowing AI training
Cloudflare Veröffentlicht Geprüft
Disallow AI Training, was Block nun stoppt, die Accountable-Anforderungen, Voreinstellungen für neue Domains, Microsofts Ziel Anfang 2027 und der Wechsel zu Bot Preference Sync. Erneut gelesen am 5. Oktober 2026.
- Cloudflare: Say it once: introducing Bot Preference Sync
Cloudflare Veröffentlicht Geprüft
Wie eine Präferenz in robots.txt veröffentlicht wird, das erklärte Ziel und die Verfügbarkeit in allen Tarifen. Von Cloudflare am 15. September 2026 aktualisiert; erneut gelesen am 5. Oktober 2026.