Obenan-briefing · Signal
Op 1 juli 2026 splitste Cloudflare AI-verkeer op in de categorieën Search (zoeken), Agent (agents) en Training.
Een groot edgeplatform behandelt AI-toegang niet langer als één aan-uitknop. AI-verkeer vraagt nu om drie afzonderlijke operationele beslissingen: vindbaar blijven, realtimeverkeer van agents beheren en trainingscrawls beperken. De verhouding tussen crawls en verwijzingsverkeer helpt vervolgens beoordelen of dat verkeer ook bezoekers terugbrengt.
Gepubliceerd 8 juli 2026
Kort gezegd
Bij het beheer van AI-zichtbaarheid gaat het steeds meer om wie mag lezen, met welk doel en wat die partij terugstuurt, niet om één algemene schakelaar om AI-bots te blokkeren. Op 15 september 2026 kondigde Cloudflare een instelling aan waarmee je AI-training kunt weigeren terwijl zoekcrawlers in de categorie Search toegang houden; of je eigen domein zo is ingesteld, moet je apart controleren.
- Gepubliceerd
- 8 juli 2026
- Formaat
- Signal-briefing
- Bronnen
- 7 primaire, openbare bronnen
- Onderwerp
- Cloudflare-releases, 1 juli en 15 september 2026
Uitsluitend openbare bronnen. Waargenomen feiten en onze interpretatie worden van elkaar gescheiden.
In 60 seconden
Drie vragen, drie antwoorden.
Wat Cloudflare aan de edge veranderde, waarom beheer per type AI-verkeer belangrijk is en wat deze verandering nog steeds niet bepaalt.
AI-verkeer werd opgesplitst in drie afzonderlijke beslissingen.
Op 1 juli 2026 verving Cloudflare de algemene instelling om AI-bots te blokkeren door controles per gedrag, waarbij AI-crawlers worden ingedeeld in Zoeken, Agents en Training. Elke klant, ook in de Free-tier, kan verkeer in elke categorie toestaan, op alle pagina's blokkeren of alleen blokkeren op pagina's met advertenties.
Een site kan vindbaar blijven en tegelijk strengere regels hanteren voor agents en training.
Omdat de drie categorieën afzonderlijk worden beheerd, hoeft een bedrijf niet langer alles toe te staan of alles te blokkeren. Het kan toegang voor Zoeken behouden om vindbaar te blijven en realtimeverkeer van agents en trainingscrawls anders behandelen. Cloudflare koppelde een datum aan de standaardwijziging, 15 september 2026, en kondigde op die dag de instelling Disallow AI Training aan, waarmee je volgens Cloudflare geïndexeerd blijft voor zoeken terwijl diezelfde crawler niet op je content mag trainen.
Of de feiten achter de pagina kloppen en actueel en volledig zijn.
Een AI-antwoord over een bedrijf wordt niet vanzelf correct doordat je bepaalt welke crawlers toegang krijgen. De verhouding tussen crawls en verwijzingsverkeer kan laten zien of een bot bezoekers terugstuurt, maar bewijst niets over de kwaliteit van aanbevelingen en corrigeert evenmin de feiten die een bedrijf publiceert.
Wat kun je hiermee?
Zes stappen voor beheerders van AI-toegang.
Maak onderscheid tussen wat de site-eigenaar beheert en wat het platform beheert.
- 01
Behandel AI-toegang als drie beslissingen, niet als één (beheer door de site-eigenaar)
Bepaal afzonderlijk welke toegang je toestaat voor Zoeken, Agents en Training. Alles tegelijk blokkeren is nu de botte optie, niet de enige.
- 02
Houd Zoeken open als vindbaarheid belangrijk is (beheer door de site-eigenaar)
Voor de meeste lokale bedrijven en bedrijven met meerdere vestigingen draagt toegang voor zoekgerichte crawlers bij aan hun vindbaarheid. Je kunt strenger omgaan met Agents of Training zonder die vindbaarheid op te geven.
- 03
Lees de verhouding tussen crawls en verwijzingsverkeer als een signaal van druk, niet als bewijs (gedeelde verantwoordelijkheid)
De verhouding helpt beoordelen of de aanbieder achter een bot bezoekers terugstuurt voor de content die de bot ophaalt. Gebruik die uitkomst om kritische vragen te stellen over extractieve crawlers, niet om conversie, aanbevelingen of omzet te claimen.
- 04
Edgecontroles zijn van het platform, niet de bedrijfsinformatie zelf (beheer door het platform)
Cloudflare beheert aan de edge welke crawlers toegang krijgen en hoe ze worden geclassificeerd. Het bepaalt niet de openingstijden, het adres, de diensten en het beleid die AI over een bedrijf herhaalt. Die gegevens blijven jouw verantwoordelijkheid.
- 05
Houd toegang en aanbevelingen apart in je rapportage (gedeelde verantwoordelijkheid)
Werk met twee kolommen: hebben crawlers de site bereikt? En los daarvan: klopt de informatie die AI herhaalt? Een groene toegangsinstelling bewijst geen correct antwoord.
- 06
Controleer je eigen zone voordat je een standaardinstelling gelooft (beheer door de site-eigenaar)
Een aankondiging van een leverancier vertelt je wat een product nu biedt. Ze vertelt je niet hoe je eigen domein is ingesteld. Open, voordat je intern over een beleid rapporteert, de Cloudflare-zone die je site bedient en lees de instellingen voor Zoeken, Training en Agents die daar werkelijk staan. Haal daarna je eigen robots.txt op, het korte openbare bestand in de hoofdmap van een website dat geautomatiseerde bezoekers vertelt wat ze mogen lezen (voor een restaurant: jouwrestaurant.nl/robots.txt), en controleer wat het nu publiceert en of een oudere voorkeur uit Managed Robots.txt is overgezet. Aangekondigd en van kracht zijn twee verschillende feiten, en maar één daarvan gaat over jou.
De onderbouwing, met datum
Twee releases, zes onderdelen.
De lanceringsgolf van 1 juli 2026 en daarna wat Cloudflare op 15 september 2026 publiceerde, de datum die het in juli had genoemd, hieronder in de volgorde waarin Cloudflare ze uitbracht.
Gedragsgerichte controles voor AI-verkeer beschikbaar voor alle klanten
Cloudflare maakte bekend dat alle klanten, ook met de Free-tier, AI-verkeer nu kunnen beheren via Zoeken, Agents en Training, omdat niet al het AI-verkeer hetzelfde doel heeft.
Voor elke categorie geldt een eigen keuze: toestaan of blokkeren
Volgens het changelog kan verkeer in elke categorie toegestaan blijven, op alle pagina's worden geblokkeerd of alleen op pagina's met advertenties. Daarin stond ook dat Agents en Training vanaf 15 september 2026 op advertentiepagina's standaard geblokkeerd zouden worden voor nieuwe domeinen, terwijl Zoeken toegestaan zou blijven. Het bericht van Cloudflare van 15 september beschrijft die wijziging anders: bij het instellen van een nieuw domein wordt een van twee aanbevolen standaardconfiguraties aangeboden, die de eigenaar kan wijzigen; voor een site die met advertenties geld verdient, zet die configuratie Training op Disallow AI Training in plaats van het te blokkeren.
Attribution Business Insights voegt een waardesignaal toe
Voor klanten van Bot Management Enterprise toont een nieuw dashboard botverkeer op contentpagina's en verhoudingen tussen crawls en verwijzingsverkeer, sitebreed en per botaanbieder, over 24 uur, 7 dagen of 30 dagen. Cloudflare beschrijft dit als inzicht voor een bredere groep belanghebbenden, niet als een nieuwe besturingslaag.
BotBase toont gedrag en detectie-ID's per bot
BotBase laat zien hoe Cloudflare elke bot naar gedrag classificeert, waaronder Zoeken, Agents en Training. Het toont per bot een detectie-ID en publiceert alle gevolgde bots in de openbare directory voor bots en agents van Cloudflare Radar.
De aangekondigde datum brengt een benoemde trainingsweigering
Cloudflare kondigde de nieuwe instelling Disallow AI Training aan, waarmee je volgens Cloudflare geïndexeerd blijft voor zoeken terwijl diezelfde crawler niet op je content mag trainen. Volgens Cloudflare blijven crawlers voor gemengd gebruik met de aanduiding Accountable toegestaan voor zoeken. Cloudflare noemt ook vier eisen waaraan een crawlerbeheerder moet voldoen, of zich moet verbinden te voldoen, om als Accountable te gelden. Een daarvan is de toezegging dat afmelden voor AI-training de gewone zoekresultaten niet beïnvloedt.
Managed Robots.txt gaat plaatsmaken voor Bot Preference Sync
Cloudflare meldt dat Managed Robots.txt zal worden uitgefaseerd ten gunste van Bot Preference Sync en dat klanten die Managed Robots.txt hebben ingeschakeld naar het nieuwe systeem zullen overstappen. Het bericht over Bot Preference Sync, gepubliceerd op 21 augustus 2026 en bijgewerkt op 15 september 2026, omschrijft het doel als: de voorkeur die je instelt, is de voorkeur die je publiceert. Volgens Cloudflare is de functie beschikbaar voor alle klanten, van de Free-tier tot Enterprise.
In juli veranderde het beleid voor AI-verkeer van één schakelaar in een reeks beslissingen per gedrag, gekoppeld aan een waardesignaal dat voor bedrijven begrijpelijk is. In september kondigde Cloudflare een instelling aan waarmee je AI-training kunt weigeren terwijl zoekcrawlers in de categorie Search toegang houden, en liet het weten dat Managed Robots.txt gaat plaatsmaken voor Bot Preference Sync.
Het onderscheid dat ertoe doet
Een controle voor AI-verkeer maakt een antwoord nog niet waar.
Bepalen welke crawlers een site mogen bereiken, bepaalt of AI die site kan lezen. Het bepaalt niet of wat AI daarna over het bedrijf zegt, correct, actueel en volledig is.
Bij een statische pagina is die kloof klein. Bij een lokaal bedrijf, waar openingstijden, beschikbaarheid, diensten en beleid veranderen, gaat het in AI-antwoorden meestal mis met de feiten achter de pagina. Geen enkele crawlinstelling corrigeert die.
Correcte identiteit
Naam, adres en categorie die op alle kanalen die een agent leest overeenkomen met de werkelijkheid.
Actuele openingstijden en beschikbaarheid
Reguliere en afwijkende openingstijden en daadwerkelijke beschikbaarheid, geen lijst die ongemerkt verouderd is.
Volledig beleid
Voorwaarden voor boekingen, aanbetalingen, annuleringen en dienstverlening op basis waarvan een agent zonder giswerk kan handelen.
Diensten en kenmerken
Wat het bedrijf daadwerkelijk aanbiedt, beschreven zoals een klant ernaar zou vragen.
Actualiteit
Feiten die op het moment van het antwoord actueel zijn, niet wat vorig kwartaal nog waar was.
Onderbouwing
Reviews en signalen die de bewering onderbouwen, zodat het antwoord standhoudt.
Waar het nu misgaat
Wanneer het toegangsbeleid klopt, maar het antwoord niet.
Elk van deze situaties kan voorkomen, ook op een site waar de controles voor AI-verkeer precies zo zijn ingesteld als bedoeld.
Een site staat Zoeken toe en blokkeert Training, maar AI herhaalt nog steeds openingstijden die drie weken geleden zijn gewijzigd.
Een beheerder ziet voor één bot een gezonde verhouding tussen crawls en verwijzingsverkeer en concludeert dat de bot het bedrijf aanbeveelt, terwijl de verhouding alleen bezoeken via verwijzingen telt, geen aanbevelingen.
Een bedrijf blokkeert verkeer van Agents om content te beschermen en ontdekt vervolgens dat de assistent van een echte klant een taak niet kan voltooien die zonder die blokkade wel uitvoerbaar was.
Een crawler is toegestaan en correct geclassificeerd, maar een AI-systeem noemt nog steeds een adres dat het bedrijf maanden geleden heeft gecorrigeerd.
Een bedrijf met meerdere vestigingen leest dat klanten van Managed Robots.txt naar Bot Preference Sync zullen overstappen, vertelt het marketingteam dat de trainingsweigering nu van kracht is en opent de zone nooit om te controleren welke instelling het domein werkelijk heeft.
In alle gevallen was het toegangsbeleid correct ingesteld. Het probleem zat in de feiten achter de pagina, of in het lezen van een verkeersstatistiek als aanbeveling.
Waar dit werk thuishoort
Drie typen AI-verkeer, elk afzonderlijk beheerd.
De release van Cloudflare verdeelt AI-verkeer in drie categorieën die elk afzonderlijk kunnen worden toegestaan of geblokkeerd, in plaats van via één algemene instelling om AI-bots te blokkeren.
Het gaat niet om de labels, maar om het feit dat vindbaarheid, realtimeactiviteiten van agents en modeltraining nu afzonderlijke operationele beslissingen zijn in plaats van één ongedifferentieerde categorie.
Vindbaar blijven
Crawlers die bijdragen aan vindbaarheid en indexering. De meeste bedrijven staan ze toe om vindbaar te blijven.
Beslissing: vindbaarheid behouden
Realtimeactiviteiten beheren
Autonome agents die in realtime namens iemand handelen. Sta ze toe, beperk ze of blokkeer ze, afhankelijk van de vraag of hun activiteit waarde toevoegt of vooral content onttrekt.
Beslissing: toegang voor agents beheren
Extractieve crawls beperken
Crawlers die content verzamelen om modellen te trainen. Hiervoor gelden vaak de strengste regels, vooral op pagina's met advertenties.
Beslissing: training beperken
AI-verkeer als drie beheersbeslissingen, niet als één schakelaar.
De visie van Obenan
Een edgeplatform kan bepalen wie je site leest. Alleen de ondernemer kan zorgen dat het antwoord klopt.
De release van Cloudflare is een echte stap vooruit. AI-verkeer behandelen als drie beslissingen is nuttiger dan één algemene schakelaar om AI-bots te blokkeren. De verhouding tussen crawls en verwijzingsverkeer geeft beheerders bovendien een concrete manier om extractieve crawlers kritisch te beoordelen.
Obenan richt zich op wat buiten bereik van een controle voor AI-verkeer ligt: of de openingstijden, het adres, de diensten, de beschikbaarheid en het beleid die AI over een bedrijf herhaalt, correct, actueel en volledig zijn. Toegang is noodzakelijk. Een correct antwoord is het doel.
Zo lees je dit
Wat we waarnemen, afleiden en volgen, houden we bewust gescheiden.
Dit is een Signal-briefing. Eerst beschrijven we wat uit openbare bronnen blijkt, daarna onze interpretatie en tot slot wat we blijven volgen.
Waargenomen
De lancering van Cloudflare op 1 juli 2026, het changelog en de documentatie beschrijven de controles voor Zoeken, Agents en Training, de drie opties per gedrag, de standaardwijziging vanaf 15 september 2026 voor nieuwe domeinen, Attribution Business Insights voor Bot Management Enterprise en de BotBase-classificaties die in Radar zijn gepubliceerd. Het bericht van Cloudflare van 15 september 2026 kondigt de instelling Disallow AI Training aan, noemt vier eisen waaraan een crawlerbeheerder moet voldoen om als Accountable te gelden en meldt dat Managed Robots.txt zal worden uitgefaseerd ten gunste van Bot Preference Sync. Opnieuw gecontroleerd op 22 september 2026.
Afgeleid
Obenan leidt uit de openbare bronnen af dat het beheer van AI-verkeer uitgroeit tot drie afzonderlijke operationele beslissingen en dat de verhouding tussen crawls en verwijzingsverkeer een bruikbare graadmeter is voor de druk op bedrijven. Cloudflare claimt dit niet.
Wat we blijven volgen
We volgen of controles per gedrag en rapportage over de verhouding tussen crawls en verwijzingsverkeer de standaardpraktijk voor beheerders worden, of wat een site-eigenaar in de eigen zone aantreft overeenkomt met wat de aankondiging beschrijft, en of een van beide invloed krijgt op de juistheid van de feiten die AI-systemen over een bedrijf herhalen.
Wat deze briefing niet beweert
De grenzen, helder verwoord.
Nauwkeurigheid beschermt de lezer en de genoemde bedrijven. Dit zijn de grenzen van wat we beweren.
- 01
Deze briefing beweert niet dat de controles van Cloudflare rankings of aanbevelingen verbeteren in ChatGPT, Gemini, Perplexity, Google AI Mode of welk ander AI-systeem dan ook.
- 02
Attribution Business Insights is alleen beschikbaar voor klanten van Bot Management Enterprise, niet voor alle klanten van Cloudflare.
- 03
Obenan is niet gelieerd aan, partner van, geïntegreerd met of goedgekeurd door Cloudflare, OpenAI, Microsoft, Google of een andere genoemde bron. Ze worden hier uitsluitend besproken op basis van openbare bronnen.
- 04
De verhouding tussen crawls en verwijzingsverkeer zet crawlvolume af tegen het aantal bezoekers via verwijzingen. Ze meet geen conversiestijging, kwaliteit van aanbevelingen of citaties, omzet of ROI.
- 05
De classificaties van Cloudflare brengen niet elk AI-verzoek of elke intentie van een operator perfect in kaart. Ze zijn geen signaal voor de juistheid van bedrijfsinformatie of voor aanbevelingen.
- 06
Obenan is de gids, niet de held: het beheert geen edge-infrastructuur, crawlcontroles of botclassificatie. Deze Signal-briefing gaat over een verandering bij Cloudflare, niet over de lancering van een product van Obenan.
- 07
Obenan beschrijft wat Cloudflare op 1 juli en 15 september 2026 heeft aangekondigd. Voor deze briefing is geen geauthenticeerde Cloudflare-zone, geen klantdomein, geen gegenereerd robots.txt-antwoord en geen migratiestatus gecontroleerd, dus niets hier beschrijft het daadwerkelijk geldende beleid van een echte site.
Lees verder
De score, de oplossing en de these.
Als je AI-toegang beheert, wie corrigeert dan het antwoord?
Cloudflare kan bepalen welke crawlers je site bereiken. Obenan werkt aan de informatielaag die een controle voor AI-verkeer niet bereikt: de feiten die AI over je bedrijf herhaalt.
Openbaar onderzoek. Er wordt geen partnerschap beweerd of gesuggereerd.
Bronnen
Alle bronnen zijn primair, openbaar en rechtstreeks te raadplegen. Zeven officiële Cloudflare-pagina's over de releases van 1 juli en 15 september 2026, elk met de datum waarop ze het laatst zijn gecontroleerd.
Primaire bronnen
- 1.Cloudflare: Your site, your rules, new AI traffic options for all customersblog.cloudflare.com · 1 juli 2026 · gecontroleerd op 22 september 2026
Primaire bron. Lancering van de controles voor Zoeken, Agents en Training, beschikbaarheid voor alle klanten inclusief de Free-tier en de standaardwijziging voor nieuwe domeinen op 15 september 2026. Bron 6 beschrijft wat Cloudflare op die datum veranderde.
- 2.Cloudflare: New options to manage AI traffic (changelog)developers.cloudflare.com · 1 juli 2026 · gecontroleerd op 22 september 2026
Primaire bron. Opties per categorie om verkeer toe te staan of te blokkeren, en de aangekondigde datum waarop het standaardbeleid voor nieuwe domeinen wijzigt.
- 3.Cloudflare: Unmasking the crawls with Attribution Business Insightsblog.cloudflare.com · 1 juli 2026 · gecontroleerd op 22 september 2026
Primaire bron. Doel van het dashboard, verhoudingen tussen crawls en verwijzingsverkeer, overzichten van de belangrijkste bots en de reikwijdte van de zakelijke rapportage.
- 4.Cloudflare: Attribution Business Insights (docs)developers.cloudflare.com · 1 juli 2026 · gecontroleerd op 8 juli 2026
Primaire bron. Beschikbaarheid voor Bot Management Enterprise, de definitie van de verhouding tussen crawls en verwijzingsverkeer en de grens: inzicht, geen besturingslaag.
- 5.Cloudflare: More visibility into bot traffic with BotBase and Attribution Business Insights (changelog)developers.cloudflare.com · 1 juli 2026 · gecontroleerd op 8 juli 2026
Primaire bron. BotBase-classificaties van gedrag, detectie-ID's per bot en publicatie van de gevolgde bots in de openbare botdirectory van Cloudflare Radar.
- 6.Cloudflare: Have it both ways: stay discoverable in search while disallowing AI trainingblog.cloudflare.com · 15 september 2026 · gecontroleerd op 22 september 2026
Primaire bron. Aankondiging van de instelling Disallow AI Training, de vier eisen voor een crawlerbeheerder met de aanduiding Accountable, de voorinstellingen die Cloudflare vanaf 15 september aanbeveelt voor nieuwe domeinen met en zonder advertenties, en de geplande uitfasering van Managed Robots.txt ten gunste van Bot Preference Sync.
- 7.Cloudflare: Say it once: introducing Bot Preference Syncblog.cloudflare.com · 21 augustus 2026, bijgewerkt op 15 september 2026 · gecontroleerd op 22 september 2026
Primaire bron. Hoe een ingestelde voorkeur in robots.txt wordt gepubliceerd, het uitgesproken doel dat de voorkeur die je instelt de voorkeur is die je publiceert, en beschikbaarheid voor alle klanten, van de Free-tier tot Enterprise.
Obenan Briefings. Thema: AI-zichtbaarheid en vindbaarheid. Deze Signal-briefing beschrijft een openbare ontwikkeling en geeft de interpretatie van Obenan afzonderlijk weer.