Briefing · AI-crawlers
Sinds 1 juli 2026 onderscheidt Cloudflare drie soorten AI-bezoekers. Welke laat je website binnen?
Op 1 juli 2026 verving Cloudflare, dat vóór websites zit om ze te leveren en te beschermen, zijn ene schakelaar ‘Block AI bots’ door aparte instellingen voor Search, Agent en Training. Op 15 september 2026 kondigde het een instelling aan om AI-training te weigeren en toch in zoeken te blijven. Of je eigen site zo is ingesteld, vraagt een aparte controle. En geen crawlinstelling maakt wat AI over je zegt juist.
Gepubliceerd Bijgewerkt
Cloudflare, 1 juli 2026
Eén schakelaar werd drie beslissingen
In juli kon elke Cloudflare-klant, ook met het Free-abonnement, elk soort AI-verkeer apart instellen: toestaan, op alle pagina’s blokkeren of alleen op pagina’s met advertenties blokkeren. Vanaf 15 september heeft Training daarnaast een vierde optie: Disallow AI Training.
Search
Crawlers die je helpen gevonden te worden
- Voor de meeste bedrijven
- Laat dit toe als je bereikbaar wilt blijven.
Ze lezen je pagina’s zodat zoekmachines, inclusief AI-zoeken, ze kunnen vinden en indexeren.
Agent
Assistenten die op dit moment voor iemand handelen
- Het overwegen waard
- Blokkeren kan de assistent van een echte klant verhinderen een taak af te ronden.
Een AI-agent bezoekt de site namens een klant, bijvoorbeeld om iets te controleren of een taak uit te voeren.
Training
Crawls die inhoud verzamelen om AI-modellen te trainen
- Sinds 15 september
- Volgens Cloudflare weigert de nieuwe instelling Disallow AI Training training terwijl je in zoeken blijft.
Ze nemen je inhoud mee om modellen te bouwen en sturen mogelijk niets terug.
Wat nieuwe websites vanaf 15 september krijgen
Cloudflares changelog van juli zei dat nieuwe domeinen vanaf 15 september 2026 standaard Agent en Training zouden blokkeren op pagina’s met advertenties, terwijl Search toegestaan bleef.
Het bericht van 15 september beschrijft het anders: bij het instellen van een nieuw domein wordt een van twee aanbevolen voorinstellingen aangeboden, die de eigenaar op elk moment kan wijzigen. Voor een site die geld verdient met advertenties zet de voorinstelling Training op Disallow AI Training in plaats van te blokkeren.
Cloudflare, 15 september 2026
Block gaat verder dan het klinkt
Volgens Cloudflare laat de nieuwe instelling je geïndexeerd blijven voor zoeken, terwijl je dezelfde crawler weigert op je inhoud te trainen. De instelling geldt alleen voor Training.
Disallow AI Training
- Volgens Cloudflare wordt AI-training geweigerd terwijl je in zoeken blijft
- Crawlers die beide doen en die Cloudflare Accountable noemt, blijven toegestaan voor zoeken; daaronder vallen ook partijen die alleen toezeggen aan de vereisten te voldoen
- De voorkeur om niet te trainen wordt nog niet via robots.txt aan Bing doorgegeven: volgens Cloudflare is Microsofts ondersteuning gepland voor begin 2027
Block
- Volgens Cloudflare stoppen Block en Block on pages with ads nu ook crawlers die zowel zoeken als training bedienen, zoals Googlebot, Bingbot en Applebot
- Training blokkeren kan je dus ook zichtbaarheid in zoeken kosten
Als je gevonden wilt worden maar niet voor training wilt worden gebruikt, verwijst Cloudflare naar Disallow AI Training, niet naar Block.
Wat Accountable en Bot Preference Sync betekenen
Cloudflare geeft het label Accountable aan crawlerbeheerders die aan vier genoemde eisen voldoen of toezeggen eraan te voldoen. Eén daarvan is de garantie dat afzien van AI-training geen invloed heeft op traditionele zoekresultaten. Volgens Cloudflare erkent het label zowel mogelijkheden die vandaag beschikbaar zijn als concrete toezeggingen om ze te leveren.
Cloudflare zegt ook dat Managed Robots.txt wordt vervangen door Bot Preference Sync en dat klanten die Managed Robots.txt hebben ingeschakeld naar het nieuwe systeem worden overgezet. Het bericht over Bot Preference Sync, gepubliceerd op 21 augustus 2026 en bijgewerkt op 15 september 2026, noemt als doel dat de ingestelde voorkeur ook de gepubliceerde voorkeur is. Volgens het bericht is het beschikbaar in elk abonnement, van Free tot Enterprise.
Nieuwe rapportages
Stuurt een bot iets terug?
Naast de instellingen voegde Cloudflare twee manieren toe om te zien wat AI-bots op een site doen.
Attribution Business Insights
Verhouding tussen crawls en doorverwezen bezoeken
- Wie krijgt toegang
- Alleen klanten van Bot Management Enterprise, niet elke Cloudflare-klant.
Het vergelijkt hoeveel een bot crawlt met hoeveel bezoekers die terugstuurt, voor de hele site en per botbeheerder over 24 uur, 7 dagen of 30 dagen. Cloudflare beschrijft het als inzicht, niet als een nieuwe controlefunctie.
BotBase
Welke bot is welke?
Het toont hoe Cloudflare elke bot indeelt als Search, Agent of Training, geeft elke bot een detectie-ID en vermeldt elke gevolgde bot in de openbare gids van bots en agenten van Cloudflare Radar.
Onze inschatting: gebruik de verhouding om bots te bevragen die veel nemen en weinig terugsturen. Het telt bezoeken, geen aanbevelingen, verkopen of omzet.
Wat deze cijfers je niet kunnen vertellen
De verhouding meet crawlen tegenover doorverwezen bezoekers. Het is geen conversiestijging, kwaliteit van aanbevelingen of bronverwijzingen, omzet of rendement op investering.
Cloudflares classificaties vatten niet elke AI-aanvraag of bedoeling van elke beheerder perfect.
Toegang is geen juistheid
Een crawlinstelling bepaalt wie leest. Niet wat die zegt.
Toegang goed instellen is nodig. Maar de gegevens achter je pagina zijn waar de meeste AI-antwoorden over een lokaal bedrijf de fout ingaan.
Wat een crawlinstelling bepaalt
- Welke AI-crawlers je site mogen lezen
- Of ze de inhoud mogen gebruiken voor zoeken, agenten of training
- Welke bots Cloudflare herkent en hoe het ze labelt
Wat alleen jij juist kunt maken
- Je naam, adres en categorie, overal hetzelfde
- Actuele openingstijden, afwijkende openingstijden en beschikbaarheid
- Voorwaarden voor boeken, aanbetalen, annuleren en diensten
- Wat je daadwerkelijk aanbiedt, in de woorden die klanten gebruiken
Niets hier beweert dat deze instellingen rangschikkingen of aanbevelingen verbeteren in ChatGPT, Gemini, Perplexity, Google AI Mode of een ander AI-systeem.
Waar het met juiste instellingen toch misgaat
Een site staat Search toe en blokkeert Training, maar een AI herhaalt nog steeds openingstijden die drie weken geleden veranderden.
Een bedrijf blokkeert Agent-verkeer om de inhoud te beschermen en ontdekt daarna dat de assistent van een echte klant een taak niet kan afronden die anders wel mogelijk was.
Een team leest dat klanten van Managed Robots.txt naar Bot Preference Sync gaan, neemt aan dat de trainingsweigering nu geldt en opent nooit de eigen instellingen om dat te controleren.
Wat je kunt doen
Vijf dingen om op je eigen site te controleren
Een aankondiging vertelt wat een product biedt. Alleen je eigen instellingen vertellen wat je site doet.
Open je eigen instellingen
Als je website Cloudflare gebruikt, bekijk dan hoe Search, Agent en Training werkelijk zijn ingesteld voor je domein. Weet je niet zeker of je site Cloudflare gebruikt? Vraag het aan degene die je website of domein heeft ingesteld.
Laat Search toe als je gevonden wilt worden
Gebruik Disallow AI Training in plaats van Block om AI-training te weigeren zonder zoeken te verlaten. Block kan ook Googlebot, Bingbot en Applebot tegenhouden.
Lees je robots.txt
Dat is het korte openbare bestand dat geautomatiseerde bezoekers vertelt wat ze mogen lezen, bijvoorbeeld yourrestaurant.com/robots.txt. Controleer wat er nu staat en of een oudere Managed Robots.txt-instelling is overgezet.
Gebruik de verhouding als aanleiding voor vragen
Als je rapportages over de verhouding tussen crawls en verwijzingen hebt, gebruik die dan om bots te bevragen die veel nemen en weinig terugsturen, niet als bewijs van aanbevelingen of verkopen.
Verbeter de gegevens en rapporteer daarna apart
Controleer of openingstijden, adres, diensten en beleid kloppen en rapporteer ‘kan AI ons lezen’ en ‘klopt wat AI zegt’ als twee afzonderlijke resultaten.
Lees verder
Je site lezen is de eerste stap
Of AI je kan bereiken en of AI je juist beschrijft, zijn twee verschillende vragen.
- Je website kan nu worden beoordeeld op geschiktheid voor AI-agentenEen gereedheidsscore zegt of agenten je site kunnen lezen, niet of wat erop staat klopt.Lees het signaal
- Je kunt nu meten hoe AI je ziet. Het cijfer verbetert het antwoord nietWaarom een dashboard dat toont wat AI over je zegt niet hetzelfde is als de onderliggende gegevens corrigeren.Lees het signaal
- AI-zichtbaarheid uitgelegdWaarom gevonden, gelezen en aanbevolen worden door AI afhangt van de gegevens die een bedrijf over zichzelf publiceert.Lees meer
Vragen over dit onderzoek?
Schrijf Obenan Research over de bronnen of over wat ze voor je bedrijf kunnen betekenen.
Bronnen
Waar dit op gebaseerd is
Gebaseerd op zeven officiële Cloudflare-pagina’s over de releases van 1 juli en 15 september 2026, elk met de datum waarop we die het laatst controleerden. Het bericht van 15 september en dat over Bot Preference Sync zijn opnieuw gelezen op 5 oktober 2026. We rapporteren wat Cloudflare aankondigde. Er is geen Cloudflare-account, klantdomein, robots.txt-bestand of migratie gecontroleerd, dus niets hier beschrijft hoe een echte site is ingesteld. Obenan is niet verbonden met Cloudflare, OpenAI, Microsoft, Google of een andere genoemde bron, heeft er geen partnerschap of integratie mee en wordt er niet door aanbevolen. Obenan beheert geen edge-infrastructuur, crawlcontrole of botclassificatie.
- Cloudflare: Your site, your rules, new AI traffic options for all customers
Cloudflare Gepubliceerd Gecontroleerd
De instellingen Search, Agent en Training voor elke klant inclusief Free en de standaard voor nieuwe domeinen die Cloudflare toen voor 15 september 2026 plande.
- Cloudflare: New options to manage AI traffic (changelog)
Cloudflare developer docs Gepubliceerd Gecontroleerd
De opties toestaan, blokkeren en blokkeren op advertentiepagina’s en de standaard voor nieuwe domeinen die de changelog toen plande.
- Cloudflare: Unmasking the crawls with Attribution Business Insights
Cloudflare Gepubliceerd Gecontroleerd
Waarvoor het dashboard dient en de verhoudingen tussen crawls en doorverwezen bezoeken die het toont.
- Cloudflare: Attribution Business Insights (docs)
Cloudflare developer docs Gepubliceerd Gecontroleerd
Beschikbaarheid voor Bot Management Enterprise, de definitie van de verhouding en dat deze inzicht geeft in plaats van controle.
- Cloudflare: More visibility into bot traffic with BotBase and Attribution Business Insights (changelog)
Cloudflare developer docs Gepubliceerd Gecontroleerd
BotBase-classificaties, detectie-ID’s per bot en de openbare botgids in Cloudflare Radar.
- Cloudflare: Have it both ways: stay discoverable in search while disallowing AI training
Cloudflare Gepubliceerd Gecontroleerd
Disallow AI Training, wat Block nu tegenhoudt, de Accountable-eisen, voorinstellingen voor nieuwe domeinen, Microsofts doel voor begin 2027 en de overstap naar Bot Preference Sync. Opnieuw gelezen op 5 oktober 2026.
- Cloudflare: Say it once: introducing Bot Preference Sync
Cloudflare Gepubliceerd Gecontroleerd
Hoe een voorkeur in robots.txt wordt gepubliceerd, het genoemde doel en beschikbaarheid in elk abonnement. Door Cloudflare bijgewerkt op 15 september 2026; opnieuw gelezen op 5 oktober 2026.