Obenan

Briefing · Rastreadores de IA

Desde 1º de julho de 2026, a Cloudflare separa visitantes de IA em três tipos. Quais seu site deixa entrar?

Em 1º de julho de 2026, a Cloudflare, que fica à frente dos sites para entregá-los e protegê-los, substituiu o controle único “Block AI bots” por configurações separadas de Search, Agent e Training. Em 15 de setembro de 2026, anunciou uma configuração para recusar treinamento de IA sem sair da busca. Verificar se o seu site está configurado assim é outra tarefa. E nenhuma configuração de rastreamento torna correto o que a IA diz sobre seu negócio.

Publicado Atualizado

Exemplo ilustrativo; não representa um site nem uma conta Cloudflare reais.

Cloudflare, 1º de julho de 2026

Um controle virou três decisões

Em julho, todos os clientes da Cloudflare, inclusive do plano Free, podiam configurar cada tipo de tráfego de IA separadamente: permitir, bloquear em todas as páginas ou bloquear apenas nas páginas com anúncios. Desde 15 de setembro, Training tem uma quarta opção: Disallow AI Training.

  • Search

    Rastreadores que ajudam seu negócio a ser encontrado

    Para a maioria das empresas
    Mantenha permitido se quiser continuar acessível.

    Eles leem suas páginas para que mecanismos de busca, inclusive busca com IA, consigam encontrá-las e indexá-las.

  • Agent

    Assistentes agindo por uma pessoa, agora

    Vale considerar
    Bloquear pode impedir que o assistente de um cliente real conclua uma tarefa.

    Um agente de IA que visita em nome de um cliente, por exemplo, para verificar algo ou concluir uma tarefa.

  • Training

    Rastreamentos que coletam conteúdo para treinar modelos de IA

    Desde 15 de setembro
    A Cloudflare afirma que sua nova configuração Disallow AI Training recusa treinamento sem retirar o site da busca.

    Eles usam seu conteúdo para construir modelos e podem não devolver nada.

O que novos sites recebem desde 15 de setembro

O registro de alterações de julho da Cloudflare dizia que, a partir de 15 de setembro de 2026, novos domínios bloqueariam por padrão Agent e Training nas páginas com anúncios, mantendo Search permitido.

A publicação de 15 de setembro descreve algo diferente: ao configurar um novo domínio, são oferecidas duas predefinições recomendadas, que o proprietário pode alterar a qualquer momento. Para um site que ganha dinheiro com anúncios, a predefinição coloca Training em Disallow AI Training, em vez de bloquear.

Cloudflare, 15 de setembro de 2026

Block é mais rigoroso do que parece

A Cloudflare afirma que a nova configuração permite manter o site indexado para busca e recusar que o mesmo rastreador treine com seu conteúdo. Ela se aplica apenas a Training.

Disallow AI Training

  • Segundo a Cloudflare, recusa treinamento de IA e mantém o site na busca
  • Rastreadores que fazem ambos e que a Cloudflare chama de Accountable continuam permitidos para busca; isso inclui operadores que apenas se comprometem a cumprir os requisitos
  • Ainda não transmite a preferência de não treinamento ao Bing pelo robots.txt: a Cloudflare afirma que o suporte da Microsoft está previsto para o início de 2027

Block

  • Segundo a Cloudflare, Block e Block on pages with ads agora também impedem rastreadores que servem tanto à busca quanto ao treinamento, como Googlebot, Bingbot e Applebot
  • Assim, bloquear Training também pode custar visibilidade na busca

Para ser encontrado sem permitir treinamento, a Cloudflare indica Disallow AI Training, não Block.

O que significam Accountable e Bot Preference Sync

A Cloudflare atribui o rótulo Accountable a operadores de rastreadores que cumprem, ou se comprometem a cumprir, quatro requisitos listados por ela. Um é garantir que recusar treinamento de IA não afetará os resultados de busca tradicionais. Nas palavras da Cloudflare, o rótulo reconhece capacidades já disponíveis e compromissos concretos de entregá-las.

A Cloudflare também afirma que Managed Robots.txt será descontinuado em favor de Bot Preference Sync e que os clientes que ativaram Managed Robots.txt migrarão para o novo sistema. A publicação sobre Bot Preference Sync, de 21 de agosto de 2026, atualizada em 15 de setembro de 2026, define o objetivo como publicar a mesma preferência que foi configurada e afirma que está disponível em todos os planos, de Free a Enterprise.

Novos relatórios

O bot está trazendo algo de volta?

Junto às configurações, a Cloudflare adicionou duas formas de ver o que bots de IA fazem em um site.

  • Attribution Business Insights

    Relação entre rastreamentos e visitas encaminhadas

    Quem tem acesso
    Apenas clientes Bot Management Enterprise, não todos os clientes da Cloudflare.

    Compara o volume rastreado por um bot ao número de visitantes que ele encaminha, no site inteiro e por operador de bot, em 24 horas, 7 dias ou 30 dias. A Cloudflare descreve isso como visibilidade, não um novo controle.

  • BotBase

    Qual bot é qual

    Mostra como a Cloudflare classifica cada bot como Search, Agent ou Training, atribui um ID de detecção a cada um e lista todos os bots acompanhados no diretório público de bots e agentes do Cloudflare Radar.

Nossa leitura: use a relação para questionar bots que coletam muito e devolvem pouco. Ela conta visitas, não recomendações, vendas ou receita.

O que esses números não informam

A relação compara rastreamento a visitantes encaminhados. Não mede aumento de conversão, qualidade de recomendação, qualidade de citação, receita ou retorno sobre investimento.

As classificações da Cloudflare não capturam perfeitamente todas as solicitações de IA nem a intenção de cada operador.

Acesso não é precisão

Uma configuração de rastreamento decide quem lê, não o que diz.

Acertar o acesso é necessário. Mas é nos dados por trás da página que a maioria das respostas de IA sobre negócios locais erra.

O que uma configuração de rastreamento decide

  • Quais rastreadores de IA podem ler seu site
  • Se podem usá-lo para busca, agentes ou treinamento
  • Quais bots a Cloudflare reconhece e como os identifica

O que só você pode tornar verdadeiro

  • Seu nome, endereço e categoria iguais em todos os lugares
  • Horários de funcionamento, horários especiais e disponibilidade atualizados
  • Condições de reserva, sinal, cancelamento e serviço
  • O que você realmente oferece, nas palavras dos clientes

Nada aqui afirma que esses controles melhorem classificações ou recomendações no ChatGPT, Gemini, Perplexity, Google AI Mode ou qualquer outro sistema de IA.

Onde pode dar errado mesmo com as configurações certas

Um site permite Search e bloqueia Training, e uma IA ainda repete horários que mudaram há três semanas.

Uma empresa bloqueia tráfego Agent para proteger seu conteúdo e depois descobre que o assistente de um cliente real não consegue concluir uma tarefa que poderia ter realizado.

Uma equipe lê que clientes do Managed Robots.txt migrarão para Bot Preference Sync, presume que a recusa de treinamento já está ativa e nunca abre suas próprias configurações para conferir.

O que fazer

Cinco pontos a conferir no seu próprio site

Um anúncio informa o que um produto oferece. Só suas configurações informam o que seu site faz.

  1. Abra suas próprias configurações

    Se seu site usa Cloudflare, confira como Search, Agent e Training estão realmente configurados para o domínio. Não sabe se usa? Pergunte a quem configurou o site ou domínio.

  2. Mantenha Search aberto se quiser ser encontrado

    Para recusar treinamento de IA sem sair da busca, use Disallow AI Training em vez de Block, que também pode impedir Googlebot, Bingbot e Applebot.

  3. Leia seu robots.txt

    É o pequeno arquivo público que informa aos visitantes automatizados o que podem ler, por exemplo, yourrestaurant.com/robots.txt. Confira o que diz hoje e se uma configuração anterior de Managed Robots.txt foi migrada.

  4. Trate a relação como uma pergunta

    Se tiver relatórios de rastreamentos por visitas encaminhadas, use-os para questionar bots que coletam muito e devolvem pouco, não como prova de recomendações ou vendas.

  5. Corrija os dados e relate os resultados separadamente

    Confira se horários, endereço, serviços e políticas estão corretos e relate “a IA consegue nos ler” e “o que a IA diz está correto” como dois resultados separados.

Dúvidas sobre esta pesquisa?

Escreva para a Obenan Research sobre as fontes ou sobre o que elas podem significar para seu negócio.

Fontes

De onde vêm estas informações

Elaborado a partir de sete páginas oficiais da Cloudflare sobre os lançamentos de 1º de julho e 15 de setembro de 2026, cada uma com a data da última consulta; as publicações de 15 de setembro e de Bot Preference Sync foram relidas em 5 de outubro de 2026. Relatamos o que a Cloudflare anunciou. Não verificamos nenhuma conta Cloudflare, domínio de cliente, arquivo robots.txt nem migração, portanto nada aqui descreve a configuração de um site real. A Obenan não é afiliada, parceira, integrada nem endossada pela Cloudflare, OpenAI, Microsoft, Google ou qualquer fonte citada e não opera infraestrutura de borda, controle de rastreamento nem classificação de bots.

  1. Cloudflare: Your site, your rules, new AI traffic options for all customers

    Cloudflare Publicado Verificado

    As configurações Search, Agent e Training para todos os clientes, inclusive Free, e o padrão de novos domínios que a Cloudflare então planejava para 15 de setembro de 2026.

  2. Cloudflare: New options to manage AI traffic (changelog)

    Cloudflare developer docs Publicado Verificado

    As opções de permitir, bloquear e bloquear apenas nas páginas com anúncios e o padrão de novos domínios então planejado no registro de alterações.

  3. Cloudflare: Unmasking the crawls with Attribution Business Insights

    Cloudflare Publicado Verificado

    A finalidade do painel e as relações entre rastreamentos e visitas encaminhadas que ele mostra.

  4. Cloudflare: Attribution Business Insights (docs)

    Cloudflare developer docs Publicado Verificado

    Disponibilidade no Bot Management Enterprise, definição da relação e seu papel de visibilidade, não controle.

  5. Cloudflare: More visibility into bot traffic with BotBase and Attribution Business Insights (changelog)

    Cloudflare developer docs Publicado Verificado

    Classificações do BotBase, IDs de detecção por bot e diretório público de bots no Cloudflare Radar.

  6. Cloudflare: Have it both ways: stay discoverable in search while disallowing AI training

    Cloudflare Publicado Verificado

    Disallow AI Training, o que Block agora impede, requisitos de Accountable, predefinições para novos domínios, previsão da Microsoft para o início de 2027 e migração para Bot Preference Sync. Nova leitura em 5 de outubro de 2026.

  7. Cloudflare: Say it once: introducing Bot Preference Sync

    Cloudflare Publicado Verificado

    Como uma preferência é publicada no robots.txt, o objetivo declarado e a disponibilidade em todos os planos. Atualizado pela Cloudflare em 15 de setembro de 2026; nova leitura em 5 de outubro de 2026.