Obenan

Briefing · Pesquisa

A maioria dos lugares nunca foi citada pela IA. Veja o que esteve associado às menções.

Um estudo listou 4.776 cafés, restaurantes e bares em duas regiões de Bali e perguntou a quatro sistemas de IA onde comer e beber. Pelo menos 85,6% nunca foram recomendados por nenhum deles. Ser citado, vir primeiro e ter dados corretos se mostraram problemas distintos.

Publicado Atualizado

Leia as fontes
Cada ponto representa cerca de 48 dos 4.776 estabelecimentos. Preprint da Norly, regiões de Canggu e Ubud, perguntas em inglês.

Por que seu negócio pode não aparecer

Uma resposta curta pode esconder quatro problemas diferentes

Imagine um visitante a duas ruas dali perguntando a um assistente de IA onde comer. Ele cita quatro lugares. Se o seu não está entre eles, nada avisa: nenhum clique perdido, nenhuma reclamação. E uma resposta não revela qual destes pontos falhou.

  1. Pesquisar

    Houve uma busca antes?

    Algumas respostas são escritas depois de uma busca atual na web; outras usam apenas o que a IA já sabia, o que pode estar desatualizado.

  2. Ser citado

    Seu negócio foi citado?

    A resposta tem espaço para poucos nomes. A maioria dos lugares fica de fora.

  3. Vir primeiro

    Em que posição apareceu?

    Citado primeiro ou em quarto? Neste estudo, cada resultado esteve associado a fatores diferentes.

  4. Estar correto

    Seus dados continuavam verdadeiros?

    Horários, endereço, preços e se o negócio ainda funciona. Dados antigos também circulam.

Uma resposta é uma observação: um sistema, uma pergunta, um lugar, um idioma, um momento.

Bali, um estudo

A maioria dos lugares nunca foi citada

Um preprint, artigo ainda sem revisão por pares, listou todos os cafés, restaurantes e bares nas regiões de Canggu e Ubud e perguntou a ChatGPT, Claude, Gemini e Perplexity onde comer e beber ali.

Parcela dos estabelecimentos nunca recomendados por nenhum dos quatro sistemas de IA

  • Todos os 4.776 estabelecimentospelo menos 85,6%

  • Estabelecimentos com 50 ou mais avaliações72,6%

As barras têm escala de 100%. Fonte: preprint da Norly, arXiv 2608.07069, regiões de Canggu e Ubud, perguntas em inglês, uma semana de respostas.

Mesmo entre os lugares com 50 ou mais avaliações, quase três em cada quatro nunca foram citados.

Por que esses números não se transferem para sua cidade

Eles descrevem esses estabelecimentos nessas duas regiões, com perguntas em inglês feitas a versões dos quatro sistemas que pesquisam a web em tempo real ao responder, disponíveis para desenvolvedores, não aos aplicativos usados pelo público. Não são uma referência para outra cidade, idioma, tipo de negócio ou aplicativo.

Duas etapas diferentes

Ser citado e vir primeiro estiveram associados a fatores diferentes

Neste estudo, os lugares citados e os que vieram primeiro se destacaram por razões diferentes.

Ser citado esteve associado a

  • Ter site próprio
  • Mais avaliações
  • Um preço publicado
  • Menções em outros lugares da web
  • Não à nota em estrelas: ela não mostrou relação nesta etapa

Vir primeiro esteve associado a

  • Uma nota em estrelas maior entre os lugares já citados
  • Mais avaliações, que continuaram relevantes aqui

São associações, não causas. Nenhuma mostra que mudar um detalhe faça o negócio ser recomendado.

Os números por trás da comparação

O estudo apresenta razões de chances de um modelo ajustado. Para ser citado: volume de avaliações 1,64, site próprio 1,92, preço publicado 1,54, menções em outros lugares da web 1,44 e nota 0,89, que o autor interpreta como ausência de associação. Entre lugares citados, a nota esteve associada à primeira posição com 1,17.

Uma razão de chances acima de 1 significa chances maiores dentro daquele modelo. Não é ganho em pontos percentuais nem prova de causalidade.

Dados incorretos

Lugares com dados desatualizados apareceram mais que lugares inventados

Em 12.439 menções válidas a estabelecimentos, o estudo verificou quais eram reais e continuavam abertos.

  • Preprint da Norly, uma semana de respostas

    93

    recomendações de lugares fechados definitivamente

    Envolviam 14 estabelecimentos confirmados como permanentemente fechados.

  • Preprint da Norly, uma semana de respostas

    10

    menções a um nome ainda considerado provavelmente inventado

    Isso equivale a 0,08% das 12.439 menções válidas, após verificação.

Mantenha horários, endereço, preços e fechamentos corretos porque os clientes dependem deles. Este estudo não mostra que isso faça seu negócio ser citado ou traga alguém.

Até onde vão essas contagens

As duas contagens são pequenas e vêm de um único período de sete dias. Compará-las não classifica a gravidade do dano. O estudo registrou o que os sistemas disseram, não o que alguém fez depois, portanto não demonstra quanto cada tipo de erro custa a uma empresa.

Um segundo estudo, nos Estados Unidos

Sem busca na web, dois modelos de IA inventaram a maioria das recomendações de médicos e consultores

Outro preprint comparou recomendações de médicos, instituições de cuidados e consultores financeiros por IA nas 100 maiores cidades dos EUA com registros oficiais de prestadores do governo, com e sem busca na web em tempo real.

Sem busca na web

  • Só 4% dos médicos recomendados por um modelo e 11% pelo outro correspondiam a um profissional real na cidade consultada.
  • As empresas de consultoria recomendadas tinham registros de má conduta a uma taxa 3,6 vezes maior que a habitual no cadastro, mesmo após ajuste pelo porte da empresa.
  • As recomendações reais se concentraram nas maiores cidades.

Com busca na web

  • 64–71% das recomendações nas mesmas áreas correspondiam a um prestador real e registrado.
  • As empresas de consultoria recomendadas tinham registros de má conduta abaixo da taxa habitual do cadastro.
  • As taxas de correspondência eram semelhantes nas maiores e nas menores entre as 100 maiores cidades dos EUA.

O assistente ter pesquisado depende da execução, não do seu negócio. Registre isso a cada verificação.

Detalhes e limites do segundo estudo

Foram comparadas três configurações: um modelo de pesos abertos, que qualquer pessoa pode baixar e executar, um modelo proprietário sem busca na web e o mesmo modelo proprietário com busca. Os cadastros eram registros de profissionais e instituições do Medicare e declarações de consultores à SEC. As poucas correspondências do modelo de pesos abertos pareciam coincidências de nomes: seus profissionais correspondentes não tinham mais probabilidade de ser médicos de atenção primária que nomes sorteados ao acaso.

Restaurantes, medidos separadamente na mesma auditoria, mostraram uma vantagem de três a cinco vezes no número de avaliações, mas de no máximo um décimo de estrela na nota.

É um preprint, abrange apenas os Estados Unidos e não identifica o modelo proprietário testado. Compara configurações, não comprova causalidade.

Repita a pergunta

Faça a mesma pergunta duas vezes e a lista muda

O estudo de Bali repetiu as mesmas perguntas a cada sistema. Em média, respostas repetidas compartilhavam apenas parte dos nomes.

Nomes em comum em duas respostas à mesma pergunta, em relação a todos os nomes citados em qualquer uma delas

  • Claude, o menos consistente22%

  • Gemini, o mais consistente45%

Sobreposição média entre consultas repetidas, em escala de 100%. ChatGPT e Perplexity ficaram entre os dois. O Claude foi executado 3 vezes por pergunta, com no máximo duas buscas; o Gemini, 5 vezes. Fonte: preprint da Norly.

Uma resposta é um retrato do momento. Verifique mais de uma vez e com mais de um sistema antes de concluir.

Como o estudo foi realizado

A coleta principal, pré-registrada, abrangeu 2.208 execuções em sete dias, com 96 perguntas em inglês, cada uma formulada como um tipo específico de visitante. O Perplexity foi executado 10 vezes por pergunta, ChatGPT e Gemini 5 vezes e Claude 3 vezes, limitado a duas buscas por execução.

O estudo mede essa sobreposição como similaridade média de Jaccard, de 0,22 para Claude a 0,45 para Gemini. Após correções, 91,5% das execuções passaram na verificação rigorosa de validade, e a correspondência entre nomes das respostas e estabelecimentos reais teve precisão de cerca de 98% a 99%. Entre sistemas diferentes, a sobreposição dos 20 principais estabelecimentos variou de 33% a 54%. Um novo teste duas semanas depois mudou tanto quanto as repetições da semana original, o que o autor atribui à variação aleatória entre execuções, não a uma mudança ao longo do tempo.

A Norly financiou e realizou o estudo e vende ferramentas de gestão de avaliações e visibilidade na IA para negócios de hospitalidade. O autor declara isso e descreve medidas destinadas a preservar a independência do trabalho; elas não eliminam o conflito.

O que fazer

Seis hábitos para verificar sua posição

  1. Verifique cada etapa separadamente

    Avalie busca, menção, posição e dados corretos separadamente. Uma pontuação combinada esconde qual deles mudou.

  2. Documente como verificou

    O sistema, aplicativo ou versão, se houve busca, a pergunta, idioma, lugar e data, além da resposta e da ordem dos nomes.

  3. Pergunte mais de uma vez

    Use várias execuções, formulações e sistemas. Trate algumas respostas como um retrato do momento, não um veredito.

  4. Mantenha seus dados públicos atuais

    Clientes usam horários, endereço, preços e informações de fechamento. Mantenha-os corretos por esse motivo, não como truque de classificação.

  5. Verifique os cadastros oficiais do seu negócio

    Uma entrada ausente, desatualizada ou duplicada em um cadastro oficial é um problema diferente de não ser citado e pode ser corrigido por você.

  6. Meça clientes em outro lugar

    Aparecer em uma resposta não é uma visita nem uma venda. Conte esses resultados nas suas próprias reservas e no caixa.

Continue lendo

Briefings relacionados e próximos passos

Três Briefings relacionados e por onde começar com seu próprio negócio.

Fontes

De onde vêm estas informações

Dois preprints, artigos ainda sem revisão por pares. A Norly financiou o estudo de Bali e vende ferramentas da mesma categoria que a Obenan; leia com atenção tanto os resultados deles quanto nosso resumo. A Obenan não tem parceria, integração, piloto nem relação de acesso especial com os autores, Norly, arXiv, ChatGPT, Claude, Gemini, Perplexity ou seus fornecedores, nem o endosso dessas pessoas ou entidades.

  1. arXiv abstract and submission record

    arXiv Submetido Verificado

    O registro de submissão do estudo de Bali.

  2. Full arXiv HTML paper

    arXiv Submetido Verificado

    Métodos, pré-registro, resultados, validação, limites, financiamento e declaração de conflitos de interesse. Nova consulta em 2 de setembro de 2026.

  3. Understanding AI Provider Recommendations in Local Service Markets

    arXiv, Hazem Ibrahim and Yasir Zaki Submetido Verificado

    A auditoria dos cadastros dos EUA que compara respostas com e sem busca na web.

Edição anterior

Visibilidade na IA e Google Maps: estudo de restaurantes

Este Briefing dá continuidade à observação de um dia da própria Obenan em Amsterdã, Berlim e Barcelona, que mantém sua própria página. Essa observação é separada do estudo de Bali e não é combinada com ele.

Leia a edição anterior
Voltar a todos os Briefings