Obenan

Briefing · Investigação

A maioria dos lugares nunca foi citada pela IA. Veja o que esteve associado às menções.

Um estudo listou 4 776 cafés, restaurantes e bares em duas regiões de Bali e perguntou a quatro sistemas de IA onde comer e beber. Pelo menos 85,6 % nunca foram recomendados por nenhum deles. Ser citado, vir primeiro e ter dados corretos revelaram-se problemas distintos.

Publicado Atualizado

Ler as fontes
Cada ponto representa cerca de 48 dos 4 776 estabelecimentos. Preprint da Norly, regiões de Canggu e Ubud, perguntas em inglês.

Por que motivo o seu negócio pode não aparecer

Uma resposta curta pode esconder quatro problemas diferentes

Imagine um visitante a duas ruas dali a perguntar a um assistente de IA onde comer. Cita quatro lugares. Se o seu não está entre eles, nada avisa: nenhum clique perdido, nenhuma reclamação. E uma resposta não revela qual destes pontos falhou.

  1. Pesquisar

    Houve uma pesquisa antes?

    Algumas respostas são escritas depois de uma pesquisa atual na web; outras usam apenas o que a IA já sabia, o que pode estar desatualizado.

  2. Ser citado

    O seu negócio foi citado?

    A resposta tem espaço para poucos nomes. A maioria dos lugares fica de fora.

  3. Vir primeiro

    Em que posição apareceu?

    Citado primeiro ou em quarto? Neste estudo, cada resultado esteve associado a fatores diferentes.

  4. Estar correto

    Os seus dados continuavam verdadeiros?

    Horários, morada, preços e se o negócio ainda funciona. Os dados antigos também circulam.

Uma resposta é uma observação: um sistema, uma pergunta, um lugar, um idioma, um momento.

Bali, um estudo

A maioria dos lugares nunca foi citada

Um preprint, artigo ainda sem revisão por pares, listou todos os cafés, restaurantes e bares nas regiões de Canggu e Ubud e perguntou a ChatGPT, Claude, Gemini e Perplexity onde comer e beber ali.

Parcela dos estabelecimentos nunca recomendados por nenhum dos quatro sistemas de IA

  • Todos os 4 776 estabelecimentospelo menos 85,6 %

  • Estabelecimentos com 50 ou mais avaliações72,6 %

As barras têm escala de 100 %. Fonte: preprint da Norly, arXiv 2608.07069, regiões de Canggu e Ubud, perguntas em inglês, uma semana de respostas.

Mesmo entre os lugares com 50 ou mais avaliações, quase três em cada quatro nunca foram citados.

Por que motivo estes números não se transferem para a sua cidade

Descrevem estes estabelecimentos nestas duas regiões, com perguntas em inglês feitas a versões dos quatro sistemas que pesquisam a web em tempo real ao responder, disponíveis para programadores, não às aplicações usadas pelo público. Não são uma referência para outra cidade, idioma, tipo de negócio ou aplicação.

Duas etapas diferentes

Ser citado e vir primeiro estiveram associados a fatores diferentes

Neste estudo, os lugares citados e os que vieram primeiro destacaram-se por razões diferentes.

Ser citado esteve associado a

  • Ter site próprio
  • Mais avaliações
  • Um preço publicado
  • Menções em outros lugares da web
  • Não à classificação em estrelas: não mostrou relação nesta etapa

Vir primeiro esteve associado a

  • Uma classificação em estrelas maior entre os lugares já citados
  • Mais avaliações, que continuaram relevantes aqui

São associações, não causas. Nenhuma mostra que mudar um detalhe faça o negócio ser recomendado.

Os números por trás da comparação

O estudo apresenta razões de possibilidades de um modelo ajustado. Para ser citado: volume de avaliações 1,64, site próprio 1,92, preço publicado 1,54, menções noutros locais da web 1,44 e classificação 0,89, que o autor interpreta como ausência de associação. Entre lugares citados, a classificação esteve associada à primeira posição com 1,17.

Uma razão de possibilidades acima de 1 significa possibilidades maiores dentro desse modelo. Não é um ganho em pontos percentuais nem prova de causalidade.

Dados incorretos

Lugares com dados desatualizados apareceram mais que lugares inventados

Em 12 439 menções válidas a estabelecimentos, o estudo verificou quais eram reais e continuavam abertos.

  • Preprint da Norly, uma semana de respostas

    93

    recomendações de lugares encerrados definitivamente

    Envolviam 14 estabelecimentos confirmados como permanentemente encerrados.

  • Preprint da Norly, uma semana de respostas

    10

    menções a um nome ainda considerado provavelmente inventado

    Isto equivale a 0,08 % das 12 439 menções válidas, após verificação.

Mantenha os horários, morada, preços e encerramentos corretos porque os clientes dependem deles. Este estudo não mostra que isto faça o seu negócio ser citado ou traga alguém.

Até onde vão estas contagens

As duas contagens são pequenas e vêm de um único período de sete dias. Compará-las não classifica a gravidade do dano. O estudo registou o que os sistemas disseram, não o que alguém fez depois, pelo que não demonstra quanto cada tipo de erro custa a uma empresa.

Um segundo estudo, nos Estados Unidos

Sem pesquisa na web, dois modelos de IA inventaram a maioria das recomendações de médicos e consultores

Outro preprint comparou recomendações de médicos, instituições de cuidados e consultores financeiros por IA nas 100 maiores cidades dos EUA com registos oficiais de prestadores do governo, com e sem pesquisa na web em tempo real.

Sem pesquisa na web

  • Só 4 % dos médicos recomendados por um modelo e 11 % pelo outro correspondiam a um profissional real na cidade consultada.
  • As empresas de consultoria recomendadas tinham registos de má conduta a uma taxa 3,6 vezes maior do que a habitual no registo, mesmo após ajuste pela dimensão da empresa.
  • As recomendações reais concentraram-se nas maiores cidades.

Com pesquisa na web

  • 64–71 % das recomendações nas mesmas áreas correspondiam a um prestador real e registado.
  • As empresas de consultoria recomendadas tinham registos de má conduta abaixo da taxa habitual do registo.
  • As taxas de correspondência eram semelhantes nas maiores e nas menores entre as 100 maiores cidades dos EUA.

O assistente ter pesquisado depende da execução, não do seu negócio. Registe-o a cada verificação.

Detalhes e limites do segundo estudo

Foram comparadas três configurações: um modelo de pesos abertos, que qualquer pessoa pode descarregar e executar, um modelo proprietário sem pesquisa na web e o mesmo modelo proprietário com pesquisa. Os registos eram os de profissionais e instituições do Medicare e declarações de consultores à SEC. As poucas correspondências do modelo de pesos abertos pareciam coincidências de nomes: os seus profissionais correspondentes não tinham maior probabilidade de ser médicos de cuidados primários do que nomes sorteados ao acaso.

Os restaurantes, medidos separadamente na mesma auditoria, mostraram uma vantagem de três a cinco vezes no número de avaliações, mas de no máximo um décimo de estrela na classificação.

É um preprint, abrange apenas os Estados Unidos e não identifica o modelo proprietário testado. Compara configurações, não comprova causalidade.

Repita a pergunta

Faça a mesma pergunta duas vezes e a lista muda

O estudo de Bali repetiu as mesmas perguntas a cada sistema. Em média, as respostas repetidas partilhavam apenas parte dos nomes.

Nomes em comum em duas respostas à mesma pergunta, em relação a todos os nomes citados em qualquer uma delas

  • Claude, o menos consistente22 %

  • Gemini, o mais consistente45 %

Sobreposição média entre consultas repetidas, em escala de 100 %. ChatGPT e Perplexity ficaram entre os dois. O Claude foi executado 3 vezes por pergunta, com no máximo duas pesquisas; o Gemini, 5 vezes. Fonte: preprint da Norly.

Uma resposta é um retrato do momento. Verifique mais de uma vez e com mais de um sistema antes de concluir.

Como o estudo foi realizado

A recolha principal, pré-registada, abrangeu 2 208 execuções em sete dias, com 96 perguntas em inglês, cada uma formulada como um tipo específico de visitante. O Perplexity foi executado 10 vezes por pergunta, ChatGPT e Gemini 5 vezes e Claude 3 vezes, limitado a duas pesquisas por execução.

O estudo mede esta sobreposição como semelhança média de Jaccard, de 0,22 para Claude a 0,45 para Gemini. Após correções, 91,5 % das execuções passaram na verificação rigorosa de validade, e a correspondência entre nomes das respostas e estabelecimentos reais teve precisão de cerca de 98 % a 99 %. Entre sistemas diferentes, a sobreposição dos 20 principais estabelecimentos variou de 33 % a 54 %. Um novo teste duas semanas depois mudou tanto como as repetições da semana original, o que o autor atribui à variação aleatória entre execuções, não a uma mudança ao longo do tempo.

A Norly financiou e realizou o estudo e vende ferramentas de gestão de avaliações e visibilidade na IA para negócios de hotelaria e restauração. O autor declara-o e descreve medidas destinadas a preservar a independência do trabalho; não eliminam o conflito.

O que fazer

Seis hábitos para verificar a sua posição

  1. Verifique cada etapa separadamente

    Avalie pesquisa, menção, posição e dados corretos separadamente. Uma pontuação combinada oculta qual deles mudou.

  2. Documente como verificou

    O sistema, aplicação ou versão, se houve pesquisa, a pergunta, idioma, local e data, além da resposta e da ordem dos nomes.

  3. Pergunte mais de uma vez

    Use várias execuções, formulações e sistemas. Trate algumas respostas como um retrato do momento, não um veredito.

  4. Mantenha os seus dados públicos atuais

    Os clientes usam horários, morada, preços e informações de encerramento. Mantenha-os corretos por esse motivo, não como truque de classificação.

  5. Verifique os registos oficiais do seu negócio

    Uma entrada ausente, desatualizada ou duplicada num registo oficial é um problema diferente de não ser citado e que pode corrigir por si.

  6. Meça clientes noutro lugar

    Aparecer numa resposta não é uma visita nem uma venda. Conte esses resultados nas suas próprias reservas e na caixa.

Continuar a ler

Briefings relacionados e próximos passos

Três Briefings relacionados e por onde começar com o seu próprio negócio.

Fontes

De onde vêm estas informações

Dois preprints, artigos ainda sem revisão por pares. A Norly financiou o estudo de Bali e vende ferramentas da mesma categoria que a Obenan; leia com atenção tanto os resultados deles como o nosso resumo. A Obenan não tem parceria, integração, piloto nem relação de acesso especial com os autores, Norly, arXiv, ChatGPT, Claude, Gemini, Perplexity ou os seus fornecedores, nem o endosso dessas pessoas ou entidades.

  1. arXiv abstract and submission record

    arXiv Submetido Verificado

    O registo de submissão do estudo de Bali.

  2. Full arXiv HTML paper

    arXiv Submetido Verificado

    Métodos, pré-registo, resultados, validação, limites, financiamento e declaração de conflitos de interesse. Nova consulta a 2 de setembro de 2026.

  3. Understanding AI Provider Recommendations in Local Service Markets

    arXiv, Hazem Ibrahim and Yasir Zaki Submetido Verificado

    A auditoria dos registos dos EUA que compara respostas com e sem pesquisa na web.

Edição anterior

Visibilidade na IA e Google Maps: estudo de restaurantes

Este Briefing dá continuidade à observação de um dia da própria Obenan em Amesterdão, Berlim e Barcelona, que mantém a sua própria página. Essa observação é separada do estudo de Bali e não é combinada com ele.

Ler a edição anterior
Voltar a todos os Briefings