OBENAN RESEARCH · PRIMEIRA EDIÇÃO EXPLORATÓRIA
Visibilidade na busca não é visibilidade na IA
Em um único dia, comparamos o conjunto do Google Maps para uma pergunta sobre restaurantes em Amsterdã, Berlim e Barcelona com as recomendações do ChatGPT e do Claude para a mesma pergunta.
Dos três primeiros restaurantes de cada conjunto do Google Maps, quantos também apareceram entre os três primeiros do ChatGPT e do Claude
0 de 3
Amsterdam
0 de 3
Berlin
1 de 3
Barcelona
Seus clientes agora procuram em dois lugares, e cada um responde a partir de uma lista diferente. Ser fácil de encontrar não é a mesma coisa que ser recomendado.
Perguntamos ao Google Maps e a dois assistentes de IA, ChatGPT e Claude, quais eram os melhores restaurantes de três cidades europeias no mesmo dia, e comparamos todos os nomes que devolveram.
O achado
Os restaurantes que o Google Maps colocou em primeiro em geral não foram os que os assistentes recomendaram
Mesma pergunta, mesma cidade, mesmo dia. Comparamos os três primeiros restaurantes devolvidos pelo Google Maps com os três primeiros citados por cada assistente.
Amsterdam
0 de 3 coincidiram
Nem o ChatGPT nem o Claude colocou entre seus três primeiros um dos três primeiros resultados do Google Maps.
Berlin
0 de 3 coincidiram
Os dois assistentes indicaram os mesmos três restaurantes, na mesma ordem, e nenhum estava entre os três primeiros do Google Maps.
Barcelona
1 de 3 coincidiu
Um restaurante apareceu entre os três primeiros do Google Maps e também entre os três primeiros dos dois assistentes. Foi o mesmo em ambos.
Uma busca por cidade, por assistente, em um único dia. Suficiente para mostrar o que encontramos. Não suficiente para virar regra. Este não é um teste para saber se as respostas permanecem estáveis em execuções repetidas.
Como uma comparação dessas é contada
Uma busca, duas listas diferentes
Ilustração, não resultados do estudoRestaurantes exibidos no Google Maps
Restaurantes recomendados por IA (ChatGPT e Claude)
- Linha roxa = o mesmo restaurante aparece nas duas listas
- Sem linha = o restaurante aparece em apenas uma lista
O Restaurante B apareceu tanto no Google Maps quanto na lista da IA.
O que isso muda
Visibilidade em IA não é visibilidade em busca com outro nome
Os dois sistemas não devolveram os mesmos restaurantes para a mesma pergunta. Um negócio que a busca no mapa coloca na frente das pessoas não é automaticamente um negócio que um assistente recomenda. São dois resultados diferentes, e este estudo mediu os dois.
Isto não afirma que o trabalho por trás dos resultados de busca deixou de importar. Não testamos isso. O que podemos dizer é que os dois resultados se separaram, então tratá-los como uma coisa só teria escondido a diferença por completo.
As evidências que eles mostraram
Os dois assistentes apontaram para tipos de evidência completamente diferentes
O ChatGPT linkou o site do próprio restaurante em 46 das suas 60 recomendações. O Claude não fez isso em nenhuma das 60, em nenhuma cidade.
O que cada assistente exibiu
Posições de recomendação entre 60 por assistente.
Incluiu link para o site do restaurante
Incluiu link para um guia ou prêmio
Incluiu link para cobertura editorial independente
Incluiu links para dois ou mais sites externos distintos
Mais duas comparações, na mesma escala
Incluiu link para o próprio Guia Michelin
Incluiu link para Michelin ou World's 50 Best
O contraexemplo
Em Berlim eles concordaram totalmente e ainda assim mostraram evidências diferentes
Em Berlim, os dois assistentes indicaram os mesmos três primeiros restaurantes, na mesma ordem. Nenhum desses três estava entre os três primeiros do Google Maps.
O Claude não exibiu fonte de guia ou prêmio em nenhuma das 20 posições de Berlim. O ChatGPT exibiu em 13 de 20.
Dois assistentes chegaram à mesma resposta exibindo evidências diferentes. O que aparece na tela não explica sozinho o que levou ao resultado.
Ou seja, aparecer num guia não é o que se deve perseguir aqui. Dois assistentes chegaram à mesma resposta por caminhos visivelmente diferentes, e é exatamente por isso que os links exibidos não podem ser lidos como o motivo da resposta.
Os dois assistentes conhecem os mesmos restaurantes. Eles discordam sobre quem vem primeiro.
Comparando o ChatGPT com o Claude, e não cada um deles com o Google Maps, ambos citaram 12 dos mesmos restaurantes em Amsterdã, 13 em Berlim e 10 em Barcelona, de cerca de trinta citados em cada cidade.
No pódio eles se separaram. Berlim: 3 de 3, na mesma ordem. Barcelona: 2 de 3. Amsterdã: 0 de 3.
Ser conhecido não é a mesma coisa que ser escolhido. Os dois assistentes talvez já tenham o seu restaurante na lista. Isso não é o mesmo que um deles citar você primeiro.
Os dois assistentes concordam entre si?
Berlin
O mesmo top 3, na mesma ordem
ChatGPT e Claude comparados entre si, e na mesma ordem
Os dois assistentes começaram com os mesmos três restaurantes em primeiro, segundo e terceiro lugares.
Em relação aos três primeiros do Google Maps, a mesma cidade coincidiu em 0 de 3.
Ver as 20 posições de Berlin
Uma linha reta significa que os dois assistentes colocaram o mesmo restaurante na mesma posição. Uma linha cruzada significa que concordaram sobre o restaurante, mas o classificaram de forma diferente.
ChatGPT
Claude
Barcelona
2 dos 3 primeiros coincidiram
ChatGPT e Claude comparados entre si, a mesma primeira escolha
Eles concordaram com a primeira escolha e, abaixo dela, a ordem se separou.
Em relação aos três primeiros do Google Maps, a mesma cidade coincidiu em 1 de 3.
Ver as 20 posições de Barcelona
Uma linha reta significa que os dois assistentes colocaram o mesmo restaurante na mesma posição. Uma linha cruzada significa que concordaram sobre o restaurante, mas o classificaram de forma diferente.
ChatGPT
Claude
Amsterdam
0 dos 3 primeiros coincidiram
ChatGPT e Claude comparados entre si, nada em comum
Nenhum assistente colocou um restaurante do top 3 do outro em seu próprio top 3.
Em relação aos três primeiros do Google Maps, a mesma cidade coincidiu em 0 de 3.
Ver as 20 posições de Amsterdam
Uma linha reta significa que os dois assistentes colocaram o mesmo restaurante na mesma posição. Uma linha cruzada significa que concordaram sobre o restaurante, mas o classificaram de forma diferente.
ChatGPT
Claude
O que isso significa para você
Nossa interpretação: duas tarefas de descoberta diferentes
O que segue é nossa interpretação, não uma medição. Medimos que as listas divergiram e que os assistentes exibiram tipos diferentes de evidência. A razão da divergência é uma leitura dessas evidências; outras leituras são possíveis.
O seu site é uma fonte. Todo o resto que um assistente consegue ver sobre você está em outro lugar.
Google Maps
Este é um negócio local relevante, próximo e conhecido?
As listas se concentraram em um bairro central de cada cidade. Dentro delas, nada no perfil da empresa explicou a ordem.
Seja a correspondência local mais clara: dados corretos, categoria certa e presença real na área que você atende.
ChatGPT e Claude
Esta é uma recomendação relevante que posso apoiar com evidências públicas?
Atrás das primeiras escolhas, os assistentes exibiram guias, prêmios, imprensa e fontes municipais. O Claude não exibiu o site do restaurante em nenhuma cidade.
Facilite a verificação: site claro, identidade consistente e cobertura externa que diga a mesma coisa sobre você.
O que as evidências descartaram
Mais fotos, respostas ou avaliações fazem você subir?
Em onze verificações, nenhuma explicou quais restaurantes apareceram primeiro; vários sinais mudaram de direção entre cidades.
Continue fazendo isso se ajudar seus clientes. Não espere que determine sua posição.
Ser fácil de encontrar em uma superfície não se transferiu para a outra. São duas tarefas relacionadas, não uma só.
Onde ficaram as listas do Google Maps
Amsterdam
14 de 20
em Amsterdam-Centrum
Berlin
18 de 20
em Mitte
Barcelona
12 de 20
em Ciutat Vella
Esses também são os bairros com mais restaurantes, e não coletamos um grupo de comparação de lugares que nunca apareceram. Isso mostra onde as listas se concentraram, não que um bairro tenha sido escolhido.
O que os assistentes mostraram por trás das primeiras escolhas
8 of 9
O ChatGPT exibiu uma fonte de guia ou prêmio
em suas primeiras escolhas, incluindo uma fonte Michelin em 7 delas.
9 of 9
O Claude exibiu duas ou mais fontes independentes
em cada uma de suas primeiras escolhas.
13 of 15
Reconhecimento de guia ou prêmio nas explicações dos assistentes
explicações disponíveis das primeiras escolhas citaram reconhecimento de guia ou prêmio como fator.
Isto é o que cada assistente exibiu, não o que usou. Berlim é o lembrete: o Claude não mostrou nenhuma fonte de guia ou prêmio em toda a cidade e ainda assim citou os mesmos três restaurantes, na mesma ordem, que o ChatGPT.
O que descartamos
O que não explicou o resultado
Verificamos o que todo mundo supõe. Se existisse uma explicação simples, três cidades a teriam mostrado. Não mostraram.
| O que verificamos | Amsterdam | Berlin | Barcelona | O que isso nos diz |
|---|---|---|---|---|
| Avaliações acumuladasTop 3 comparado aos outros 17, em avaliações | 2,472 avaliações a menosque os outros 17 | 1,331 avaliações a maisque os outros 17 | 4,252 avaliações a menosque os outros 17 | Sem direção consistente |
| Nota em todas as avaliaçõesTop 3 comparado aos outros 17, em estrelas | 0.04 estrelas mais altaque os outros 17 | 0.04 estrelas mais baixaque os outros 17 | 0.10 estrelas mais altaque os outros 17 | Sem direção consistente |
| Avaliações nos últimos 30 diasTop 3 comparado aos outros 17, em avaliações | 8 avaliações a menosque os outros 17 | 29 avaliações a maisque os outros 17 | 20 avaliações a menosque os outros 17 | Sem direção consistente |
Cada um deles apontou para um lado em uma cidade e para o lado oposto em outra. Preço e categoria não mostraram nada. Portanto nenhum deles explica quais restaurantes vieram primeiro.
Testamos mais cinco explicações. Nenhuma se sustentou nas três cidades.
Mais fotos?
Os três primeiros tinham menos em Amsterdã e mais nas outras duas cidades.
Amsterdam: três primeiros 1,221, outros dezessete 2,128 · Berlin: três primeiros 3,841, outros dezessete 1,262 · Barcelona: três primeiros 7,124, outros dezessete 3,073
fotos, empresa típica
Mais tipos de fotos?
Nenhum padrão consistente.
Amsterdam: três primeiros 11, outros dezessete 14 · Berlin: três primeiros 12, outros dezessete 13 · Barcelona: três primeiros 17, outros dezessete 15
categorias de fotos, empresa típica
Mais respostas às avaliações?
Forte em Amsterdã e ausente em Barcelona.
Amsterdam: três primeiros 97 em cada 100, outros dezessete 53 em cada 100 · Berlin: três primeiros 41 em cada 100, outros dezessete nenhuma · Barcelona: três primeiros 1 em cada 100, outros dezessete 3 em cada 100
avaliações respondidas pelo proprietário
Mais avaliações de Local Guides?
Nenhuma separação relevante em qualquer cidade.
Amsterdam: três primeiros 49 em cada 100, outros dezessete 51 em cada 100 · Berlin: três primeiros 63 em cada 100, outros dezessete 58 em cada 100 · Barcelona: três primeiros 42 em cada 100, outros dezessete 44 em cada 100
avaliações escritas por Local Guides
Assuntos diferentes nas avaliações?
Agrupamos cada palavra-chave de avaliação em onze temas. Nenhum separou os três primeiros dos outros dezessete nas três cidades.
Comparado entre os três primeiros e os outros dezessete em cada cidade.
onze temas, 412 palavras-chave distintas
Adicionar fotos ou responder às avaliações ainda pode valer a pena para os seus clientes. Este estudo não encontrou que qualquer uma dessas coisas explicasse quais restaurantes vieram primeiro.
Por que removemos uma das verificações
Conseguíamos ler as 100 avaliações mais recentes de cada restaurante. Todos os 60 atingiram esse limite, então contar avaliações em uma janela fixa media sobretudo a velocidade com que essas 100 se acumulavam. Removemos a verificação em vez de deixar um número com aparência enganosa.
O caso que não virou
Uma pista se sustentou nas três cidades
Nas três cidades, os três primeiros tinham notas ligeiramente melhores nas suas 20 avaliações mais recentes. É uma pista interessante, não uma regra comprovada.
Amsterdam
- Top 3
- 4.9 estrelas
- Outros 17
- 4.7 estrelas
- Diferença
- +0.2 estrelas
Berlin
- Top 3
- 4.7 estrelas
- Outros 17
- 4.6 estrelas
- Diferença
- +0.1 estrelas
Barcelona
- Top 3
- 4.8 estrelas
- Outros 17
- 4.7 estrelas
- Diferença
- +0.1 estrelas
Promissor, mas com amostra pequena demais para virar regra.
Cada um desses grupos de topo tem apenas três restaurantes. É a única coisa que não se contradisse nas três cidades, e é o que vamos testar em seguida.
O que ainda não podemos afirmar
- Cada grupo de topo tem três restaurantes, então nenhuma das três diferenças se sustenta sozinha.
- Só conseguimos ler as 100 avaliações mais recentes de cada restaurante. Quando esse limite foi atingido, as anteriores ficaram fora da medição. Por isso a contagem de 90 dias é a mais fraca das quatro verificações: quase metade chegou ao limite dentro de 90 dias.
- A ordem em que esses restaurantes voltaram ainda não foi confirmada de forma independente.
Dois lugares para conferir
Duas verificações, não uma
Os clientes usam os dois lugares, então vale conferir os dois. Cada verificação olha apenas para um deles, e nenhuma repete este estudo.
Assistentes de IA
Veja como a IA descreve o seu negócio
Confira o que os assistentes de IA conseguem encontrar sobre você hoje. Esta verificação não diz onde você aparece no Google Maps.
Verificar presença em IAGoogle Maps
Confira onde você aparece no Google Maps
Confira onde o seu negócio fica em uma busca, em um momento. Olha apenas para o seu negócio e não repete a comparação de três cidades desta página.
Verificar visibilidade no Google MapsComo fizemos
Como a comparação funcionou
Fazer a mesma pergunta
Fizemos ao Google Maps e aos assistentes de IA a mesma pergunta sobre restaurantes em cada cidade.
Coletar as duas listas
Salvamos todos os restaurantes que cada um devolveu, exatamente como vieram.
Ver quais aparecem nas duas
Comparamos as duas listas para encontrar os restaurantes citados em ambas.
O detalhe técnico, para quem quiser
- Sessões isoladas
- Cada assistente foi consultado uma vez por cidade, em uma sessão nova e sem login.
- Repetição
- Este é um retrato exploratório de um único dia, não um teste de estabilidade das respostas em execuções repetidas.
- Proveniência
- Proveniência indica de onde vieram os dados. Para cada lista ficam registrados a consulta exata, as configurações, o contexto de localização e o horário da coleta.
- Resolução de identidade
- Resolução de identidade é confirmar que dois nomes se referem ao mesmo negócio. Quando isso não pôde ser confirmado, o par permanece separado e é reportado como ambíguo.
- Incerteza e evidências indisponíveis
- Tudo o que não pôde ser verificado aparece como indisponível, em vez de ser preenchido com uma suposição.
Este método não pode mostrar por que um restaurante apareceu, não pode estabelecer um padrão duradouro para nenhum dos dois lugares e não pode informar uma posição no Google Maps em toda a cidade.
O trabalho por trás disso
O que analisamos de fato
Não foi um experimento de um único prompt. Fizemos a dois assistentes de IA a mesma pergunta em três cidades, capturamos todas as recomendações ordenadas e não apenas as vencedoras, pedimos a cada assistente que se explicasse e guardamos essas respostas, cruzamos os restaurantes em todas as listas por endereço e domínio oficial, e lemos o perfil público do negócio por trás de cada um.
No total
120,548
valores de dados analisados
Todos os campos preenchidos de 60 locais, vindos de 253 campos distintos: 215 no perfil da empresa e 38 em cada avaliação. Cerca de 2.009 valores por local.
O que perguntamos
3
cidades
Amsterdã, Berlim, Barcelona
2
assistentes de AI
receberam a mesma pergunta
6
listas completas de posições
capturadas por inteiro, sem amostragem
O que capturamos
120
recomendações ordenadas
cada posição, não só os vencedores
5
explicações de acompanhamento
perguntamos o motivo a cada assistente e guardamos as respostas
60
perfis públicos de empresas
nota, localização, categoria, preço e histórico de avaliações
O que lemos
6,000
avaliações individuais
lidas uma a uma nos 60 perfis
2,009
valores por local
em média, em todos os campos preenchidos
253
campos de dados distintos
215 no perfil e 38 em cada avaliação
O que verificamos
238
links de fontes
cada link exibido pelos assistentes
88
sites-fonte distintos
guias, sites municipais, imprensa e páginas oficiais
5
coincidências confirmadas entre listas
e 3 incertas que nos recusamos a unir
O que abrimos para verificar isso
249,557
fotos contadas nas 60 empresas
178
categorias de fotos distintas
412
palavras-chave de avaliações, agrupadas em 11 temas
60
perfis de empresa lidos campo a campo
Fizemos tudo isso por um motivo. Não para descobrir quais restaurantes apareceram, mas para descobrir o que os visíveis tinham em comum, como as recomendações de IA diferiam do que uma busca no mapa devolveu, e quais explicações continuavam de pé depois de três cidades em vez de uma.
Antes de usar isto
Como ler este estudo
O que este estudo prova e o que não prova
- Este é um retrato exploratório de um dia e três cidades.
- Relata padrões observados, não causalidade nem uma fórmula garantida de posicionamento.
- Edições futuras repetirão as verificações de AI e Maps; as conclusões podem mudar.
Como cada afirmação é rotulada
| Rótulo | O que significa |
|---|---|
| Medido | Contado diretamente a partir das evidências verificadas |
| Observado | Visto em uma fonte, não é uma regra geral |
| Declarado pelo modelo | O que um assistente de IA disse sobre a própria resposta |
| Inferido | Nossa leitura, citando também outras explicações |
| Indisponível | Pedimos e não conseguimos verificar |
O que vem a seguir
Vamos repetir
Um dia é um retrato. A próxima edição repete a mesma pergunta nas mesmas cidades, várias vezes, para conseguirmos distinguir um padrão de uma coincidência. Restaurantes são a primeira edição.