OBENAN RESEARCH · PRIMEIRA EDIÇÃO EXPLORATÓRIA
Visibilidade na pesquisa não é visibilidade na IA
Num só dia, comparámos o conjunto de comparação do Google Maps para uma pergunta sobre restaurantes em Amesterdão, Berlim e Barcelona com as recomendações do ChatGPT e do Claude para a mesma pergunta.
Dos três primeiros restaurantes de cada conjunto do Google Maps, quantos surgiram também entre os três primeiros do ChatGPT e do Claude
0 de 3
Amsterdam
0 de 3
Berlin
1 de 3
Barcelona
Os seus clientes procuram agora em dois sítios, e cada um responde a partir de uma lista diferente. Ser fácil de encontrar não é o mesmo que ser recomendado.
Perguntámos ao Google Maps e a dois assistentes de IA, o ChatGPT e o Claude, quais os melhores restaurantes de três cidades europeias no mesmo dia, e comparámos todos os nomes devolvidos.
O resultado
Os restaurantes que o Google Maps colocou em primeiro não foram, na sua maioria, os que os assistentes recomendaram
Mesma pergunta, mesma cidade, mesmo dia. Comparámos os três primeiros restaurantes devolvidos pelo Google Maps com os três primeiros indicados por cada assistente.
Amsterdam
0 de 3 coincidiram
Nem o ChatGPT nem o Claude colocou entre os seus três primeiros um dos três primeiros resultados do Google Maps.
Berlin
0 de 3 coincidiram
Os dois assistentes indicaram os mesmos três restaurantes, pela mesma ordem, e nenhum estava entre os três primeiros do Google Maps.
Barcelona
1 de 3 coincidiu
Um restaurante surgiu entre os três primeiros do Google Maps e também entre os três primeiros dos dois assistentes. Foi o mesmo em ambos.
Uma pesquisa por cidade, por assistente, num único dia. Suficiente para mostrar o que encontrámos. Insuficiente para lhe chamar regra. Este não é um teste para saber se as respostas se mantêm estáveis em execuções repetidas.
Como se conta uma comparação destas
Uma pesquisa, duas listas diferentes
Ilustração, não resultados do estudoRestaurantes apresentados no Google Maps
Restaurantes recomendados por IA (ChatGPT e Claude)
- Linha roxa = o mesmo restaurante aparece nas duas listas
- Sem linha = o restaurante aparece apenas numa lista
O Restaurante B surgiu tanto no Google Maps como na lista da IA.
O que isto muda
A visibilidade em IA não é a visibilidade na pesquisa com outro nome
Os dois sistemas não devolveram os mesmos restaurantes para a mesma pergunta. Um negócio que a pesquisa no mapa coloca à frente das pessoas não é automaticamente um negócio que um assistente recomenda. São dois resultados diferentes, e este estudo mediu ambos.
Isto não afirma que o trabalho por trás dos resultados de pesquisa deixou de importar. Não testámos isso. O que podemos dizer é que os dois resultados divergiram, pelo que tratá-los como uma só medida teria ocultado a diferença por completo.
As provas que mostraram
Os dois assistentes apontaram para tipos de prova completamente diferentes
O ChatGPT ligou aos sites dos próprios restaurantes em 46 das suas 60 recomendações. O Claude não o fez em nenhuma das 60, em cidade alguma.
O que cada assistente apresentou
Posições de recomendação entre 60 por assistente.
Incluiu ligação para o site do restaurante
Incluiu ligação para um guia ou prémio
Incluiu ligação para cobertura editorial independente
Incluiu ligações para dois ou mais sites externos distintos
Mais duas comparações, à mesma escala
Incluiu ligação para o próprio Guia Michelin
Incluiu ligação para Michelin ou World's 50 Best
O contraexemplo
Em Berlim concordaram por completo e ainda assim mostraram provas diferentes
Em Berlim, os dois assistentes indicaram os mesmos três primeiros restaurantes, pela mesma ordem. Nenhum desses três estava entre os três primeiros do Google Maps.
O Claude não apresentou qualquer fonte de guia ou prémio nas 20 posições de Berlim. O ChatGPT apresentou uma em 13 de 20.
Dois assistentes chegaram à mesma resposta mostrando evidências diferentes. O que é apresentado não explica sozinho o que levou ao resultado.
Ou seja, constar num guia não é o objetivo a perseguir aqui. Dois assistentes chegaram à mesma resposta por caminhos visivelmente diferentes, e é precisamente por isso que as ligações apresentadas não podem ser lidas como a razão da resposta.
Os dois assistentes conhecem os mesmos restaurantes. Discordam sobre quem vem primeiro.
Comparando o ChatGPT com o Claude, e não qualquer um deles com o Google Maps, ambos indicaram 12 dos mesmos restaurantes em Amesterdão, 13 em Berlim e 10 em Barcelona, de cerca de trinta indicados em cada cidade.
No pódio separaram-se. Berlim: 3 de 3, pela mesma ordem. Barcelona: 2 de 3. Amesterdão: 0 de 3.
Ser conhecido não é o mesmo que ser escolhido. Ambos os assistentes podem já ter o seu restaurante na lista. Isso não é o mesmo que qualquer um deles o indicar em primeiro.
Os dois assistentes concordam entre si?
Berlin
O mesmo top 3, pela mesma ordem
ChatGPT e Claude comparados entre si, e pela mesma ordem
Os dois assistentes começaram com os mesmos três restaurantes em primeiro, segundo e terceiro lugares.
Face aos três primeiros do Google Maps, a mesma cidade coincidiu em 0 de 3.
Ver as 20 posições de Berlin
Uma linha reta significa que ambos os assistentes colocaram o mesmo restaurante na mesma posição. Uma linha cruzada significa que concordaram quanto ao restaurante mas ordenaram-no de forma diferente.
ChatGPT
Claude
Barcelona
2 dos 3 primeiros coincidiram
ChatGPT e Claude comparados entre si, a mesma primeira escolha
Concordaram na primeira escolha e, abaixo dela, a ordem separou-se.
Face aos três primeiros do Google Maps, a mesma cidade coincidiu em 1 de 3.
Ver as 20 posições de Barcelona
Uma linha reta significa que ambos os assistentes colocaram o mesmo restaurante na mesma posição. Uma linha cruzada significa que concordaram quanto ao restaurante mas ordenaram-no de forma diferente.
ChatGPT
Claude
Amsterdam
0 dos 3 primeiros coincidiram
ChatGPT e Claude comparados entre si, nada em comum
Nenhum assistente colocou um restaurante do top 3 do outro no seu próprio top 3.
Face aos três primeiros do Google Maps, a mesma cidade coincidiu em 0 de 3.
Ver as 20 posições de Amsterdam
Uma linha reta significa que ambos os assistentes colocaram o mesmo restaurante na mesma posição. Uma linha cruzada significa que concordaram quanto ao restaurante mas ordenaram-no de forma diferente.
ChatGPT
Claude
O que significa para si
A nossa interpretação: duas tarefas de descoberta diferentes
O que se segue é a nossa interpretação, não uma medição. Medimos que as listas divergiram e que os assistentes apresentaram tipos diferentes de evidência. A razão da divergência é uma leitura dessas evidências; outras leituras são possíveis.
O seu site é uma fonte. Todo o resto que um assistente consegue ver sobre si está noutro sítio completamente diferente.
Google Maps
É uma empresa local relevante, próxima e conhecida?
As listas concentraram-se num bairro central de cada cidade. Dentro delas, nada no perfil da empresa explicou a ordem.
Seja a correspondência local mais clara: dados corretos, categoria certa e presença real na área que serve.
ChatGPT e Claude
É uma recomendação relevante que posso sustentar com evidência pública?
Por trás das primeiras escolhas, os assistentes apresentaram guias, prémios, imprensa e fontes municipais. O Claude não apresentou o site do restaurante em nenhuma cidade.
Facilite a verificação: site claro, identidade consistente e cobertura externa que diga o mesmo sobre si.
O que as evidências excluíram
Mais fotografias, respostas ou avaliações fazem-no subir?
Em onze verificações, nenhuma explicou quais os restaurantes que surgiram primeiro; vários sinais mudaram de direção entre cidades.
Continue a fazê-lo se ajudar os clientes. Não espere que determine a sua posição.
Ser fácil de encontrar numa superfície não passou para a outra. São duas tarefas relacionadas, não uma só.
Onde se situaram as listas do Google Maps
Amsterdam
14 de 20
em Amsterdam-Centrum
Berlin
18 de 20
em Mitte
Barcelona
12 de 20
em Ciutat Vella
Estes são também os bairros com mais restaurantes, e não recolhemos um grupo de comparação de locais que nunca surgiram. Isto mostra onde as listas se concentraram, não que um bairro tenha sido escolhido.
O que os assistentes mostraram por trás das primeiras escolhas
8 of 9
O ChatGPT apresentou uma fonte de guia ou prémio
nas suas primeiras escolhas, incluindo uma fonte Michelin em 7 delas.
9 of 9
O Claude apresentou duas ou mais fontes independentes
em cada uma das suas primeiras escolhas.
13 of 15
Reconhecimento de guia ou prémio nas explicações dos assistentes
explicações disponíveis das primeiras escolhas referiram reconhecimento de guia ou prémio como fator.
Isto é o que cada assistente apresentou, não o que utilizou. Berlim é o lembrete: o Claude não mostrou qualquer fonte de guia ou prémio em toda a cidade e ainda assim indicou os mesmos três restaurantes, pela mesma ordem, que o ChatGPT.
O que excluímos
O que não explicou o resultado
Verificámos aquilo que toda a gente assume. Se existisse uma explicação simples, três cidades tê-la-iam mostrado. Não mostraram.
| O que verificámos | Amsterdam | Berlin | Barcelona | O que nos diz |
|---|---|---|---|---|
| Avaliações acumuladasTop 3 comparado com os outros 17, em avaliações | 2,472 avaliações a menosdo que os outros 17 | 1,331 avaliações a maisdo que os outros 17 | 4,252 avaliações a menosdo que os outros 17 | Sem direção consistente |
| Classificação em todas as avaliaçõesTop 3 comparado com os outros 17, em estrelas | 0.04 estrelas mais altado que os outros 17 | 0.04 estrelas mais baixado que os outros 17 | 0.10 estrelas mais altado que os outros 17 | Sem direção consistente |
| Avaliações nos últimos 30 diasTop 3 comparado com os outros 17, em avaliações | 8 avaliações a menosdo que os outros 17 | 29 avaliações a maisdo que os outros 17 | 20 avaliações a menosdo que os outros 17 | Sem direção consistente |
Cada um destes apontou num sentido numa cidade e no sentido oposto noutra. O preço e a categoria não mostraram nada. Nenhum deles explica, portanto, que restaurantes surgiram primeiro.
Testámos mais cinco explicações. Nenhuma se manteve nas três cidades.
Mais fotografias?
Os três primeiros tinham menos em Amesterdão e mais nas outras duas cidades.
Amsterdam: três primeiros 1,221, outros dezassete 2,128 · Berlin: três primeiros 3,841, outros dezassete 1,262 · Barcelona: três primeiros 7,124, outros dezassete 3,073
fotografias, empresa típica
Mais tipos de fotografias?
Nenhum padrão consistente.
Amsterdam: três primeiros 11, outros dezassete 14 · Berlin: três primeiros 12, outros dezassete 13 · Barcelona: três primeiros 17, outros dezassete 15
categorias de fotografias, empresa típica
Mais respostas às avaliações?
Forte em Amesterdão e ausente em Barcelona.
Amsterdam: três primeiros 97 em cada 100, outros dezassete 53 em cada 100 · Berlin: três primeiros 41 em cada 100, outros dezassete nenhuma · Barcelona: três primeiros 1 em cada 100, outros dezassete 3 em cada 100
avaliações respondidas pelo proprietário
Mais avaliações de Local Guides?
Nenhuma separação relevante em qualquer cidade.
Amsterdam: três primeiros 49 em cada 100, outros dezassete 51 em cada 100 · Berlin: três primeiros 63 em cada 100, outros dezassete 58 em cada 100 · Barcelona: três primeiros 42 em cada 100, outros dezassete 44 em cada 100
avaliações escritas por Local Guides
Assuntos diferentes nas avaliações?
Agrupámos cada palavra-chave de avaliação em onze temas. Nenhum separou os três primeiros dos outros dezassete nas três cidades.
Comparado entre os três primeiros e os outros dezassete em cada cidade.
onze temas, 412 palavras-chave distintas
Acrescentar fotografias ou responder às avaliações pode continuar a valer a pena para os seus clientes. Este estudo não concluiu que qualquer uma dessas coisas explicasse que restaurantes surgiram primeiro.
Porque retirámos uma das verificações
Conseguíamos ler as 100 avaliações mais recentes de cada restaurante. Todos os 60 atingiram esse limite, pelo que contar avaliações numa janela fixa media sobretudo a rapidez com que essas 100 se acumulavam. Retirámos a verificação em vez de deixar um número enganador.
O caso que não se inverteu
Uma pista manteve-se nas três cidades
Nas três cidades, os três primeiros tinham classificações ligeiramente melhores nas suas 20 avaliações mais recentes. É uma pista interessante, não uma regra comprovada.
Amsterdam
- Top 3
- 4.9 estrelas
- Outros 17
- 4.7 estrelas
- Diferença
- +0.2 estrelas
Berlin
- Top 3
- 4.7 estrelas
- Outros 17
- 4.6 estrelas
- Diferença
- +0.1 estrelas
Barcelona
- Top 3
- 4.8 estrelas
- Outros 17
- 4.7 estrelas
- Diferença
- +0.1 estrelas
Promissor, mas com uma amostra demasiado pequena para lhe chamar regra.
Cada um desses grupos de topo tem apenas três restaurantes. É a única coisa que não se contradisse nas três cidades, e é o que vamos testar a seguir.
O que ainda não podemos afirmar
- Cada grupo de topo tem três restaurantes, pelo que nenhuma das três diferenças se sustenta por si só.
- Só conseguimos ler as 100 avaliações mais recentes de cada restaurante. Quando esse limite foi atingido, as anteriores ficaram fora da medição. Por isso, a contagem de 90 dias é a mais fraca das quatro verificações: quase metade chegou ao limite dentro de 90 dias.
- A ordem pela qual estes restaurantes surgiram ainda não foi confirmada de forma independente.
Dois sítios a verificar
Duas verificações, não uma
Os clientes usam os dois sítios, por isso vale a pena verificar ambos. Cada verificação analisa apenas um deles, e nenhuma repete este estudo.
Assistentes de IA
Veja como a IA descreve o seu negócio
Verifique o que os assistentes de IA conseguem encontrar sobre si hoje. Esta verificação não lhe diz onde aparece no Google Maps.
Verificar presença em IAGoogle Maps
Verifique onde aparece no Google Maps
Verifique onde o seu negócio se posiciona numa pesquisa, num dado momento. Analisa apenas o seu negócio e não repete a comparação de três cidades desta página.
Verificar visibilidade no Google MapsComo o fizemos
Como funcionou a comparação
Fazer a mesma pergunta
Colocámos ao Google Maps e aos assistentes de IA a mesma pergunta sobre restaurantes em cada cidade.
Recolher as duas listas
Guardámos todos os restaurantes que cada um devolveu, exatamente como surgiram.
Ver quais aparecem em ambas
Comparámos as duas listas para encontrar os restaurantes referidos em ambas.
O detalhe técnico, para quem o quiser
- Sessões isoladas
- Cada assistente foi questionado uma vez por cidade, numa sessão nova e sem sessão iniciada.
- Repetição
- Isto é um retrato exploratório de um único dia, não um teste à estabilidade das respostas em execuções repetidas.
- Proveniência
- Proveniência indica de onde vieram os dados. Para cada lista ficam registados a consulta exata, as definições, o contexto de localização e a hora de recolha.
- Resolução de identidade
- Resolução de identidade é confirmar que dois nomes se referem ao mesmo negócio. Quando não foi possível confirmar, o par fica por unir e é reportado como ambíguo.
- Incerteza e provas indisponíveis
- Tudo o que não pôde ser verificado surge como indisponível, em vez de ser preenchido com um pressuposto.
Este método não pode mostrar por que razão um restaurante surgiu, não pode estabelecer um padrão duradouro para qualquer um dos sítios e não pode reportar uma posição no Google Maps à escala da cidade.
O trabalho por trás disto
O que analisámos efetivamente
Não foi uma experiência de um único pedido. Colocámos a dois assistentes de IA a mesma pergunta em três cidades, registámos todas as recomendações ordenadas e não apenas as vencedoras, pedimos a cada assistente que se explicasse e guardámos essas respostas, cruzámos os restaurantes em todas as listas por morada e domínio oficial, e lemos o perfil público do negócio por trás de cada um.
No total
120,548
valores de dados analisados
Todos os campos preenchidos de 60 locais, provenientes de 253 campos distintos: 215 no perfil da empresa e 38 em cada avaliação. Cerca de 2.009 valores por local.
O que perguntámos
3
cidades
Amesterdão, Berlim, Barcelona
2
assistentes de AI
receberam a mesma pergunta
6
listas completas de posições
captadas integralmente, sem amostragem
O que captámos
120
recomendações ordenadas
cada posição, não apenas os vencedores
5
explicações posteriores
perguntámos o motivo a cada assistente e guardámos as respostas
60
perfis públicos de empresas
classificação, localização, categoria, preço e histórico de avaliações
O que lemos
6,000
avaliações individuais
lidas uma a uma nos 60 perfis
2,009
valores por local
em média, em todos os campos preenchidos
253
campos de dados distintos
215 no perfil e 38 em cada avaliação
O que verificámos
238
ligações de fontes
cada ligação apresentada pelos assistentes
88
sites-fonte distintos
guias, sites municipais, imprensa e páginas oficiais
5
coincidências confirmadas entre listas
e 3 incertas que recusámos unir
O que abrimos para verificar isto
249,557
fotografias contadas nas 60 empresas
178
categorias de fotografias distintas
412
palavras-chave de avaliações, agrupadas em 11 temas
60
perfis de empresa lidos campo a campo
Fizemos tudo isto por uma razão. Não para saber que restaurantes surgiram, mas para saber o que os visíveis tinham em comum, em que medida as recomendações de IA diferiam do que uma pesquisa no mapa devolveu, e que explicações continuavam de pé ao fim de três cidades em vez de uma.
Antes de usar isto
Como ler este estudo
O que este estudo prova e o que não prova
- Este é um retrato exploratório de um dia e três cidades.
- Relata padrões observados, não causalidade nem uma fórmula garantida de posicionamento.
- Edições futuras repetirão as verificações de AI e Maps; as conclusões podem mudar.
Como cada afirmação é classificada
| Classificação | O que significa |
|---|---|
| Medido | Contado diretamente a partir das provas verificadas |
| Observado | Visto numa fonte, não é uma regra geral |
| Declarado pelo modelo | O que um assistente de IA disse sobre a própria resposta |
| Inferido | A nossa leitura, nomeando também outras explicações |
| Indisponível | Pedimos e não conseguimos verificar |
O que se segue
Vamos repetir
Um dia é um retrato. A próxima edição repete a mesma pergunta nas mesmas cidades, várias vezes, para conseguirmos distinguir um padrão de uma coincidência. Os restaurantes são a primeira edição.