Entrar na lista não é o mesmo que ser escolhido

Se seu estabelecimento não aparece na resposta, ou aparece com informações erradas, pelo menos três coisas diferentes podem ter falhado:

Problemas diferentes pedem soluções diferentes, e uma resposta isolada não revela qual deles você enfrenta. Ela é uma única amostra de um sistema, uma pergunta, um lugar, um idioma e um momento.

Neste estudo, o que esteve associado à entrada em uma resposta foi a documentação do negócio: site próprio, volume de avaliações, preço informado e menções em outros lugares da web. A nota em estrelas não apresentou associação nessa primeira etapa. Entre os estabelecimentos que já apareciam em uma resposta, a nota esteve associada à primeira posição, e o volume de avaliações também continuou relevante.

A leitura precisa ser restrita: entrada e posição se comportaram como resultados diferentes e precisam ser medidas separadamente. Nenhuma dessas associações demonstra que alterar um campo cause uma recomendação.

O artigo é uma pré-publicação pública, ainda sem revisão por pares. Sua etapa confirmatória incluiu 2.208 execuções ao longo de sete dias e produziu 12.439 menções válidas a estabelecimentos. Foram usadas 96 perguntas em inglês adaptadas a perfis de usuário, enviadas ao ChatGPT, Claude, Gemini e Perplexity por meio de APIs apoiadas em busca, não pelos aplicativos para consumidores. O desenho do estudo, as hipóteses e o plano de análise foram pré-registrados publicamente antes da coleta confirmatória. Isso facilita distinguir testes planejados de explicações escolhidas depois de conhecer os resultados.

As associações com a entrada são apresentadas como razões de chances de um modelo estatístico ajustado: volume de avaliações, 1,64; site próprio, 1,92; preço informado, 1,54; menções em sites de terceiros, 1,44; e nota, 0,89, que o autor interpreta como uma associação nula nessa etapa. Dentro das respostas, a nota esteve associada à primeira posição com razão de chances de 1,17. Uma razão de chances acima de 1 significa chances maiores dentro daquele modelo. Não é um ganho em pontos percentuais nem uma evidência de causa.

A repetibilidade também foi medida, e é fácil interpretar mal os números. Fazer a mesma pergunta novamente ao mesmo sistema devolveu um conjunto de estabelecimentos substancialmente diferente: a similaridade média de Jaccard entre execuções repetidas foi de 0,22 para o Claude a 0,45 para o Gemini. Essa medida é a parcela de estabelecimentos que duas listas têm em comum em relação a todos os estabelecimentos mencionados em qualquer uma delas. Assim, 1 significa listas idênticas, e 0 significa que não têm nenhum nome em comum. Uma média de 0,30 indica, portanto, que o par típico de execuções compartilhou cerca de um terço dos nomes envolvidos. Não significa que a mesma resposta voltou em 30% das vezes. Medida da mesma forma, a sobreposição entre os 20 primeiros estabelecimentos de sistemas diferentes foi de 0,33 a 0,54. Uma nova medição duas semanas depois apresentou uma troca de nomes comparável à das repetições dentro do período original. O autor atribui isso à variação da amostragem, não a uma mudança ao longo do tempo.

O método de medição também tinha limitações. O número de repetições variava por sistema: Perplexity, 10 vezes por pergunta; ChatGPT e Gemini, 5; e Claude, 3. O caminho usado pelo Claude foi limitado a duas buscas por execução. Após as correções, a validade segundo os critérios estritos por execução foi de 91,5%, e a correspondência entre nomes e estabelecimentos teve precisão de aproximadamente 98% a 99%, sem chegar à perfeição.

A Norly financiou e realizou o estudo e vende ferramentas de gestão de avaliações e visibilidade em IA para negócios de hospitalidade. O autor declara esse interesse comercial e descreve as medidas de pré-registro e validação destinadas a proteger a pesquisa dessa influência. Essas medidas não eliminam o conflito comercial. A Obenan atua na mesma categoria. Por isso, essas evidências, incluindo a nossa interpretação, merecem o mesmo cuidado.