Entrar na lista não é o mesmo que ser escolhido

Se o seu estabelecimento não aparece na resposta, ou aparece descrito de forma errada, pelo menos três coisas diferentes podem ter corrido mal:

Problemas diferentes exigem correções diferentes, e uma resposta isolada não permite saber qual deles está em causa. É apenas uma amostra de um sistema, uma pergunta, um lugar, uma língua e um momento.

Neste estudo, a entrada numa resposta esteve associada à documentação: site próprio, volume de avaliações, preço indicado e menções noutros pontos da web. A classificação por estrelas não mostrou associação nessa primeira fase. Entre os estabelecimentos que já tinham entrado numa resposta, a classificação esteve associada à primeira posição, e o volume de avaliações continuou a contar também nessa fase.

A conclusão deve ser restrita: entrada e posição comportaram-se como resultados distintos e precisam de ser medidas separadamente. Nenhuma destas associações mostra que alterar um campo provoque uma recomendação.

O artigo é uma pré-publicação pública e ainda não foi revisto por pares. A sua fase confirmatória abrangeu 2.208 execuções ao longo de sete dias e produziu 12.439 menções válidas a estabelecimentos. Utilizou 96 perguntas em inglês adaptadas a perfis de utilizador, colocadas ao ChatGPT, Claude, Gemini e Perplexity através de APIs apoiadas em pesquisa, não das suas aplicações para consumidores. O desenho, as hipóteses e o plano de análise foram pré-registados publicamente antes da recolha dos dados confirmatórios. Isto ajuda a distinguir os testes planeados das explicações escolhidas depois de conhecidos os resultados.

As associações com a entrada são apresentadas como razões de chances de um modelo estatístico ajustado: volume de avaliações, 1,64; site próprio, 1,92; preço indicado, 1,54; menções na web por terceiros, 1,44; e classificação, 0,89, que o autor interpreta como uma associação nula nessa fase. Dentro das respostas, a classificação esteve associada à primeira posição com uma razão de chances de 1,17. Uma razão de chances superior a 1 significa chances maiores dentro desse modelo. Não é um ganho em pontos percentuais nem uma prova de causalidade.

Também foi medida a repetibilidade, e é fácil ler mal estes números. Colocar novamente a mesma pergunta ao mesmo sistema devolveu um conjunto substancialmente diferente de estabelecimentos: a semelhança média de Jaccard entre execuções repetidas variou de 0,22 no Claude a 0,45 no Gemini. Esta medida é a proporção de estabelecimentos comuns às duas listas em relação a todos os estabelecimentos que qualquer uma delas menciona. Assim, 1 significa que as listas são idênticas e 0 que não têm nenhum nome em comum. Uma média de 0,30 diz, portanto, que o par típico de execuções partilhou cerca de um terço dos nomes envolvidos. Não significa que a mesma resposta tenha voltado em 30% das vezes. Medida da mesma forma, a sobreposição entre os primeiros 20 estabelecimentos de sistemas diferentes variou de 0,33 a 0,54. Uma nova medição duas semanas depois produziu uma mudança de nomes comparável à das repetições dentro do período original. O autor atribui-a à variação da amostragem, não a uma alteração ao longo do tempo.

O instrumento tinha as suas próprias limitações. O número de repetições diferia por sistema: Perplexity, 10 vezes por pergunta; ChatGPT e Gemini, 5; e Claude, 3. O percurso usado pelo Claude estava limitado a duas pesquisas por execução. Após correções, a validade segundo os critérios estritos por execução foi de 91,5%, e a correspondência entre nomes e estabelecimentos teve uma exatidão aproximada de 98% a 99%, sem ser perfeita.

A Norly financiou e realizou o estudo e vende ferramentas de gestão de avaliações e visibilidade em IA a negócios de hotelaria e restauração. O autor declara esse interesse comercial e descreve as medidas de pré-registo e validação destinadas a proteger o trabalho dessa influência. Essas medidas não eliminam o conflito comercial. A Obenan atua na mesma categoria. Esta evidência, incluindo a nossa leitura, merece por isso o mesmo cuidado.