Entrar en la lista no es lo mismo que ser elegido

Si tu local no aparece en una respuesta, o aparece descrito de forma incorrecta, pueden haber fallado al menos tres cosas distintas:

Problemas distintos, soluciones distintas. Una sola respuesta no te dice cuál tienes. Es un único resultado de un sistema, una pregunta, un lugar, un idioma y un momento.

En este estudio, aparecer en una respuesta estaba asociado con la información disponible sobre el negocio: una web propia, el volumen de reseñas, un precio publicado y menciones en otras webs. La puntuación por estrellas no mostró asociación en ese primer paso. Entre los locales que ya aparecían, la puntuación sí estaba asociada con la primera posición, y el volumen de reseñas seguía siendo relevante.

Conviene no leer más de lo que hay: entrar y ocupar una posición se comportaron como dos resultados diferentes y deben medirse por separado. Ninguna de estas asociaciones demuestra que cambiar un dato provoque una recomendación.

El artículo es una versión preliminar pública y no ha pasado por revisión por pares. La fase confirmatoria abarcó 2.208 ejecuciones durante siete días y produjo 12.439 menciones válidas de locales. Se utilizaron 96 consultas en inglés adaptadas a perfiles de usuario y dirigidas a ChatGPT, Claude, Gemini y Perplexity mediante API con búsqueda web, no mediante sus aplicaciones de consumo. El diseño, las hipótesis y el plan de análisis se prerregistraron públicamente antes de recopilar los datos confirmatorios. Así resulta más fácil distinguir las pruebas previstas de las explicaciones elegidas después de ver los resultados.

Las asociaciones con la entrada se expresan como razones de posibilidades, también llamadas odds ratios, de un modelo ajustado: volumen de reseñas, 1,64; web propia, 1,92; precio publicado, 1,54; menciones en webs de terceros, 1,44; y puntuación, 0,89, que el autor interpreta como una asociación nula en ese paso. Dentro de las respuestas, la puntuación se asoció con la primera posición con un valor de 1,17. Una razón de posibilidades superior a 1 indica mayores posibilidades relativas dentro de ese modelo. No es una ganancia en puntos porcentuales ni evidencia de causalidad.

También se midió la repetibilidad, y las cifras pueden malinterpretarse. Al hacer de nuevo la misma pregunta al mismo sistema, este devolvía un conjunto de locales sustancialmente distinto: la similitud media de Jaccard entre ejecuciones repetidas iba de 0,22 para Claude a 0,45 para Gemini. La similitud de Jaccard es la proporción de locales que comparten dos listas respecto al total de locales distintos que aparece en cualquiera de ellas. Un valor de 1 significa que las listas son idénticas; 0, que no comparten ninguno. Por tanto, una media de 0,30 indica que un par típico de ejecuciones compartía aproximadamente un tercio de los nombres considerados. No significa que se obtuviera la misma respuesta el 30% de las veces. Medido del mismo modo, el solapamiento entre los 20 primeros locales de sistemas diferentes iba de 0,33 a 0,54. Una nueva prueba dos semanas después produjo una rotación de nombres comparable a la de las repeticiones dentro del periodo original, algo que el autor atribuye a la variación del muestreo y no al cambio a lo largo del tiempo.

El método de medición tenía sus propios límites. El número de repeticiones variaba por sistema: Perplexity se ejecutó 10 veces por consulta, ChatGPT y Gemini 5 veces, y Claude 3 veces. En el caso de Claude, cada ejecución estaba limitada a dos búsquedas. Tras las correcciones, la validez según el criterio estricto por ejecución fue del 91,5%. La identificación de los locales tuvo una precisión aproximada del 98% al 99%, no perfecta.

Norly financió y realizó el estudio, y vende herramientas de gestión de reseñas y visibilidad en IA para negocios de hostelería. El autor declara ese interés comercial y describe las medidas de prerregistro y validación destinadas a proteger la independencia del trabajo. Esas medidas no hacen desaparecer el conflicto comercial. Obenan trabaja en la misma categoría, por lo que esta evidencia, incluida nuestra interpretación, merece el mismo cuidado.