Op de lijst staan is niet hetzelfde als gekozen worden

Als je zaak niet in een antwoord staat, of wel wordt genoemd maar verkeerd wordt beschreven, kunnen er minstens drie verschillende dingen zijn misgegaan:

Verschillende problemen vragen om verschillende oplossingen. Eén antwoord kan je niet vertellen welk probleem je hebt. Het is één uitkomst van één systeem, één vraag, één plaats, één taal en één moment.

In dit onderzoek hing opname in een antwoord samen met de beschikbare informatie: een eigen website, het aantal reviews, een vermelde prijs en vermeldingen elders op het web. De sterrenbeoordeling liet bij die eerste stap geen verband zien. Bij zaken die al in een antwoord stonden, hing de sterrenbeoordeling wel samen met de eerste positie. Het aantal reviews bleef daar ook van belang.

Lees dit niet ruimer dan het is: opname en positie gedroegen zich als twee verschillende uitkomsten en moeten afzonderlijk worden gemeten. Geen van deze verbanden laat zien dat een wijziging in een gegeven een aanbeveling veroorzaakt.

Het artikel is een openbare voorpublicatie en is niet door vakgenoten beoordeeld. De bevestigende meetronde omvatte 2.208 uitvoeringen over zeven dagen en leverde 12.439 geldige vermeldingen van zaken op. Er werden 96 Engelstalige vragen gebruikt, afgestemd op gebruikersprofielen en gesteld aan ChatGPT, Claude, Gemini en Perplexity via API's die webzoekresultaten gebruiken, niet via hun consumentenapps. De opzet, hypotheses en het analyseplan waren openbaar vooraf geregistreerd voordat de bevestigende gegevens werden verzameld. Daardoor zijn geplande toetsen beter te onderscheiden van verklaringen die na het zien van de resultaten zijn gekozen.

De verbanden met opname zijn gerapporteerd als oddsratio's uit een geschat model: aantal reviews 1,64, een eigen website 1,92, een vermelde prijs 1,54, vermeldingen op websites van derden 1,44 en sterrenbeoordeling 0,89. Dat laatste leest de auteur als geen verband bij die stap. Binnen antwoorden hing de sterrenbeoordeling samen met de eerste positie, met een oddsratio van 1,17. Een oddsratio boven 1 betekent een hogere kansverhouding binnen dat model. Het is geen winst in procentpunten en geen bewijs van oorzaak en gevolg.

Ook herhaalbaarheid werd gemeten, en die cijfers zijn gemakkelijk verkeerd te lezen. Dezelfde vraag opnieuw aan hetzelfde systeem stellen leverde een duidelijk andere verzameling zaken op: de gemiddelde Jaccard-gelijkenis tussen herhaalde uitvoeringen liep van 0,22 voor Claude tot 0,45 voor Gemini. Jaccard-gelijkenis is het aandeel zaken dat twee lijsten gemeen hebben ten opzichte van alle verschillende zaken die op een van beide lijsten staan. Een waarde van 1 betekent dat de lijsten identiek zijn; 0 betekent dat ze niets gemeen hebben. Een gemiddelde van 0,30 zegt dus dat een doorsnee paar uitvoeringen ongeveer een derde van de betrokken namen deelde. Het zegt niet dat in 30% van de gevallen hetzelfde antwoord terugkwam. Op dezelfde manier gemeten liep de overlap tussen de eerste 20 zaken van verschillende systemen van 0,33 tot 0,54. Een hertest twee weken later liet vergelijkbare wisselingen zien als herhalingen binnen de oorspronkelijke periode. De auteur schrijft dat toe aan steekproefvariatie, niet aan verandering in de tijd.

De meetopzet had eigen beperkingen. Het aantal herhalingen verschilde per systeem: Perplexity werd 10 keer per vraag uitgevoerd, ChatGPT en Gemini 5 keer, en Claude 3 keer. Bij Claude gold een limiet van twee zoekacties per uitvoering. Na herstelmaatregelen voldeed 91,5% van de uitvoeringen aan de strenge geldigheidscriteria. Het koppelen van namen aan de juiste zaken was ongeveer 98% tot 99% nauwkeurig, niet foutloos.

Norly financierde het onderzoek en voerde het uit. Norly verkoopt software voor reviewbeheer en AI-zichtbaarheid aan horecabedrijven. De auteur meldt dat commerciële belang en beschrijft de voorafgaande registratie en validatiestappen die het onderzoek daartegen moeten beschermen. Die stappen laten het commerciële belangenconflict niet verdwijnen. Obenan werkt in dezelfde categorie. Daarom verdient deze onderbouwing, inclusief onze lezing ervan, dezelfde zorgvuldigheid.