Obenan

Briefing · Onderzoek

De meeste zaken werden nooit door AI genoemd. Dit hing samen met genoemd worden.

Een studie bracht 4.776 cafés, restaurants en bars in twee gebieden op Bali in kaart en vroeg vier AI-systemen waar je kon eten en drinken. Minstens 85,6% werd door geen ervan ooit aanbevolen. Genoemd worden, bovenaan staan en juiste gegevens bleken afzonderlijke problemen.

Gepubliceerd Bijgewerkt

Elke stip staat voor ongeveer 48 van de 4.776 zaken. Norly’s preprint, de regio’s Canggu en Ubud, Engelse vragen.

Waarom je misschien ontbreekt

Eén kort antwoord kan vier verschillende problemen verbergen

Stel je een bezoeker twee straten verderop voor die een AI-assistent vraagt waar te eten. Die noemt vier zaken. Als de jouwe er niet bij staat, hoor je daar niets van: geen gemiste klik, geen klacht. En één antwoord kan niet vertellen welk van deze dingen misging.

  1. Opzoeken

    Heeft het systeem eerst gezocht?

    Sommige antwoorden worden geschreven na een actuele webzoekopdracht, andere alleen op basis van wat de AI al wist, wat verouderd kan zijn.

  2. Genoemd worden

    Werd je überhaupt genoemd?

    Het antwoord heeft plaats voor een handvol namen. De meeste zaken staan er niet bij.

  3. Bovenaan staan

    Waar verscheen je?

    Als eerste genoemd of als vierde? In deze studie hingen daar verschillende dingen mee samen.

  4. Juist zijn

    Klopten je gegevens nog?

    Openingstijden, adres, prijzen, of je nog open bent. Oude gegevens reizen ook mee.

Eén antwoord is één trekking: één systeem, één vraag, één plek, één taal, één moment.

Bali, één studie

De meeste zaken werden nooit genoemd

Een preprint, een artikel dat nog niet door vakgenoten is beoordeeld, bracht elk café, restaurant en elke bar in de regio’s Canggu en Ubud in kaart en vroeg vervolgens ChatGPT, Claude, Gemini en Perplexity waar je daar kon eten en drinken.

Aandeel zaken dat geen van de vier AI-systemen ooit aanbeval

  • Alle 4.776 zakenminstens 85,6%

  • Zaken met 50 of meer beoordelingen72,6%

Balken op een schaal tot 100%. Bron: Norly’s preprint (arXiv 2608.07069), de regio’s Canggu en Ubud, Engelse vragen, één week aan antwoorden.

Zelfs onder zaken met 50 of meer beoordelingen werden bijna drie op de vier nooit genoemd.

Waarom deze cijfers niet overdraagbaar zijn op jouw stad

Ze beschrijven deze zaken in deze twee gebieden, bevraagd in het Engels via voor ontwikkelaars beschikbare versies van de vier systemen die tijdens het antwoorden het web doorzoeken, niet de consumentenapps die mensen openen. Ze zijn geen norm voor een andere stad, taal, soort bedrijf of app.

Twee verschillende stappen

Genoemd worden en bovenaan staan hingen met verschillende dingen samen

In deze studie vielen de genoemde zaken en de zaken bovenaan om verschillende redenen op.

Genoemd worden hing samen met

  • Een eigen website hebben
  • Meer reviews
  • Een vermelde prijs
  • Elders op het web genoemd worden
  • Niet met de sterrenbeoordeling: die liet bij deze stap geen verband zien

Bovenaan staan hing samen met

  • Een hogere sterrenbeoordeling onder zaken die al genoemd werden
  • Meer reviews, die ook hier meetelden

Dit zijn verbanden, geen oorzaken. Geen ervan toont aan dat het wijzigen van een gegeven je een aanbeveling oplevert.

De cijfers achter deze vergelijking

De studie rapporteert oddsratio’s uit een aangepast model. Voor genoemd worden: reviewaantal 1,64, een eigen website 1,92, een vermelde prijs 1,54, vermeldingen elders op het web 1,44 en beoordeling 0,89, wat de auteur als geen verband interpreteert. Onder genoemde zaken hing beoordeling samen met de eerste positie bij 1,17.

Een oddsratio boven 1 betekent hogere odds binnen dat model. Het is geen winst in procentpunten en geen bewijs van een oorzaak.

Onjuiste gegevens

Verouderde zaken kwamen vaker voor dan verzonnen zaken

Bij 12.439 geldige vermeldingen van zaken controleerde de studie welke echt waren en nog open waren.

  • Norly’s preprint, één week aan antwoorden

    93

    aanbevelingen van zaken die definitief gesloten waren

    Ze betroffen 14 zaken waarvan definitieve sluiting was bevestigd.

  • Norly’s preprint, één week aan antwoorden

    10

    vermeldingen van één naam die nog steeds waarschijnlijk verzonnen werd geacht

    Dat is na controle 0,08% van de 12.439 geldige vermeldingen.

Houd openingstijden, adres, prijzen en sluitingen juist omdat klanten erop vertrouwen. Deze studie toont niet aan dat je daardoor genoemd wordt of dat iemand binnenkomt.

Hoever deze tellingen reiken

Beide aantallen zijn klein en komen uit één periode van zeven dagen. Ze vergelijken is geen rangschikking van schade. De studie registreerde wat de systemen zeiden, niet wat iemand daarna deed, en kan dus niet tonen wat elk soort fout een bedrijf kost.

Een tweede studie, Verenigde Staten

Zonder webzoekopdracht verzonnen twee AI-modellen de meeste aanbevelingen voor artsen en adviseurs

Een andere preprint controleerde AI-aanbevelingen voor artsen, zorginstellingen en financieel adviseurs in de 100 grootste Amerikaanse steden aan de hand van officiële overheidsregisters van aanbieders, met en zonder actuele webzoekopdracht.

Zonder webzoekopdracht

  • Slechts 4% van de aanbevolen artsen van het ene model en 11% van het andere kwam overeen met een echte arts in de gevraagde stad.
  • Aanbevolen adviesbedrijven hadden registraties van wangedrag tegen 3,6 keer het gebruikelijke percentage in het register, zelfs na correctie voor bedrijfsgrootte.
  • De echte aanbevelingen concentreerden zich in de grootste steden.

Met webzoekopdracht

  • 64–71% van de aanbevelingen in dezelfde vakgebieden kwam overeen met een echte, geregistreerde aanbieder.
  • Aanbevolen adviesbedrijven hadden minder registraties van wangedrag dan het gebruikelijke percentage in het register.
  • De matchpercentages waren vergelijkbaar voor de grootste en de kleinere van de 100 grootste Amerikaanse steden.

Of de assistent heeft gezocht hangt af van de uitvoering, niet van je bedrijf. Noteer het elke keer dat je controleert.

Details en beperkingen van de tweede studie

Drie opzetten werden vergeleken: een model met openbare gewichten dat iedereen kan downloaden en draaien, een gesloten model zonder webzoekopdracht en hetzelfde gesloten model met zoeken. De registers waren Medicare-gegevens van artsen en instellingen en SEC-openbaarmakingen van adviseurs. De weinige matches van het model met openbare gewichten leken toevallige naamovereenkomsten: de gekoppelde artsen waren niet vaker eerstelijnsartsen dan willekeurig getrokken namen.

Restaurants, afzonderlijk gemeten in dezelfde audit, lieten een drie- tot vijfvoudig voordeel zien in reviewaantal, maar hooguit een tiende ster voordeel in beoordeling.

Het is een preprint, betreft alleen de Verenigde Staten en noemt het geteste gesloten model niet. De studie vergelijkt opzetten in plaats van oorzaken te bewijzen.

Herhaal de vraag

Stel dezelfde vraag twee keer en de lijst verandert

De Bali-studie stelde elk systeem dezelfde vragen opnieuw. Gemiddeld kwam slechts een deel van de genoemde namen in de herhaalde antwoorden overeen.

Namen die twee antwoorden op dezelfde vraag gemeen hadden, van alle namen die in minstens één ervan stonden

  • Claude, het minst consistent22%

  • Gemini, het meest consistent45%

Gemiddelde overlap tussen herhaalde uitvoeringen, op een schaal tot 100%. ChatGPT en Perplexity zaten ertussen. Claude werd 3 keer per vraag uitgevoerd met maximaal twee zoekopdrachten, Gemini 5 keer. Bron: Norly’s preprint.

Eén antwoord is een momentopname. Controleer meer dan één keer en met meer dan één systeem voordat je een conclusie trekt.

Hoe de studie werd uitgevoerd

De belangrijkste, vooraf geregistreerde verzameling omvatte 2.208 uitvoeringen over zeven dagen met 96 Engelse vragen, elk geformuleerd vanuit een bepaald type bezoeker. Perplexity werd 10 keer per vraag uitgevoerd, ChatGPT en Gemini 5 keer en Claude 3 keer, met Claude beperkt tot twee zoekopdrachten per uitvoering.

De studie meet deze overlap als gemiddelde Jaccard-gelijkenis, van 0,22 voor Claude tot 0,45 voor Gemini. Na correcties slaagde 91,5% van de uitvoeringen voor de strenge geldigheidscontrole en het koppelen van namen in antwoorden aan echte zaken was ongeveer 98% tot 99% nauwkeurig. Tussen verschillende systemen liep de overlap van de top 20 zaken van 33% tot 54%. Een hertest twee weken later veranderde ongeveer evenveel als herhalingen binnen de oorspronkelijke week. De auteur schrijft dat toe aan toevallige variatie tussen uitvoeringen in plaats van verandering door de tijd.

Norly financierde en voerde de studie uit en verkoopt tools voor reviewbeheer en AI-zichtbaarheid aan horecabedrijven. De auteur maakt dit bekend en beschrijft stappen om het werk af te schermen. Die nemen het belangenconflict niet weg.

Wat je kunt doen

Zes gewoonten om te controleren waar je staat

  1. Controleer elke stap apart

    Bekijk zoeken, genoemd worden, positie en juiste gegevens apart. Eén gecombineerde score verbergt welk onderdeel veranderde.

  2. Leg vast hoe je controleerde

    Het systeem, de app of versie, of er werd gezocht, de vraag, taal, plaats en datum, plus het antwoord en de volgorde van de namen.

  3. Vraag meer dan één keer

    Gebruik meerdere uitvoeringen, formuleringen en systemen. Behandel een handvol antwoorden als een momentopname, niet als een oordeel.

  4. Houd je openbare gegevens actueel

    Klanten gebruiken je openingstijden, adres, prijzen en sluitingen. Houd ze om die reden juist, niet als truc voor rangschikking.

  5. Controleer officiële vermeldingen over je bedrijf

    Een ontbrekende, verouderde of dubbele vermelding in een officieel register is een ander probleem dan niet genoemd worden, en iets dat je zelf kunt oplossen.

  6. Meet klanten ergens anders

    Verschijnen in een antwoord is geen bezoek of verkoop. Tel die in je eigen boekingen en kassa.

Bronnen

Waar dit op gebaseerd is

Twee preprints, artikelen die nog niet door vakgenoten zijn beoordeeld. Norly financierde de Bali-studie en verkoopt tools in dezelfde categorie als Obenan, dus lees zowel de bevindingen als onze samenvatting zorgvuldig. Obenan heeft geen partnerschap, integratie, pilot of relatie voor bijzondere toegang met de auteurs, Norly, arXiv, ChatGPT, Claude, Gemini, Perplexity of hun aanbieders en wordt door geen van deze partijen aanbevolen.

  1. arXiv abstract and submission record

    arXiv Ingediend Gecontroleerd

    Het indieningsrecord van de Bali-studie.

  2. Full arXiv HTML paper

    arXiv Ingediend Gecontroleerd

    Methoden, voorafgaande registratie, resultaten, validatie, beperkingen, financiering en de verklaring van mogelijke belangenconflicten. Opnieuw gecontroleerd op 2 september 2026.

  3. Understanding AI Provider Recommendations in Local Service Markets

    arXiv, Hazem Ibrahim and Yasir Zaki Ingediend Gecontroleerd

    De Amerikaanse registeraudit die antwoorden met en zonder webzoekopdracht vergelijkt.

Eerdere editie

AI-zichtbaarheid versus Google Maps: restaurantstudie

Deze briefing bouwt voort op Obenans eigen eendaagse waarneming in Amsterdam, Berlijn en Barcelona, die een eigen pagina behoudt. Die waarneming staat los van de Bali-studie en wordt er niet mee gecombineerd.

Lees de eerdere editie
Terug naar alle briefings