Briefing · Forschung
Die meisten Orte wurden von KI nie genannt. Das hing mit einer Nennung zusammen.
Eine Studie erfasste 4.776 Cafés, Restaurants und Bars in zwei Gebieten Balis und fragte vier KI-Systeme, wo man essen und trinken könne. Mindestens 85,6 % wurden von keinem davon jemals empfohlen. Genannt zu werden, zuerst zu erscheinen und korrekt beschrieben zu werden erwiesen sich als getrennte Probleme.
Veröffentlicht Aktualisiert
Warum Sie fehlen könnten
Eine kurze Antwort kann vier unterschiedliche Probleme verbergen
Stellen Sie sich einen Besucher zwei Straßen weiter vor, der einen KI-Assistenten fragt, wo er essen soll. Der Assistent nennt vier Orte. Wenn Ihrer nicht dabei ist, erfahren Sie davon nichts: kein entgangener Klick, keine Beschwerde. Und eine Antwort zeigt nicht, welcher dieser Punkte schiefging.
Nachschlagen
Hat das System zuerst gesucht?
Manche Antworten entstehen nach einer aktuellen Websuche, andere nur aus dem Vorwissen der KI, das veraltet sein kann.
Genannt werden
Wurden Sie überhaupt genannt?
Die Antwort bietet Platz für eine Handvoll Namen. Die meisten Orte sind nicht darunter.
Zuerst erscheinen
An welcher Stelle erschienen Sie?
Zuerst genannt oder als Vierter? In dieser Studie hing beides mit unterschiedlichen Dingen zusammen.
Richtig liegen
Stimmten Ihre Angaben noch?
Öffnungszeiten, Adresse, Preise, ob Sie noch geöffnet haben. Auch veraltete Angaben verbreiten sich.
Eine Antwort ist eine einzelne Stichprobe: ein System, eine Frage, ein Ort, eine Sprache, ein Zeitpunkt.
Bali, eine Studie
Die meisten Orte wurden nie genannt
Ein Preprint, also eine noch nicht fachlich begutachtete Arbeit, erfasste jedes Café, Restaurant und jede Bar im Großraum Canggu und Ubud. Anschließend wurden ChatGPT, Claude, Gemini und Perplexity gefragt, wo man dort essen und trinken könne.
Anteil der Betriebe, die keines der vier KI-Systeme jemals empfohlen hat
Alle 4.776 Betriebemindestens 85,6 %
Betriebe mit mindestens 50 Bewertungen72,6 %
Selbst unter Betrieben mit mindestens 50 Bewertungen wurden fast drei von vier nie genannt.
Warum diese Zahlen nicht auf Ihre Stadt übertragbar sind
Sie beschreiben diese Betriebe in diesen beiden Gebieten, bei englischen Fragen, mit Entwicklerversionen der vier Systeme, die beim Antworten das Web aktuell durchsuchen, nicht mit den von Verbrauchern geöffneten Apps. Sie sind kein Maßstab für andere Städte, Sprachen, Unternehmensarten oder Apps.
Zwei unterschiedliche Schritte
Genannt zu werden und zuerst zu erscheinen hingen mit unterschiedlichen Dingen zusammen
In dieser Studie fielen die genannten Orte und die erstplatzierten Orte durch unterschiedliche Eigenschaften auf.
Eine Nennung hing zusammen mit
- Einer eigenen Website
- Mehr Rezensionen
- Einer Preisangabe
- Erwähnungen andernorts im Web
- Nicht mit der Sternebewertung: Hier zeigte sich kein Zusammenhang
Der erste Platz hing zusammen mit
- Einer höheren Sternebewertung unter den bereits genannten Orten
- Mehr Rezensionen, die auch hier eine Rolle spielten
Das sind Zusammenhänge, keine Ursachen. Keiner davon zeigt, dass eine geänderte Angabe zu einer Empfehlung führt.
Die Zahlen hinter dem Vergleich
Die Studie berichtet Odds Ratios aus einem angepassten Modell. Für eine Nennung: Rezensionszahl 1,64, eigene Website 1,92, Preisangabe 1,54, Erwähnungen andernorts im Web 1,44 und Sternebewertung 0,89, was der Autor als fehlenden Zusammenhang einordnet. Unter genannten Orten hing die Sternebewertung mit dem ersten Platz bei 1,17 zusammen.
Eine Odds Ratio über 1 bedeutet höhere Chancen innerhalb dieses Modells. Sie ist kein Gewinn in Prozentpunkten und kein Beleg für eine Ursache.
Falsche Angaben
Veraltete Orte kamen häufiger vor als erfundene
Bei 12.439 gültigen Nennungen von Betrieben prüfte die Studie, welche Orte real und noch geöffnet waren.
Norlys Preprint, Antworten aus einer Woche
93
Empfehlungen dauerhaft geschlossener Orte
Sie betrafen 14 als dauerhaft geschlossen bestätigte Betriebe.
Norlys Preprint, Antworten aus einer Woche
10
Nennungen eines Namens, der weiterhin als wahrscheinlich erfunden galt
Nach Prüfung entspricht das 0,08 % der 12.439 gültigen Nennungen.
Halten Sie Öffnungszeiten, Adresse, Preise und Schließungen korrekt, weil Kunden sich darauf verlassen. Diese Studie zeigt nicht, dass Sie dadurch genannt werden oder jemand vorbeikommt.
Wie weit diese Zählungen reichen
Beide Zählungen sind klein und stammen aus einem einzigen Siebentagefenster. Ihr Vergleich ist keine Rangfolge des Schadens. Die Studie erfasste, was die Systeme sagten, nicht, was jemand danach tat. Sie zeigt daher nicht, was eine der beiden Fehlerarten ein Unternehmen kostet.
Eine zweite Studie, USA
Ohne Websuche erfanden zwei KI-Modelle die meisten Empfehlungen für Ärzte und Berater
Ein weiterer Preprint prüfte KI-Empfehlungen für Ärzte, Pflegeeinrichtungen und Finanzberater in den 100 größten US-Städten anhand offizieller staatlicher Anbieterregister, mit und ohne aktuelle Websuche.
Ohne Websuche
- Nur 4 % der von einem Modell empfohlenen Ärzte und 11 % beim anderen entsprachen einer realen ärztlichen Fachkraft in der angefragten Stadt.
- Empfohlene Beratungsfirmen wiesen Fehlverhaltensmeldungen mit dem 3,6-Fachen der üblichen Registerquote auf, selbst nach Bereinigung um die Firmengröße.
- Die realen Empfehlungen konzentrierten sich auf die größten Städte.
Mit Websuche
- 64–71 % der Empfehlungen in denselben Bereichen entsprachen einem realen, registrierten Anbieter.
- Empfohlene Beratungsfirmen lagen bei Fehlverhaltensmeldungen unter der üblichen Registerquote.
- Die Trefferquoten waren in den größten und den kleineren der 100 größten US-Städte ähnlich.
Ob der Assistent gesucht hat, hängt vom Durchlauf ab, nicht von Ihrem Unternehmen. Halten Sie es bei jeder Prüfung fest.
Details und Grenzen der zweiten Studie
Verglichen wurden drei Konfigurationen: ein Modell mit offenen Gewichten, das jeder herunterladen und ausführen kann, ein proprietäres Modell ohne Websuche und dasselbe proprietäre Modell mit Suche. Als Register dienten Medicare-Datensätze zu medizinischen Fachkräften und Einrichtungen sowie SEC-Offenlegungen von Beratern. Die wenigen Treffer des Modells mit offenen Gewichten wirkten wie Namenszufälle: Unter den zugeordneten Ärzten waren Hausärzte nicht wahrscheinlicher als bei zufällig gezogenen Namen.
Restaurants, die in derselben Untersuchung separat gemessen wurden, zeigten einen drei- bis fünffachen Vorsprung bei der Rezensionszahl, aber höchstens ein Zehntel Stern bei der Bewertung.
Es handelt sich um einen Preprint, der nur die USA abdeckt und das getestete proprietäre Modell nicht nennt. Er vergleicht Konfigurationen, statt Ursachen zu beweisen.
Die Frage wiederholen
Stellen Sie dieselbe Frage zweimal, und die Liste verändert sich
Die Bali-Studie stellte jedem System dieselben Fragen erneut. Im Durchschnitt stimmte nur ein Teil der genannten Namen in den wiederholten Antworten überein.
Gemeinsame Namen zweier Antworten auf dieselbe Frage, bezogen auf alle Namen in mindestens einer der beiden Antworten
Claude, am wenigsten beständig22 %
Gemini, am beständigsten45 %
Eine Antwort ist eine Momentaufnahme. Prüfen Sie mehrmals und mit mehr als einem System, bevor Sie Schlüsse ziehen.
Wie die Studie durchgeführt wurde
Die vorab registrierte Haupterhebung umfasste 2.208 Durchläufe über sieben Tage mit 96 englischen Fragen, jeweils aus Sicht eines bestimmten Besuchertyps formuliert. Perplexity lief 10-mal je Frage, ChatGPT und Gemini 5-mal und Claude 3-mal, wobei Claude auf zwei Suchen je Durchlauf begrenzt war.
Die Studie misst diese Überlappung als mittlere Jaccard-Ähnlichkeit, von 0,22 bei Claude bis 0,45 bei Gemini. Nach Korrekturen bestanden 91,5 % der Durchläufe die strenge Gültigkeitsprüfung. Die Zuordnung von Namen in Antworten zu realen Betrieben war zu etwa 98 % bis 99 % korrekt. Zwischen verschiedenen Systemen lag die Überlappung der Top-20-Betriebe zwischen 33 % und 54 %. Ein erneuter Test zwei Wochen später veränderte die Ergebnisse ungefähr so stark wie Wiederholungen innerhalb der ursprünglichen Woche. Der Autor führt dies auf zufällige Schwankungen zwischen Durchläufen zurück, nicht auf Veränderungen über die Zeit.
Norly finanzierte und führte die Studie durch und verkauft Werkzeuge für Rezensionsmanagement und KI-Sichtbarkeit an Gastronomiebetriebe. Der Autor legt dies offen und beschreibt Maßnahmen zur Abschirmung der Forschung. Diese beseitigen den Interessenkonflikt nicht.
Was Sie tun können
Sechs Gewohnheiten, um Ihren Stand zu prüfen
Prüfen Sie jeden Schritt einzeln
Betrachten Sie Suche, Nennung, Position und korrekte Angaben getrennt. Eine Gesamtbewertung verbirgt, was sich verändert hat.
Halten Sie Ihre Prüfmethode fest
System, App oder Version, ob gesucht wurde, Frage, Sprache, Ort und Datum sowie Antwort und Reihenfolge der Namen.
Fragen Sie mehr als einmal
Nutzen Sie mehrere Durchläufe, Formulierungen und Systeme. Betrachten Sie eine Handvoll Antworten als Momentaufnahme, nicht als Urteil.
Halten Sie Ihre öffentlichen Angaben aktuell
Kunden nutzen Ihre Öffnungszeiten, Adresse, Preise und Schließungsangaben. Halten Sie sie deshalb korrekt, nicht als Rankingtrick.
Prüfen Sie offizielle Einträge über Ihr Unternehmen
Ein fehlender, veralteter oder doppelter Eintrag in einem offiziellen Register ist ein anderes Problem als eine fehlende Nennung, und eines, das Sie selbst beheben können.
Messen Sie Kunden an anderer Stelle
In einer Antwort zu erscheinen ist kein Besuch oder Verkauf. Zählen Sie diese in Ihrem eigenen Buchungssystem und an der Kasse.
Weiterlesen
Verwandte Briefings und nächste Schritte
Drei verwandte Briefings und ein Ausgangspunkt für Ihr eigenes Unternehmen.
- Ihr Unternehmen wurde in einer KI-Antwort genannt. Ist jemand vorbeigekommen?Eine Erwähnung ist ein Ereignis, ein Kunde ein anderes. Zählen Sie Besuche, Buchungen und Verkäufe in Ihren eigenen Systemen.Briefing lesen
- Jeder kann Änderungen an Ihrem Google-Eintrag vorschlagen. Sorgen Sie dafür, dass Ihre richtigen Angaben Bestand haben.Google ergänzte im April 2026 neue Schutzmaßnahmen für Änderungen an Unternehmensprofilen. Halten Sie Ihre eigenen Angaben korrekt und achten Sie auf Änderungen.Signal lesen
- Laut Google startet seine KI-Suche in Frankreich. Das bedeutet nicht, dass sie Ihr Unternehmen zeigt.Teilnahmeberechtigung, Erscheinen, Quellenzitat, Empfehlung und Kundenaktion sind getrennte Zustände. Prüfen Sie jeden einzeln.Signal lesen
- Prüfen Sie Ihre KI-PräsenzSehen Sie, was KI-Antworten heute über Ihr Unternehmen sagen.Zum Check
- Infrastruktur für UnternehmenDie Unternehmensangaben und verbindlichen Zusagen, auf die KI-Agenten angewiesen sind, direkt an der Quelle korrekt gehalten.So funktioniert es
Quellen
Worauf dieser Beitrag beruht
Zwei Preprints, also noch nicht fachlich begutachtete Arbeiten. Norly finanzierte die Bali-Studie und verkauft Werkzeuge derselben Kategorie wie Obenan. Lesen Sie deshalb sowohl die Ergebnisse als auch unsere Zusammenfassung aufmerksam. Obenan hat keine Partnerschaft, Integration, kein Pilotprojekt und keine Vereinbarung über besonderen Zugang mit den Autoren, Norly, arXiv, ChatGPT, Claude, Gemini, Perplexity oder ihren Anbietern und wird von keiner dieser Parteien empfohlen.
- arXiv abstract and submission record
arXiv Eingereicht Geprüft
Der Einreichungsnachweis der Bali-Studie.
- Full arXiv HTML paper
arXiv Eingereicht Geprüft
Methoden, Vorabregistrierung, Ergebnisse, Validierung, Grenzen, Finanzierung und Erklärung möglicher Interessenkonflikte. Erneut geprüft am 2. September 2026.
- Understanding AI Provider Recommendations in Local Service Markets
arXiv, Hazem Ibrahim and Yasir Zaki Eingereicht Geprüft
Die US-Registerprüfung mit einem Vergleich von Antworten mit und ohne Websuche.