Auf der Liste zu stehen ist nicht dasselbe wie ausgewählt zu werden

Wenn Ihr Betrieb in einer Antwort fehlt oder vorkommt, aber falsch beschrieben wird, können mindestens drei unterschiedliche Dinge schiefgelaufen sein:

Getrennte Probleme brauchen getrennte Lösungen. Eine einzige Antwort sagt Ihnen nicht, welches davon Sie haben. Eine Antwort ist eine einzelne Stichprobe aus einem System, zu einer Frage, an einem Ort, in einer Sprache und zu einem Zeitpunkt.

In dieser Studie hing die Aufnahme in eine Antwort damit zusammen, wie gut ein Betrieb dokumentiert war: eigene Website, Zahl der Bewertungen, angegebener Preis, Erwähnungen an anderen Stellen im Web. Die Sternebewertung zeigte bei diesem ersten Schritt keinen Zusammenhang. Unter den bereits in Antworten aufgenommenen Betrieben hing die Bewertung dagegen mit einer Nennung an erster Stelle zusammen. Die Zahl der Bewertungen spielte auch dort weiterhin eine Rolle.

Eng gelesen lautet der Befund: Aufnahme und Rang verhielten sich wie zwei verschiedene Ergebnisse und müssen getrennt gemessen werden. Keiner dieser Zusammenhänge zeigt, dass das Ändern einer Angabe eine Empfehlung bewirkt.

Die Arbeit ist ein öffentlich zugänglicher Preprint und hat kein Peer-Review-Verfahren durchlaufen. Die bestätigende Erhebungswelle umfasste 2.208 Durchläufe über sieben Tage und ergab 12.439 gültige Betriebsnennungen. Dabei wurden 96 englischsprachige, auf unterschiedliche Nutzerprofile zugeschnittene Fragen über suchgestützte APIs an ChatGPT, Claude, Gemini und Perplexity gestellt, nicht über deren Verbraucher-Apps. Studiendesign, Hypothesen und Analyseplan wurden vor der bestätigenden Datenerhebung öffentlich präregistriert. Dadurch lassen sich geplante Tests leichter von Erklärungen unterscheiden, die erst nach Sichtung der Ergebnisse gewählt wurden.

Die Zusammenhänge bei der Aufnahme werden als Odds Ratios (Chancenverhältnisse) aus einem angepassten Modell angegeben: Zahl der Bewertungen 1,64, eigene Website 1,92, angegebener Preis 1,54, Erwähnungen auf fremden Websites 1,44 und Bewertung 0,89. Letzteres deutet der Autor an diesem Schritt als Nullbefund. Innerhalb der Antworten hing die Bewertung mit dem ersten Platz zusammen, Odds Ratio 1,17. Eine Odds Ratio über 1 bedeutet höhere Chancen innerhalb dieses Modells. Sie ist kein Zuwachs in Prozentpunkten und kein Beleg für eine Ursache.

Auch die Wiederholbarkeit wurde gemessen, und die Zahlen lassen sich leicht falsch lesen. Dieselbe Frage an dasselbe System ergab bei Wiederholung eine deutlich andere Auswahl an Betrieben: Die mittlere Jaccard-Ähnlichkeit zwischen wiederholten Durchläufen reichte von 0,22 bei Claude bis 0,45 bei Gemini. Die Jaccard-Ähnlichkeit ist der Anteil der Betriebe, die zwei Listen gemeinsam haben, bezogen auf alle Betriebe, die in mindestens einer der beiden Listen vorkommen. 1 bedeutet also identische Listen, 0 keinerlei Überschneidung. Ein Mittelwert von 0,30 bedeutet demnach, dass sich ein typisches Paar von Durchläufen bei ungefähr einem Drittel der insgesamt genannten Betriebe überschnitt. Er bedeutet nicht, dass in 30% der Fälle dieselbe Antwort zurückkam. Auf dieselbe Weise gemessen lag die Überschneidung der jeweils 20 meistgenannten Betriebe zwischen verschiedenen Systemen bei 0,33 bis 0,54. Bei einem erneuten Test zwei Wochen später wechselten ähnlich viele Betriebe wie bei Wiederholungen innerhalb des ursprünglichen Zeitraums. Der Autor führt das auf Zufallsschwankungen zurück, nicht auf Veränderungen über die Zeit.

Auch das Messverfahren hatte Grenzen. Die Anzahl der Wiederholungen unterschied sich nach System: Perplexity wurde pro Frage 10-mal aufgerufen, ChatGPT und Gemini jeweils 5-mal, Claude 3-mal. Der Zugriff auf Claude war auf zwei Suchvorgänge pro Durchlauf begrenzt. Streng gemessen waren nach Nachbesserungen 91,5% der Durchläufe gültig. Die Zuordnung von Nennungen zu Betrieben war mit ungefähr 98% bis 99% Genauigkeit nicht perfekt.

Norly finanzierte die Studie und führte sie durch. Norly verkauft Tools für Bewertungsmanagement und KI-Sichtbarkeit an Betriebe des Gastgewerbes. Der Autor legt diesen Interessenkonflikt offen und beschreibt die Präregistrierung und Validierungsschritte, die die Arbeit dagegen absichern sollen. Diese Schritte beseitigen den kommerziellen Konflikt nicht. Obenan arbeitet in derselben Kategorie. Deshalb verdient diese Evidenz einschließlich unserer Einordnung dieselbe Sorgfalt.