Listede yer almak, seçilmekle aynı şey değildir

İşletmeniz bir yanıtta yoksa veya var ama yanlış anlatılıyorsa en az üç farklı şey ters gitmiş olabilir:

Farklı sorunlar farklı çözümler gerektirir. Tek bir yanıt, hangisiyle karşı karşıya olduğunuzu söyleyemez. Bir yanıt, tek bir sistemden, tek bir soru, yer, dil ve an için alınmış yalnızca bir örnektir.

Bu çalışmada yanıta girmeyle birlikte görülen unsurlar, işletme hakkındaki bilgilerin belgelenmesiyle ilgiliydi: kendi web sitesinin olması, değerlendirme sayısı, belirtilmiş bir fiyat ve web'in başka yerlerinde adının geçmesi. Yıldız puanıyla bu ilk aşama arasında bir ilişki görülmedi. Bir yanıta zaten girmiş işletmeler arasında ise puan, ilk sırada görünmeyle ilişkiliydi. Değerlendirme sayısı da o aşamada önemini koruyordu.

Dar anlamıyla okunduğunda sonuç şu: Yanıta girme ve sıralama iki farklı sonuç gibi davranıyor ve ayrı ölçülmeleri gerekiyor. Bu ilişkilerin hiçbiri, bir bilgi alanını değiştirmenin tavsiyeye yol açtığını göstermiyor.

Makale, kamuya açık bir ön baskıdır ve hakem değerlendirmesinden geçmemiştir. Doğrulayıcı veri toplama aşaması yedi günde 2.208 denemeyi kapsadı ve 12.439 geçerli işletme anılması üretti. Farklı kullanıcı profillerine göre hazırlanmış 96 İngilizce soru; ChatGPT, Claude, Gemini ve Perplexity'ye tüketici uygulamaları üzerinden değil, arama destekli API'ler üzerinden yöneltildi. Araştırma tasarımı, hipotezler ve analiz planı, doğrulayıcı veriler toplanmadan önce kamuya açık biçimde kayda geçirildi. Bu, önceden planlanan testlerle sonuçlar görüldükten sonra seçilen açıklamaları ayırmayı kolaylaştırır.

Yanıta girişle ilgili ilişkiler, veriye uyarlanmış bir modelden elde edilen odds oranları olarak bildiriliyor: değerlendirme sayısı 1,64, kendi web sitesinin olması 1,92, belirtilmiş bir fiyat 1,54, üçüncü taraf web sitelerinde anılma 1,44 ve puan 0,89. Yazar sonuncusunu, bu aşamada ilişki saptanmaması olarak yorumluyor. Yanıtların içinde puan, 1,17 oranıyla ilk sırada yer almayla ilişkiliydi. Odds oranının 1'in üzerinde olması, o modelde olayın gerçekleşme olasılığının gerçekleşmeme olasılığına oranının daha yüksek olması demektir. Bu, yüzde puan artışı veya nedenselliğin kanıtı değildir.

Tekrarlanabilirlik de ölçüldü ve bu sayıları yanlış okumak kolay. Aynı sisteme aynı soru yeniden sorulduğunda, önemli ölçüde farklı bir işletme kümesi döndü. Tekrarlanan denemeler arasındaki ortalama Jaccard benzerliği Claude için 0,22 ile Gemini için 0,45 arasındaydı. Jaccard benzerliği, iki listenin ortak işletmelerinin, listelerden en az birinde adı geçen bütün işletmelere oranıdır. Dolayısıyla 1, listelerin aynı olması; 0 ise hiçbir ortak işletme bulunmaması demektir. Bu yüzden 0,30 ortalama, tipik bir deneme çiftinde toplam adların yaklaşık üçte birinin ortak olduğunu anlatır. Aynı yanıtın denemelerin %30'unda geri geldiğini söylemez. Aynı yöntemle ölçüldüğünde, farklı sistemlerdeki ilk 20 işletmenin örtüşmesi 0,33 ile 0,54 arasındaydı. İki hafta sonraki yeniden testte görülen işletme değişimi, ilk dönemdeki tekrarlarla karşılaştırılabilir düzeydeydi. Yazar bunu zaman içindeki değişimden çok örnekleme değişkenliğine bağlıyor.

Ölçüm aracının da kendi sınırları vardı. Tekrar sayıları sisteme göre değişiyordu: Perplexity her soru için 10 kez, ChatGPT ve Gemini 5'er kez, Claude ise 3 kez çalıştırıldı. Claude'a erişim yolunda her deneme en fazla iki aramayla sınırlıydı. Düzeltmelerden sonra, denemenin tamamını esas alan sıkı geçerlilik ölçütünde oran %91,5'ti. Adları doğru işletmeyle eşleştirme doğruluğu ise yaklaşık %98 ile %99 arasındaydı; kusursuz değildi.

Çalışmayı Norly finanse etti ve yürüttü. Norly, konaklama ve yeme-içme işletmelerine değerlendirme yönetimi ve yapay zekâ görünürlüğü araçları satıyor. Yazar bu çıkar çatışmasını açıklıyor ve çalışmayı bu çatışmanın etkisinden korumayı amaçlayan ön kayıt ve doğrulama adımlarını anlatıyor. Bu adımlar ticari çıkar çatışmasını ortadan kaldırmaz. Obenan da aynı kategoride çalışıyor. Bu nedenle, bizim yorumumuz dahil bu kanıtlar aynı özenle okunmalı.