OBENAN RESEARCH · KEŞİFSEL İLK BASKI
Aramadaki görünürlük, yapay zekadaki görünürlük değildir
Tek bir günde Amsterdam, Berlin ve Barcelona'daki bir restoran sorusu için Google Maps karşılaştırma kümesini, ChatGPT ve Claude'un aynı soruya verdiği önerilerle karşılaştırdık.
Her Google Maps karşılaştırma kümesindeki ilk üç restorandan kaçı hem ChatGPT hem Claude'un ilk üçünde de yer aldı
0 3 üzerinden
Amsterdam
0 3 üzerinden
Berlin
1 3 üzerinden
Barcelona
Müşterileriniz artık iki yere birden bakıyor ve her biri farklı bir listeden yanıt veriyor. Kolay bulunmak, önerilmekle aynı şey değildir.
Aynı gün, üç Avrupa şehrindeki en iyi restoranları Google Maps'e ve iki yapay zeka asistanına, ChatGPT ile Claude'a sorduk ve verdikleri bütün isimleri karşılaştırdık.
Bulgu
Google Maps'in ilk sıraya koyduğu restoranlar çoğunlukla asistanların önerdikleri değildi
Aynı soru, aynı şehir, aynı gün. Google Maps'in döndürdüğü ilk üç restoranı, her asistanın saydığı ilk üçle karşılaştırdık.
Amsterdam
3 restorandan 0'ı eşleşti
Ne ChatGPT ne de Claude, Google Maps'in ilk üç sonucundan birini kendi ilk üçüne aldı.
Berlin
3 restorandan 0'ı eşleşti
İki asistan aynı üç restoranı aynı sırada önerdi; bunların hiçbiri Google Maps'in ilk üçünde değildi.
Barcelona
3 restorandan 1'i eşleşti
Bir restoran hem Google Maps'in hem de iki asistanın ilk üçünde yer aldı. İki asistanda da aynı restorandı.
Şehir ve asistan başına tek arama, tek günde. Bulduğumuzu göstermeye yeter. Kural demeye yetmez. Bu çalışma, yanıtların tekrarlanan çalıştırmalarda sabit kalıp kalmadığını test etmez.
Böyle bir karşılaştırma nasıl sayılır
Tek arama, iki farklı liste
Örnek gösterim, çalışma sonucu değilGoogle Maps'te görünen restoranlar
Yapay zekanın önerdiği restoranlar (ChatGPT ve Claude)
- Mor çizgi = aynı restoran her iki listede de var
- Çizgi yok = restoran yalnızca bir listede var
Restoran B hem Google Maps'te hem de yapay zeka listesinde yer aldı.
Bu neyi değiştiriyor
Yapay zeka görünürlüğü, aramadaki görünürlüğün yeni adı değildir
İki sistem aynı soruya aynı restoranları döndürmedi. Harita aramasının öne çıkardığı bir işletme, otomatik olarak bir asistanın önerdiği işletme değildir. Bunlar iki farklı sonuçtur ve bu çalışma ikisini de ölçtü.
Bu, arama sonuçlarının arkasındaki emeğin artık önemsiz olduğu iddiası değildir. Bunu test etmedik. Söyleyebileceğimiz şey, iki sonucun birbirinden ayrıldığıdır; ikisini tek bir ölçüt gibi ele almak bu farkı tamamen gizlerdi.
Gösterdikleri kanıtlar
İki asistan tamamen farklı türde kanıtlara işaret etti
ChatGPT, 60 önerisinin 46'sında restoranların kendi web sitelerine bağlantı verdi. Claude, hiçbir şehirde, 60 önerisinin hiçbirinde vermedi.
Her asistanın gösterdikleri
Her asistan için 60 öneri sırası üzerinden.
Restoranın kendi sitesine bağlantı verdi
Bir rehber veya ödüle bağlantı verdi
Bağımsız editoryal içeriğe bağlantı verdi
İki veya daha fazla ayrı üçüncü taraf sitesine bağlantı verdi
Aynı ölçekte iki karşılaştırma daha
Michelin rehberinin kendisine bağlantı verdi
Michelin veya World's 50 Best'e bağlantı verdi
Karşı örnek
Berlin'de tamamen aynı fikirdeydiler ve yine de farklı kanıt gösterdiler
Berlin'de iki asistan aynı ilk üç restoranı aynı sırada önerdi. Bu üç restorandan hiçbiri Google Maps'in ilk üçünde değildi.
Claude, Berlin'deki 20 sıranın hiçbirinde rehber veya ödül kaynağı göstermedi. ChatGPT 20 sıranın 13'ünde gösterdi.
İki asistan farklı kanıtlar göstererek aynı yanıta ulaştı. Gösterilen kaynaklar sonucu neyin yönlendirdiğini bütünüyle açıklamaz.
Yani burada peşine düşülecek şey bir rehberde yer almak değil. İki asistan gözle görülür biçimde farklı yollardan aynı yanıta ulaştı; tam da bu yüzden gösterdikleri bağlantılar yanıtın gerekçesi olarak okunamaz.
İki asistan aynı restoranları biliyor. Kimin önce geldiği konusunda ayrılıyorlar.
ChatGPT ile Claude'u, herhangi birini Google Maps ile değil de birbiriyle karşılaştırdığımızda, ikisi de Amsterdam'da aynı 12, Berlin'de 13 ve Barcelona'da 10 restoranı saydı; her şehirde yaklaşık otuz isim arasından.
Podyumda ayrıldılar. Berlin: 3'te 3, aynı sırayla. Barcelona: 3'te 2. Amsterdam: 3'te 0.
Bilinmek, seçilmekle aynı şey değildir. İki asistan da restoranınızı listesinde bulunduruyor olabilir. Bu, ikisinden birinin sizi ilk sırada saymasıyla aynı şey değildir.
İki asistan birbiriyle aynı fikirde mi?
Berlin
Aynı ilk 3, aynı sırada
ChatGPT ve Claude birbiriyle karşılaştırıldı, ve aynı sırada
İki asistan da birinci, ikinci ve üçüncü sıraya aynı restoranları koydu.
Google Maps'in ilk üçüne karşı aynı şehirde 3 restorandan 0 tanesi eşleşti.
Berlin için 20 sıranın tamamını gör
Düz çizgi, iki asistanın aynı restoranı aynı sıraya koyduğunu gösterir. Çapraz çizgi, restoran konusunda uzlaştıklarını ama sıralamayı farklı yaptıklarını gösterir.
ChatGPT
Claude
Barcelona
İlk 3'te 2 eşleşme
ChatGPT ve Claude birbiriyle karşılaştırıldı, aynı ilk tercih
İlk tercihte anlaştılar; altındaki sıralama ayrıştı.
Google Maps'in ilk üçüne karşı aynı şehirde 3 restorandan 1 tanesi eşleşti.
Barcelona için 20 sıranın tamamını gör
Düz çizgi, iki asistanın aynı restoranı aynı sıraya koyduğunu gösterir. Çapraz çizgi, restoran konusunda uzlaştıklarını ama sıralamayı farklı yaptıklarını gösterir.
ChatGPT
Claude
Amsterdam
İlk 3'te 0 eşleşme
ChatGPT ve Claude birbiriyle karşılaştırıldı, ortak sonuç yok
Asistanlardan hiçbiri diğerinin ilk üçündeki bir restoranı kendi ilk üçüne koymadı.
Google Maps'in ilk üçüne karşı aynı şehirde 3 restorandan 0 tanesi eşleşti.
Amsterdam için 20 sıranın tamamını gör
Düz çizgi, iki asistanın aynı restoranı aynı sıraya koyduğunu gösterir. Çapraz çizgi, restoran konusunda uzlaştıklarını ama sıralamayı farklı yaptıklarını gösterir.
ChatGPT
Claude
Sizin için ne anlama geliyor
Yorumumuz: iki farklı keşif görevi
Aşağıdakiler ölçüm değil, yorumumuzdur. Ölçtüğümüz şey listelerin ayrışması ve asistanların farklı kanıt türleri göstermesidir. Neden ayrıştıkları bu kanıtların bir yorumudur; başka yorumlar da mümkündür.
Kendi web siteniz bir kaynaktır. Bir asistanın sizin hakkınızda görebildiği geri kalan her şey bambaşka bir yerdedir.
Google Maps
Bu, ilgili, yakın ve bilinen bir yerel işletme mi?
Listeler her şehirde merkezi bir semtte yoğunlaştı. Bu listelerde işletme profilindeki hiçbir şey sıralamayı açıklamadı.
En net yerel eşleşme olun: doğru bilgiler, doğru kategori ve gerçekten hizmet verdiğiniz bölgede gerçek bir varlık.
ChatGPT ve Claude
Bu, kamuya açık kanıtlarla destekleyebileceğim dikkate değer bir öneri mi?
Asistanlar ilk tercihlerinin yanında rehber, ödül, basın ve şehir kaynakları gösterdi. Claude hiçbir şehirde restoranın kendi sitesini göstermedi.
Doğrulanmayı kolaylaştırın: net bir site, her yerde tutarlı bir kimlik ve sizi aynı şekilde anlatan bağımsız yayınlar.
Kanıtların dışladığı varsayımlar
Daha fazla fotoğraf, yanıt veya yorum sizi yukarı taşır mı?
On bir kontrolden hiçbiri hangi restoranların önce geldiğini açıklamadı; bazıları şehre göre ters yönlere işaret etti.
Müşterilere yardımcı oluyorsa bunları yapmaya devam edin. Konumunuzu belirlemesini beklemeyin.
Bir yüzeyde kolay bulunmak diğerine taşınmadı. Bunlar ilişkili iki görevdir, tek bir görev değil.
Google Maps listeleri nerede toplandı
Amsterdam
20 restoranın 14'ü
Amsterdam-Centrum bölgesinde
Berlin
20 restoranın 18'i
Mitte bölgesinde
Barcelona
20 restoranın 12'si
Ciutat Vella bölgesinde
Bunlar aynı zamanda en çok restoranın bulunduğu semtlerdir ve hiç görünmeyen yerlerden bir karşılaştırma grubu toplamadık. Bu, listelerin nerede yoğunlaştığını gösterir; bir semtin seçildiğini değil.
Asistanların ilk tercihlerinin arkasında gösterdikleri
8 of 9
ChatGPT bir rehber veya ödül kaynağı gösterdi
ilk üç tercihlerinde; bunların 7'sinde Michelin kaynağı vardı.
9 of 9
Claude iki veya daha fazla bağımsız kaynak gösterdi
ilk üç tercihlerinin her birinde.
13 of 15
Asistanların kendi açıklamalarında rehber veya ödül tanınırlığı
mevcut ilk üç açıklaması, rehber veya ödül tanınırlığını bir etken olarak belirtti.
Bu, her asistanın gösterdiğidir; kullandığı değil. Berlin bunu hatırlatır: Claude o şehirde hiçbir rehber veya ödül kaynağı göstermedi ve yine de ChatGPT ile aynı üç restoranı, aynı sırayla saydı.
Elediklerimiz
Sonucu açıklamayanlar
Herkesin varsaydığı şeyleri kontrol ettik. Basit bir açıklama olsaydı, üç şehrin bunu göstermesi gerekirdi. Göstermediler.
| Kontrol ettiğimiz | Amsterdam | Berlin | Barcelona | Bize söylediği |
|---|---|---|---|---|
| Tüm zamanlarda toplanan yorumlarİlk 3, diğer 17 ile karşılaştırıldı, yorum cinsinden | 2,472 yorum daha azdiğer 17 ile karşılaştırıldığında | 1,331 yorum daha fazladiğer 17 ile karşılaştırıldığında | 4,252 yorum daha azdiğer 17 ile karşılaştırıldığında | Tutarlı yön yok |
| Tüm yorumlardaki puanİlk 3, diğer 17 ile karşılaştırıldı, yıldız cinsinden | 0.04 yıldız daha yüksekdiğer 17 ile karşılaştırıldığında | 0.04 yıldız daha düşükdiğer 17 ile karşılaştırıldığında | 0.10 yıldız daha yüksekdiğer 17 ile karşılaştırıldığında | Tutarlı yön yok |
| Son 30 gündeki yorumlarİlk 3, diğer 17 ile karşılaştırıldı, yorum cinsinden | 8 yorum daha azdiğer 17 ile karşılaştırıldığında | 29 yorum daha fazladiğer 17 ile karşılaştırıldığında | 20 yorum daha azdiğer 17 ile karşılaştırıldığında | Tutarlı yön yok |
Bunların her biri bir şehirde bir yönü, başka bir şehirde tam tersini gösterdi. Fiyat ve kategori hiçbir şey göstermedi. Yani hiçbiri hangi restoranların önce geldiğini açıklamıyor.
Beş açıklama daha test ettik. Hiçbiri üç şehirde birden geçerli olmadı.
Daha fazla fotoğraf?
İlk üçte Amsterdam'da daha az, diğer iki şehirde daha fazla fotoğraf vardı.
Amsterdam: ilk üç 1,221, diğer on yedi 2,128 · Berlin: ilk üç 3,841, diğer on yedi 1,262 · Barcelona: ilk üç 7,124, diğer on yedi 3,073
fotoğraf, tipik işletme
Daha fazla fotoğraf türü?
Tutarlı bir örüntü yoktu.
Amsterdam: ilk üç 11, diğer on yedi 14 · Berlin: ilk üç 12, diğer on yedi 13 · Barcelona: ilk üç 17, diğer on yedi 15
fotoğraf kategorisi, tipik işletme
Yorumlara daha fazla yanıt?
Amsterdam'da güçlü, Barcelona'da yok denecek kadar az.
Amsterdam: ilk üç her 100 yorumdan 97, diğer on yedi her 100 yorumdan 53 · Berlin: ilk üç her 100 yorumdan 41, diğer on yedi hiç · Barcelona: ilk üç her 100 yorumdan 1, diğer on yedi her 100 yorumdan 3
işletme yanıtı alan yorumlar
Daha fazla Local Guide yorumu?
Hiçbir yerde anlamlı bir ayrım yoktu.
Amsterdam: ilk üç her 100 yorumdan 49, diğer on yedi her 100 yorumdan 51 · Berlin: ilk üç her 100 yorumdan 63, diğer on yedi her 100 yorumdan 58 · Barcelona: ilk üç her 100 yorumdan 42, diğer on yedi her 100 yorumdan 44
Local Guides tarafından yazılan yorumlar
Yorumlarda farklı konular mı vardı?
Her yorum anahtar kelimesini on bir temada topladık. Hiçbir tema üç şehirde de ilk üçü diğer on yediden ayırmadı.
Her şehirde ilk üç ile diğer on yedi arasında karşılaştırıldı.
on bir tema, 412 farklı yorum anahtar kelimesi
Fotoğraf eklemek veya yorumlara yanıt vermek müşterileriniz için hâlâ değerli olabilir. Bu çalışma, bunlardan herhangi birinin hangi restoranların önce döndüğünü açıkladığını bulmadı.
Kontrollerden birini neden çıkardık
Her restoranın son 100 yorumunu okuyabildik. 60 restoranın tamamı bu sınıra ulaştığı için sabit bir dönemdeki yorum sayısı çoğunlukla bu 100 yorumun ne kadar hızlı dolduğunu ölçüyordu. Başka bir anlam taşıyormuş gibi görünen bir sayı bırakmak yerine kontrolü çıkardık.
Değişmeyen tek durum
Bir ipucu üç şehirde de geçerliliğini korudu
Üç şehirde de ilk üçün son 20 yorumundaki puanları biraz daha iyiydi. Bu ilginç bir ipucudur, kanıtlanmış bir kural değil.
Amsterdam
- İlk 3
- 4.9 yıldız
- Diğer 17
- 4.7 yıldız
- Fark
- +0.2 yıldız
Berlin
- İlk 3
- 4.7 yıldız
- Diğer 17
- 4.6 yıldız
- Fark
- +0.1 yıldız
Barcelona
- İlk 3
- 4.8 yıldız
- Diğer 17
- 4.7 yıldız
- Fark
- +0.1 yıldız
Umut verici, ama kural demek için örneklem çok küçük.
Bu üst grupların her biri yalnızca üç restorandan oluşuyor. Üç şehirde kendisiyle çelişmeyen tek şey buydu ve sırada bunu test etmek var.
Hâlâ söyleyemediklerimiz
- Her üst grup üç restoran içeriyor, dolayısıyla üç farkın hiçbiri tek başına ayakta durmuyor.
- Her restoran için yalnızca en yeni 100 yorumu okuyabildik. Bu sınıra ulaşıldığında daha eski yorumlar ölçümün dışında kaldı. Bu nedenle 90 günlük sayı dört kontrolün en zayıfıdır: restoranların neredeyse yarısı 90 gün içinde sınıra ulaştı.
- Bu restoranların döndüğü sıra henüz bağımsız olarak doğrulanmadı.
Kontrol edilecek iki yer
Bir değil, iki kontrol
Müşteriler iki yeri de kullanıyor, bu yüzden ikisini de kontrol etmek gerekir. Her kontrol yalnızca birine bakar ve hiçbiri bu çalışmayı tekrarlamaz.
Yapay zeka asistanları
Yapay zeka işletmenizi nasıl anlatıyor görün
Yapay zeka asistanlarının bugün sizin hakkınızda ne bulabildiğini kontrol edin. Bu kontrol, Google Maps'te nerede göründüğünüzü söylemez.
Yapay zeka görünürlüğünü kontrol etGoogle Maps
Google Maps'te nerede göründüğünüzü kontrol edin
İşletmenizin tek bir aramada, tek bir anda nerede durduğunu kontrol edin. Yalnızca sizin işletmenize bakar ve bu sayfadaki üç şehirli karşılaştırmayı tekrarlamaz.
Google Maps görünürlüğünü kontrol etNasıl yaptık
Karşılaştırma nasıl işledi
Aynı soruyu sormak
Her şehirde Google Maps'e ve yapay zeka asistanlarına aynı restoran sorusunu sorduk.
İki listeyi de toplamak
Her birinin döndürdüğü tüm restoranları, geldiği hâliyle kaydettik.
Hangilerinin ikisinde de olduğunu görmek
İki listeyi karşılaştırıp her ikisinde de adı geçen restoranları bulduk.
İsteyenler için teknik ayrıntı
- Yalıtılmış oturumlar
- Her asistana şehir başına bir kez, yeni ve oturum açılmamış bir oturumda soruldu.
- Tekrar
- Bu, tek günlük keşifsel bir anlık görüntüdür; yanıtların tekrarlanan denemelerde sabit kalıp kalmadığının testi değildir.
- Kaynak izi
- Kaynak izi, verinin nereden geldiğini gösterir. Her liste için tam sorgu, ayarlar, konum bağlamı ve toplama zamanı kayıt altındadır.
- Kimlik eşleştirme
- Kimlik eşleştirme, iki adın aynı işletmeye ait olduğunu doğrulamaktır. Doğrulanamadığı yerlerde çift birleştirilmeden bırakılır ve belirsiz olarak raporlanır.
- Belirsizlik ve elde edilemeyen kanıt
- Doğrulanamayan her şey, bir varsayımla doldurulmak yerine mevcut değil olarak gösterilir.
Bu yöntem bir restoranın neden göründüğünü gösteremez, iki yer için de kalıcı bir örüntü ortaya koyamaz ve şehir geneli bir Google Maps sırası bildiremez.
Arkasındaki çalışma
Gerçekte neyi analiz ettik
Bu tek istemlik bir deney değildi. Üç şehirde iki yapay zeka asistanına aynı soruyu sorduk, yalnızca kazananları değil sıralanmış tüm önerileri kaydettik, her asistandan kendini açıklamasını isteyip bu yanıtları sakladık, restoranları tüm listelerde adres ve resmi alan adı üzerinden eşleştirdik ve her birinin arkasındaki herkese açık işletme profilini okuduk.
Toplamda
120,548
analiz edilen veri değeri
60 konumdaki dolu alanların tamamı, 253 farklı veri alanından geldi: işletme profilinde 215, her yorumda 38 alan. Konum başına yaklaşık 2.009 değer.
Ne sorduk
3
şehir
Amsterdam, Berlin, Barcelona
2
AI asistanı
aynı soru soruldu
6
tam sıralama listesi
örneklenmeden bütünüyle kaydedildi
Ne kaydettik
120
sıralanmış öneri
yalnızca kazananlar değil, her sıra
5
takip açıklaması
her asistana nedenini sorduk ve yanıtları sakladık
60
kamuya açık işletme profili
puan, konum, kategori, fiyat ve yorum geçmişi
Ne okuduk
6,000
tekil yorum
60 profilin tamamında tek tek okundu
2,009
konum başına veri değeri
dolu alanların tamamında ortalama
253
farklı veri alanı
profilde 215, her yorumda 38
Neyi kontrol ettik
238
kaynak bağlantısı
asistanların gösterdiği her bağlantı
88
farklı kaynak sitesi
rehberler, şehir siteleri, basın ve resmi sayfalar
5
doğrulanan listeler arası eşleşme
ve birleştirmeyi reddettiğimiz 3 belirsiz eşleşme
Bunu kontrol etmek için neyi açtık
249,557
60 işletmede sayılan fotoğraf
178
farklı fotoğraf kategorisi
412
11 temada gruplanan yorum anahtar kelimesi
60
alan alan okunan işletme profili
Bütün bunları tek bir nedenle yaptık. Hangi restoranların göründüğünü öğrenmek için değil; görünenlerin ortak yanının ne olduğunu, yapay zeka önerilerinin harita aramasının döndürdüğünden nasıl ayrıldığını ve bir şehir yerine üç şehirden sonra hangi açıklamaların hâlâ ayakta kaldığını öğrenmek için.
Bunu kullanmadan önce
Bu çalışma nasıl okunur
Bu çalışmanın kanıtladıkları ve kanıtlamadıkları
- Bu, tek günlük ve üç şehirlik keşif amaçlı bir anlık görüntüdür.
- Gözlenen örüntüleri raporlar; neden-sonuç veya garantili bir sıralama formülü sunmaz.
- Gelecek sürümlerde AI ve Maps kontrolleri tekrarlanacak; sonuçlar değişebilir.
Her ifade nasıl etiketlenir
| Etiket | Ne anlama geldiği |
|---|---|
| Ölçüldü | İncelenen kanıttan doğrudan sayıldı |
| Gözlendi | Tek bir kaynakta görüldü, genel bir kural değil |
| Model beyanı | Bir yapay zeka asistanının kendi yanıtı hakkında söylediği |
| Çıkarım | Bizim okumamız, diğer açıklamalar da belirtilerek |
| Mevcut değil | İstedik ve doğrulayamadık |
Sırada ne var
Bunu tekrar yapıyoruz
Bir gün yalnızca anlık bir görüntüdür. Sonraki baskı aynı soruyu aynı şehirlerde birkaç kez tekrarlar; böylece bir örüntüyü rastlantıdan ayırabiliriz. Restoranlar ilk baskıdır.