Obenan

Briefing · Araştırma

Çoğu yerin adı yapay zekâda hiç geçmedi. İşte anılmayla ilişkili olanlar.

Araştırma, Bali'nin iki bölgesinde 4.776 kafe, restoran ve barı listeledi; dört yapay zekâ sistemine nerede yenilip içileceğini sordu. En az %85,6'sı hiçbirinde önerilmedi. Anılmak, ilk sırada olmak ve doğru bilgilere sahip olmak ayrı sorunlar çıktı.

Yayımlandı Güncellendi

Kaynakları okuyun
Her nokta 4.776 mekânın yaklaşık 48'ini temsil eder. Norly ön yayını, Canggu ve Ubud çevresi, İngilizce sorular.

Neden eksik olabilirsiniz?

Tek kısa yanıt dört farklı sorunu gizleyebilir

İki sokak ötedeki ziyaretçinin yapay zekâ asistanına nerede yemek yiyeceğini sorduğunu düşünün. Dört yer sayar. Sizinki yoksa hiçbir şey size haber vermez: Kaybedilen tıklama yok, şikâyet yok. Tek yanıt da bunlardan hangisinin aksadığını söyleyemez.

  1. Bilgi aramak

    Önce aradı mı?

    Bazı yanıtlar canlı web aramasından sonra yazılır; diğerleri yalnızca yapay zekânın önceden bildiği, güncel olmayabilecek bilgilere dayanır.

  2. Anılmak

    Adınız geçti mi?

    Yanıtta ancak birkaç isme yer var. Çoğu yer bunların arasında değil.

  3. İlk sıraya gelmek

    Nerede göründünüz?

    İlk mi, dördüncü mü? Bu araştırmada her biri farklı şeylerle ilişkiliydi.

  4. Doğru olmak

    Bilgileriniz hâlâ doğru muydu?

    Saatler, adres, fiyatlar, hâlâ açık olup olmadığınız. Eski bilgiler de yayılır.

Tek yanıt tek örneklemdir: Bir sistem, bir soru, bir yer, bir dil, bir an.

Bali, tek araştırma

Çoğu yer hiç anılmadı

Henüz hakem değerlendirmesinden geçmemiş bir ön yayın, Canggu ve Ubud çevresindeki tüm kafe, restoran ve barları listeledi; ardından ChatGPT, Claude, Gemini ve Perplexity'ye orada nerede yenilip içileceğini sordu.

Dört yapay zekâ sisteminden hiçbirinin hiç önermediği mekânların oranı

  • 4.776 mekânın tamamıen az %85,6

  • 50 veya daha fazla puanlaması olan mekânlar%72,6

Çubuklar %100 üzerinden çizilmiştir. Kaynak: Norly ön yayını —arXiv 2608.07069—, Canggu ve Ubud çevresi, İngilizce sorular, bir haftalık yanıtlar.

50 veya daha fazla puanlaması olan yerlerde bile neredeyse dörtte üçü hiç anılmadı.

Bu rakamlar neden şehrinize taşınamaz?

Bu iki bölgedeki bu mekânları, İngilizce soruları ve dört sistemin yanıt verirken canlı web arayan, geliştiricilere açık sürümlerini anlatırlar; insanların açtığı tüketici uygulamalarını değil. Başka şehir, dil, işletme türü veya uygulama için ölçüt değildirler.

İki farklı adım

Anılmak ve ilk gelmek farklı şeylerle ilişkiliydi

Bu araştırmada anılan yerlerle ilk sıraya gelenler farklı nedenlerle öne çıktı.

Anılmayla ilişkili olanlar

  • Kendi web sitesinin olması
  • Daha fazla yorum
  • Listelenmiş fiyat
  • Web'in başka yerlerinde anılmak
  • Yıldız puanı değil: Bu adımda ilişki göstermedi

İlk gelmeyle ilişkili olanlar

  • Zaten anılmış yerler arasında daha yüksek yıldız puanı
  • Burada da önemli olan daha fazla yorum

Bunlar neden değil, ilişkilerdir. Hiçbiri bir ayrıntıyı değiştirmenin önerilmenizi sağladığını göstermez.

Karşılaştırmanın arkasındaki rakamlar

Araştırma, uyarlanmış modelden odds oranları bildiriyor. Anılmak için: Yorum hacmi 1,64, kendi web sitesi 1,92, listelenmiş fiyat 1,54, web'in başka yerlerinde anılma 1,44 ve puan 0,89; yazar sonuncuyu ilişki yok diye yorumluyor. Anılan yerler arasında puan, ilk sırayla 1,17 oranında ilişkiliydi.

1'in üzerindeki odds oranı, o model içinde daha yüksek göreli olasılık demektir. Yüzde puan kazancı veya neden-sonuç kanıtı değildir.

Yanlış bilgiler

Güncelliğini yitirmiş yerler, uydurulanlardan daha sık çıktı

Araştırma, mekânlara ilişkin 12.439 geçerli anılmada hangi yerlerin gerçek ve hâlâ açık olduğunu kontrol etti.

  • Norly ön yayını, bir haftalık yanıtlar

    93

    kalıcı kapanmış yer önerisi

    Kalıcı kapandığı doğrulanan 14 mekânı kapsıyordu.

  • Norly ön yayını, bir haftalık yanıtlar

    10

    hâlâ muhtemelen uydurma sayılan tek ismin anılması

    Kontrolden sonra 12.439 geçerli anılmanın %0,08'i.

Müşteriler bunlara güvendiği için saat, adres, fiyat ve kapanış bilgilerinizi doğru tutun. Araştırma, bunun anılmayı sağladığını veya müşteri getirdiğini göstermiyor.

Bu sayımların sınırı

İki sayı da küçük ve yedi günlük tek dönemden geliyor. Karşılaştırmak zarar sıralaması değildir. Araştırma sistemlerin söylediklerini kaydetti, insanların sonra ne yaptığını değil; bu yüzden iki hata türünün işletmeye maliyetini gösteremez.

İkinci araştırma, Amerika Birleşik Devletleri

Web araması olmadan iki yapay zekâ modeli, doktor ve danışman önerilerinin çoğunu uydurdu

Başka bir ön yayın, ABD'nin en büyük 100 şehrinde doktor, bakım tesisi ve finansal danışmanlara ilişkin yapay zekâ önerilerini, canlı web aramasıyla ve aramasız olarak resmî devlet hizmet sağlayıcı kayıtlarıyla karşılaştırdı.

Web araması olmadan

  • Bir modelin önerdiği doktorların yalnızca %4'ü, diğerininkilerin %11'i sorulan şehirdeki gerçek klinisyenle eşleşti.
  • Önerilen danışmanlık şirketlerinin uygunsuz davranış kayıtları, şirket büyüklüğüne göre düzeltmeden sonra bile kaydın olağan oranının 3,6 katıydı.
  • Gerçek öneriler en büyük şehirlerde toplandı.

Web aramasıyla

  • Aynı alanlardaki önerilerin %64–71'i gerçek, kayıtlı sağlayıcıyla eşleşti.
  • Önerilen danışmanlık şirketlerinin uygunsuz davranış kayıtları, kaydın olağan oranının altındaydı.
  • Eşleşme oranları ABD'nin en büyük 100 şehri içindeki daha büyük ve daha küçük şehirlerde benzerdi.

Asistanın arama yapıp yapmadığı işletmenize değil, çalıştırmaya bağlıdır. Her kontrolde not edin.

İkinci araştırmanın ayrıntıları ve sınırları

Üç düzen karşılaştırıldı: Herkesin indirip çalıştırabileceği açık ağırlıklı model, web araması olmayan kapalı model ve aynı kapalı modelin aramalı hâli. Kayıtlar Medicare klinisyen ve tesis verileri ile SEC danışman açıklamalarıydı. Açık ağırlıklı modelin az sayıdaki eşleşmesi isim tesadüfüne benziyordu: Eşleşen klinisyenlerin birinci basamak doktoru olma olasılığı, rastgele seçilen isimlerden yüksek değildi.

Aynı denetimde ayrı ölçülen restoranlar, yorum sayısında üç ila beş kat avantaj; puanda ise en fazla yıldızın onda biri kadar avantaj gösterdi.

Ön yayındır, yalnızca ABD'yi kapsar ve test ettiği kapalı modelin adını vermez. Neden kanıtlamak yerine düzenleri karşılaştırır.

Soruyu tekrarlayın

Aynı soruyu iki kez sorunca liste değişiyor

Bali araştırması her sisteme aynı soruları yeniden sordu. Tekrarlanan yanıtlarda anılan isimlerin ortalama olarak yalnızca bir bölümü ortaktı.

Aynı soruya iki yanıtta ortak olan isimler; iki yanıttan herhangi birinin verdiği tüm isimler içinde

  • Claude, en az tutarlı%22

  • Gemini, en tutarlı%45

Tekrarlar arasında ortalama örtüşme, %100 üzerinden. ChatGPT ve Perplexity arada kaldı. Claude soru başına en fazla iki aramayla 3 kez, Gemini 5 kez çalıştırıldı. Kaynak: Norly ön yayını.

Tek yanıt anlık görüntüdür. Sonuç çıkarmadan önce birden fazla kez ve birden fazla sistemle kontrol edin.

Araştırma nasıl yürütüldü?

Önceden kaydedilmiş ana veri toplama, her biri belirli ziyaretçi tipinin ağzından yazılan 96 İngilizce soruyla yedi günde 2.208 çalıştırmayı kapsadı. Perplexity soru başına 10, ChatGPT ve Gemini 5, Claude 3 kez çalıştırıldı; Claude her çalıştırmada iki aramayla sınırlandı.

Araştırma örtüşmeyi ortalama Jaccard benzerliğiyle ölçer: Claude için 0,22, Gemini için 0,45. Düzeltmelerden sonra çalıştırmaların %91,5'i katı geçerlilik kontrolünü geçti; yanıtlardaki isimlerin gerçek mekânlarla eşleştirilmesi yaklaşık %98–99 doğruydu. Farklı sistemlerde ilk 20 mekânın örtüşmesi %33–54 arasındaydı. İki hafta sonraki yeniden test, ilk haftadaki tekrarlar kadar değişti; yazar bunu zaman içindeki değişime değil, çalıştırmalar arasındaki rastlantısal değişime bağlıyor.

Norly araştırmayı finanse edip yürüttü; konaklama ve yeme içme işletmelerine yorum yönetimi ve yapay zekâ görünürlük araçları satıyor. Yazar bunu açıklıyor ve çalışmayı bağımsız tutmayı amaçlayan adımları anlatıyor; bunlar çıkar çatışmasını ortadan kaldırmıyor.

Ne yapmalı?

Nerede olduğunuzu kontrol etmek için altı alışkanlık

  1. Her adımı ayrı kontrol edin

    Aramayı, anılmayı, konumu ve doğru bilgileri ayrı inceleyin. Birleşik puan hangisinin değiştiğini gizler.

  2. Nasıl kontrol ettiğinizi yazın

    Sistem, uygulama veya sürüm, arayıp aramadığı, soru, dil, yer ve tarih; ayrıca yanıt ve isim sırası.

  3. Birden fazla kez sorun

    Birkaç çalıştırma, ifade ve sistem kullanın. Birkaç yanıtı hüküm değil, anlık görüntü sayın.

  4. Kamuya açık bilgilerinizi güncel tutun

    Müşteriler saat, adres, fiyat ve kapanış bilgilerinizi kullanır. Sıralama hilesi olarak değil, bu nedenle doğru tutun.

  5. Hakkınızdaki resmî kayıtları kontrol edin

    Resmî kayıtta eksik, eski veya yinelenmiş kayıt; anılmamaktan ayrı sorundur ve kendiniz düzeltebilirsiniz.

  6. Müşterileri başka yerde ölçün

    Yanıtta görünmek ziyaret veya satış değildir. Bunları kendi rezervasyonlarınızda ve kasanızda sayın.

Okumaya devam edin

İlgili Briefings ve sonraki adımlar

Üç ilgili Briefing ve kendi işletmeniz için başlangıç noktası.

Kaynaklar

Bu bilgiler nereden geliyor?

İki ön yayın; henüz hakem değerlendirmesinden geçmemiş makaleler. Norly Bali araştırmasını finanse etti ve Obenan ile aynı kategoride araçlar satıyor; bu yüzden hem bulgularını hem bizim özetimizi dikkatli okuyun. Obenan'ın yazarlar, Norly, arXiv, ChatGPT, Claude, Gemini, Perplexity veya sağlayıcılarıyla iş ortaklığı, entegrasyonu, pilotu veya özel erişim ilişkisi yoktur. Obenan bu kişi veya kuruluşlar tarafından desteklenmiş değildir.

  1. arXiv abstract and submission record

    arXiv Gönderildi Kontrol edildi

    Bali araştırmasının gönderim kaydı.

  2. Full arXiv HTML paper

    arXiv Gönderildi Kontrol edildi

    Yöntemler, ön kayıt, sonuçlar, doğrulama, sınırlar, finansman ve çıkar çatışması beyanı. 2 Eylül 2026'da yeniden kontrol edildi.

  3. Understanding AI Provider Recommendations in Local Service Markets

    arXiv, Hazem Ibrahim and Yasir Zaki Gönderildi Kontrol edildi

    Web aramalı ve aramasız yanıtları karşılaştıran ABD kayıt denetimi.

Önceki sürüm

Yapay Zekâ Görünürlüğü ve Google Maps: Restoran Araştırması

Bu Briefing, Obenan'ın Amsterdam, Berlin ve Barselona'daki kendi bir günlük gözleminin devamıdır; o çalışma kendi sayfasını korur. Gözlem Bali araştırmasından ayrıdır ve onunla birleştirilmez.

Önceki sürümü okuyun
Tüm Briefings'e dönün