Sorular
Otelinizin karşıladığı ihtiyaçlarla (butik, romantik, havuzlu, aile…) gezginlerin yazdığı gibi 50’den fazla Türkçe soru hazırlarız.
NASIL ÖLÇÜYORUZ
Tek bir ekran görüntüsüne değil, yüzlerce cevaba bakarız.
ChatGPT ve Gemini’nin kasabanızda hangi otelleri, neden önerdiğini her hafta aynı sorularla ölçeriz. Bu sayfa yöntemin tamamını anlatır.
Cevaplar
Soruları her hafta ChatGPT’ye ve Gemini’ye, web aramasıyla birlikte sorarız. Her cevap, sorulduğu ayarla birlikte saklanır.
Sayılar
Kaç cevapta önerildiniz, listede kaçıncısınız, hangi kaynaklarla. Her sayı aralığıyla ve dayandığı cevap sayısıyla.
Sıradaki adım
Sahanızdaki boşluklardan en çok fark yaratacak en fazla üç hamle. Sonraki haftalarda ne değiştiğini ölçeriz.
Kimler ölçülür?
Kasabadaki bütün oteller, aynı sorularla. Sıranızı ancak herkes aynı sorularla ölçüldüğünde dürüstçe söyleyebiliriz. Puan durumu bu yüzden bütün kasabayı gösterir.
Hangi asistanlar?
Şimdilik ChatGPT ve Gemini. Sorular Türkçe; İngilizce ve Almanca ölçüm yolda. Asistanların ayarlarını haftadan haftaya değiştirmeyiz, böylece haftalar karşılaştırılabilir kalır.
Ne zaman?
Her cumartesi sabah. Bir asistandan bir hafta cevap gelmezse o haftayı eksik sayar, karşılaştırmayı yalnızca iki haftada da ölçülen asistanlarla yaparız.
Cevapları nasıl okuruz?
Her cevaptan önerilen otelleri, sıralarını ve gösterilen kaynakları çıkarırız. Bir otelin farklı yazılışları (“X Otel”, “X Hotel Alaçatı”) tek otel sayılır.
Önerilme oranı
Sizin için sorulan sorulara verilen cevapların yüzde kaçında adınızın geçtiği. Tek bir cevap değil, haftada yüzlerce cevap.
Aralık
Yapay zekânın cevapları her seferinde biraz değişir. Bu yüzden oranı “%20” diye değil, %95 güven aralığıyla, “%17–24” diye veririz.
Gerçek değişim mi, dalgalanma mı?
İki dönemi karşılaştırırken farkın şansla açıklanıp açıklanamayacağını test ederiz. Açıklanabiliyorsa “dalgalanma” yazarız, artış demeyiz.
Saha
Yapay zekânın gösterdiği kaynakları bölgelere ayırırız: Google profili, kendi siteniz, yorum siteleri, rezervasyon siteleri, rehber ve bloglar. Her bölgede var mısınız, rakipler orada mı, görürsünüz.
Hamlelerden sonra
Bir hamleden sonra değişen sonucu “bu adımdan sonra” diye gösteririz, “bu adım yüzünden” diye değil. Aynı haftalarda yapılan işler etkiyi paylaşır.
Test sonuçları
Yöntemi denediğimiz test ölçümlerini size gösterdiğimiz sayılara karıştırmayız.
Verileriniz
Avrupa’daki sunucularda saklanır ve KVKK’ya uygun işlenir. Başka otellerle paylaşılmaz.
Ölçüm ilkelerimiz
- Her sayıyı aralığıyla gösteririz: “%20” yerine “%17–24”.
- Gerçek değişimi dalgalanmadan ayırırız.
- Test sonuçlarını size gösterdiğimiz sayılara karıştırmayız.
- “Sizi 1. sıraya çıkarırız” demeyiz. Kimse dürüstçe diyemez.