Örneklem, Anlamlılık ve Ölçüm Tuzakları: Veriyle Karar Vermenin Zor Tarafları
Veriyle Karar Vermenin Zor Tarafı
Temel istatistiği bildiğiniz halde yanlış karar vermek mümkündür. Çünkü hatalar genellikle hesapta değil, soruyu sorma biçiminde çıkar. Bu derste iş hayatında en sık görülen altı tuzağı, her birini nasıl fark edeceğinizi ve hangi soruyla sınayacağınızı ele alıyoruz.
1. Altı Sık Hata ve Test Soruları
| Hata | Örnek senaryo | Kendinize sorun |
|---|---|---|
| Küçük örneklem | Yeni menüyü 8 müşteri denedi, 7'si beğendi; menü tüm şubelere yayılıyor. | Bu sonuç, başka 8 kişiyle tekrarlansa da aynı çıkar mıydı? |
| Tesadüfi dalgalanma | Haftalık satış bir hafta düştü, ekip yeni kampanyayı suçladı. | Bu ayki oynaklık normalde ne kadar? Bu değişim o bandın dışında mı? |
| A/B testini erken durdurma | Üçüncü gün B varyantı öne geçti, test kapatıldı. | Süre ve örneklem büyüklüğünü başlamadan önce belirledik mi? |
| Çok kırılım, tesadüfi bulgu | Bölge, yaş, cihaz, saat gibi 40 kırılıma bakıldı, birinde fark çıktı. | Kaç kırılıma baktık? Bu bulgu önceden mi tahmin edilmişti, sonradan mı bulundu? |
| Hayatta kalma yanlılığı | Başarılı müşterilerin ortak özelliği anket edildi; ayrılanlar ankette yok. | Elenenler, ayrılanlar, cevap vermeyenler nerede? |
| Simpson paradoksu | Genel dönüşüm B'de düşük, ama her müşteri segmentinde B yüksek. | Gruplar arasında karışım (mix) farkı var mı? |
2. Adım Adım: Küçük Örneklem ve Erken Durdurma
- Önce karar eşiğini yazın: "En az şu kadar iyileşme görürsek yayınlarız."
- Sonra test süresini ve gözlem sayısını belirleyin; haftanın tüm günlerini kapsasın.
- Test boyunca sonuca bakabilirsiniz, ama durdurma kararını yalnızca önceden yazılan kurala göre verin.
- Sonunda sonucu tek cümleyle yazın: "Fark X, belirsizlik aralığı Y."
3. Çok Kırılım Tuzağı
Yeterince farklı açıdan bakarsanız, hiçbir gerçek fark olmasa bile bir yerde "ilginç" bir fark çıkar. Bunun panzehiri basittir:
- Bakacağınız kırılımları analizden önce listeleyin.
- Sonradan bulunan farkı "bulgu" değil "hipotez" olarak etiketleyin.
- Hipotezi yeni bir veri setinde veya yeni bir dönemde tekrar sınayın.
4. Hayatta Kalma Yanlılığı ve Simpson Paradoksu
Hayatta kalma yanlılığı: Yalnızca kalanlara bakarsanız, ayrılanlardan öğrenemezsiniz. Şablon: "Bu veriye girmeyenler kimler ve neden girmediler?"
Simpson paradoksu: Toplam sonuç ile alt grup sonuçları ters yönde çıkabilir. Bunun nedeni genellikle grupların büyüklüklerinin iki tarafta farklı olmasıdır. Örneğin bir varyant ağırlıklı olarak daha zor bir segmente gösterilmişse toplamda kötü görünebilir. Kural: Toplam rakamı sunmadan önce en az bir anlamlı alt kırılıma bakın ve grup dağılımlarını karşılaştırın.
5. p Değeri ve Güven Aralığı: Ne Söyler, Ne Söylemez
| Kavram | Söyledikleri | Söylemedikleri |
|---|---|---|
| p değeri | Gerçekte hiçbir fark olmasaydı, bu kadar veya daha uç bir farkı görmek ne kadar sürpriz olurdu? | Hipotezin doğru olma olasılığı değildir. Farkın büyüklüğünü ve önemini de göstermez. |
| Güven aralığı | Verinin uyumlu olduğu makul fark aralığı. | Gerçek değerin kesin bu aralıkta olduğunu garanti etmez. |
İstatistiksel anlamlılık ≠ iş açısından anlamlılık. Çok büyük örneklemde çok küçük bir fark bile "anlamlı" çıkabilir; ama uygulama maliyetini karşılamayabilir. Tersine, küçük örneklemde işe yarar bir fark "anlamsız" görünebilir; bu durumda yanıt "etki yok" değil, "henüz bilmiyoruz" olur. Karar öncesi iki soru sorun: Aralığın en kötü ucu bile değer mi? Aralığın en iyi ucu bile değmiyorsa neden uğraşıyoruz?
6. Karar Kültürü Göstergeleri
| Gösterge | Nasıl ölçülür | Ne anlatır |
|---|---|---|
| Veri notu bulunan karar oranı | Belirli dönemde alınan önemli kararların kaçında kısa bir veri notu var / toplam önemli karar | Kararların veriye dayanma alışkanlığı |
| Geriye dönük doğrulanan tahmin oranı | Kararın sonunda "beklenen sonuç gerçekleşti mi" kontrolü yapılan tahminler / toplam tahmin | Tahmin kalitesi ve öğrenme |
| Karar günlüğü kullanımı | Günlüğe kaydı olan karar / toplam önemli karar | Kararların izlenebilirliği |
Önemli not: Bu göstergeler hedef değil, ayna olmalıdır. Puan kaygısıyla doldurulan notlar kaliteyi düşürür. Başlangıçta yüzde hedefi koymak yerine, iki üç ay boyunca durumu izleyin.
Karar günlüğü şablonu
- Karar: Ne kararlaştırıldı, kim, ne zaman?
- Dayanak: Hangi veri, örneklem kaç, hangi sınırlılıklar var?
- Tahmin: Ne olmasını bekliyoruz, hangi tarihte kontrol edeceğiz?
- Sonuç: Gerçekleşen ne oldu, ne öğrendik?
7. Kendi Kendine Değerlendirme
- Son aldığım kararda örneklem büyüklüğünü sorguladım mı?
- Bir dalgalanmayı, normal oynaklıkla karşılaştırmadan yorumladım mı?
- Sonucu görmeden önce durdurma kuralı yazdım mı?
- Kaç kırılıma baktığımı söyleyebilir miyim?
- Veriye girmeyenleri düşündüm mü?
- Toplam sonucu alt gruplarla karşılaştırdım mı?
- Sunumumda farkın büyüklüğünü ve belirsizliğini ayrıca yazdım mı?
8. Sonraki Adım Önerileri
- Bu hafta aldığınız bir karar için karar günlüğü kaydı açın.
- Ekibinizle bir toplantıda tek soru sorun: "Bu veriye kimler girmedi?"
- Bir sonraki A/B testinden önce durdurma kuralını yazılı hale getirin.
- Üç ay sonra günlüğe dönüp tahminlerinizle gerçekleşenleri karşılaştırın.
Bu dersi kayıt olmadan izleyebilirsin. İlerlemeni kaydetmek, sertifika almak ve puan tablosuna girmek için ücretsiz üye ol: Kayıt Ol