Epin Yazılımında Kampanya A/B Testi: Rakiplerinin Sessizce Uyguladığı Bölme Mantığını, Kaç Siparişte Karar Vereceğini ve Testi Bozan 5 Gizli Hatayı Öğren

Çoğu dijital ürün satıcısı A/B testini "iki banner yapıp hangisi güzel görünüyorsa onu seçmek" sanır. Cuma günü yeni bir kampanya görseli yayınlar, hafta sonu satışları yüksek gelir, "yeni görsel tuttu" der ve devam eder. Oysa hafta sonu satışı her zaman yüksektir; ölçtüğü şey görsel değil, takvimdir. Bu tür kararlar seni yanlış yöne emin adımlarla götürür — çünkü elinde rakam vardır, ama karşılaştırma yoktur.

Gerçek A/B testi iki görseli değil iki kararı karşılaştırır ve bunu aynı anda, aynı trafikte yapar. "Sabit 50 TL indirim mi, %10 indirim mi?", "tek kupon mu kademeli avantaj mı?", "anında teslim vurgusu mu fiyat vurgusu mu?" Bunların cevabı sezgiyle bulunmaz. Bu yazıda, bir e-pin satış scripti üzerinde kampanya testini nasıl kuracağını, trafiği neye göre böleceğini, kaç sipariş sonra karar verebileceğini ve sonucu sahte gösteren beş sessiz hatayı konuşacağız.

A/B testi sandığın şey değil: iki tasarım değil, iki hipotez

Testin ilk kuralı, önce cümleyi yazmaktır. "Sabit tutar indirimi, yüzde indirime göre sipariş başına net kârı artırır" gibi tek bir iddia. Bu cümle olmadan test kurmak, hedefi yokken ok atmaktır; sonuçta ne görsen ona yorum bulursun. Hipotezin üç parçası olmalı: neyi değiştiriyorsun, hangi metriği etkilemesini bekliyorsun, ne kadar etkilemesini bekliyorsun. Üçüncü parça kritiktir; "artar" demek yeterli değildir, "en az yüzde beş artar" demen gerekir. Çünkü örneklem büyüklüğünü belirleyen şey tam olarak bu beklenen fark büyüklüğüdür. Küçük farkları görmek için çok daha fazla sipariş gerekir; bunu baştan bilmek, umutsuz testlere aylar harcamanı önler.

Trafiği nasıl bölersin? Oturum mu, kullanıcı mı?

Bu, testi en çok bozan teknik ayrıntıdır. Bölmeyi oturum bazında yaparsan aynı ziyaretçi bugün A'yı, yarın B'yi görür; kararı hangi varyantın etkilediğini bilemezsin. Bölme kullanıcı bazında ve kalıcı olmalı: giriş yapmış kullanıcıda hesap kimliği, misafirde ise uzun ömürlü bir çerez üzerinden sabit bir gruba atanmalı. Atamayı rastgele sayı üretecine değil, kimliğin karmasına (hash) bağla — böylece aynı kullanıcı her seferinde aynı gruba düşer ve sunucu yeniden başlatıldığında dağılım bozulmaz. Bir epin yazılım altyapısında bu atamanın sipariş kaydına da yazılması şarttır; varyant bilgisi siparişte yoksa sonucu sonradan hesaplayamazsın.

Kaç sipariş sonra karar verebilirsin?

Cevap ziyaretçi sayısı değil dönüşüm sayısıdır. Kaba bir çalışma kuralı: aramak istediğin fark yüzde on civarındaysa varyant başına yaklaşık üç yüz dönüşüm; fark yüzde beş civarındaysa bin dönüşümün üzerine çıkman gerekir. Günde otuz sipariş alan bir e-pin sitesinde bu, iki varyantlı bir test için yirmi günden fazla demektir. Bu sayı seni hayal kırıklığına uğratabilir, ama gerçek şudur: yetersiz örneklemle alınan karar, karar değil kura çekilişidir. Küçük hacimli işletmeler için en verimli strateji, küçük iyileştirmeleri test etmeye çalışmak yerine büyük farklar yaratacak değişiklikleri test etmektir. Buton rengi değil, indirim yapısı; yazı tipi değil, teslimat vaadinin kurgusu.

Neyi ölçüyorsun: dönüşüm oranı mı, sipariş başına kâr mı?

E-pin işinde dönüşüm oranını ana metrik yapmak tehlikelidir. Daha cömert bir indirim varyantı neredeyse her zaman daha yüksek dönüşüm verir; ama sipariş başına bıraktığı kâr daha düşük olabilir. Yani testi kazanan varyant, işletmeyi kaybettirir. Bu yüzden ana metriğin sipariş başına net kâr ya da ziyaretçi başına net kâr olmalı; dönüşüm oranı ve sepet ortalaması ise yardımcı metrik olarak izlenmeli. Net kâr hesabı için varyant bilgisinin yanı sıra o siparişteki ürün maliyetlerinin de kayıtlı olması gerekir — tedarikçi fiyatı sipariş anında kaydedilmiyorsa geriye dönük kâr hesabı yapamazsın. İyi kurulmuş bir dijital ürün satış yazılımı maliyeti sipariş satırına kopyalar; sonradan değişen tedarikçi fiyatı geçmiş raporunu bozmaz.

Testi bozan beş sessiz hata

Birincisi erken bakma alışkanlığı: ilk iki gün paneli saat başı yenilemek, farkın rastgele dalgalandığı bir anda "kazanan" ilan etmeye yol açar. Sonucu test süresi dolmadan yorumlamamak gerekir. İkincisi, test sürerken başka bir değişiklik yapmak: ödeme sağlayıcısını güncellemek, yeni ürün eklemek, reklam bütçesini artırmak. Her ek değişiklik testi kirletir. Üçüncüsü, trafik kaynağı dengesizliği: reklam trafiğinin çoğu bir varyanta düşerse karşılaştırma geçersizdir; bunu kaynak bazlı dağılım raporuyla kontrol et. Dördüncüsü, iade ve iptalleri hesaba katmamak — iadeler sonradan gelir ve kazanan varyantı tersine çevirebilir. Beşincisi, aynı anda üç dört varyant çalıştırmak; her yeni varyant gereken örneklemi büyütür ve yanlış pozitif olasılığını artırır. İki varyantla kal.

Kazananı kalıcı hale getirmek: testin asıl işi burada başlar

Test bittiğinde iş bitmez. Kazanan varyantı yüzde yüz trafiğe açarken üç şey yapmalısın. Birincisi, testi ve sonucunu yazılı bir kayda geçirmek: hipotez, süre, örneklem, metrikler, karar. Bu kayıt altı ay sonra aynı fikri yeniden test etmekten seni kurtarır. İkincisi, kazananı açtıktan sonra iki hafta boyunca doğrulama izlemesi yapmak — test ortamındaki sonuç tam trafikte her zaman aynı çıkmaz. Üçüncüsü, kaybeden varyantın kodunu ve ayarlarını tamamen kaldırmak; yarım kalmış varyant kodu, bir sonraki testte açıklanamayan davranışların kaynağı olur. Uzun vadede kazandıran şey tek bir test değil, bu döngüyü ayda bir kez düzenli çevirmektir. Beş testten biri işe yarar; ama o bir tanesi, sezgiyle alınmış on kararın toplamından daha fazla getirir.

Kampanya testi, bütçesi büyük olanın değil, ölçmeyi disipline edenin kazandığı bir oyundur; tek gereken varyantı kaydeden bir altyapı ve karar vermeden önce beklemeyi bilen bir sabır. Varyant tanımının, trafik bölmesinin ve net kâr raporunun gerçek bir panelde nasıl göründüğünü görmek istersen canlı demo üzerinden kendi senaryonu kur, kapsamı özellikler bölümünde incele ve ölçeğine uygun sürümü fiyat tablosundan seç.