Tarihsel olarak sadakat programlarının değerlendirilmesi, katılımcıların ve katılmayanların ortalama sepet tutarlarının sadece basit bir karşılaştırmasına dayanmaktaydı ve bu da selection bias nedeniyle etkinin abartılmasına neden oluyordu. Modern ürün analitiği, kullanıcıların gözlemlenemeyen özelliklere (örneğin, planlanan satın alma miktarı) dayanarak programa kendilerini seçtikleri koşullarda gerçek nedensel etkilerin izole edilmesini gerektirir. Temel sorun, programın etkisini gruplar arasındaki mevcut farklılıklardan ayırmak ve bonusların verilmesi ile etkinleştirilmesi arasındaki zaman gecikmelerini doğru bir şekilde işlemektir.
Çözüm için Propensity Score Matching (PSM) ve Difference-in-Differences (DiD) yöntemi ile genişletilmiş zaman etkileri spesifikasyonu kombine edilmelidir. İlk aşamada, başlama tarihinden önceki kovaryatlara (satın alma geçmişi, demografi, etkileşim) dayanarak programa katılma olasılığını modelleyen bir model kurulmaktadır. Kullanıcılar, gözlemlenen özelliklerin dağılımını dengelemek için en yakın komşu veya ağırlıklar (IPW) kullanılarak eşleştirilir. İkinci aşamada, sabit etkilere sahip DiD, kullanıcılar ve zaman için uygulanır ve dönemler cashback etkinleştirilmesine göre bucketlara ayrılır (event study design). Bu, bazı kullanıcıların bonusları bir hafta içinde, bazıları ise bir ay içinde aktif hale getirdiğini göz önünde bulundururarak etkilerin dinamiklerini takip etmeyi sağlar. Cannibalizasyonu kontrol altına almak için bağımlı değişkenin gecikmeleri dahil edilir ve farklı gözlem ufuklarına sahip kohortlar Survival Analysis ile analiz edilir.
Bir elektronik pazarda %5 cashback biriktirme programı başlattık, burada kullanıcıların profillerinde seçeneği etkinleştirmeleri gerekiyordu. Bir ay sonra metrikler, katılımcılar arasında satın alma sıklığında %40 artış gösterdi, ancak iş dünyası neden-sonuç hakkında şüpheler taşıyordu, çünkü programa katılanların başlangıçta sadık kullanıcılar olduğu varsayılıyordu. Problem, bonusların yalnızca verilmesinden 14 gün sonra harcanabilmesi durumunu da içeren üçüncü haftada yapay bir aktivite patlaması yaratıyordu.
İlk değerlendirilen seçenek — cashback'e zorunlu rastgele erişim sağlamak için klasik bir A/B testi. Artılar: nedensel etki için temiz bir değerlendirme. Eksiler: yasal kısıtlamalar (onay olmadan finansal bir program dayatılamaz) ve davranışta çarpılma (cashback'in erişilemez olduğunu öğrenen kullanıcılar rakiplere yöneliyordu). Bu seçenek etik ve iş riskleri nedeniyle reddedildi.
İkinci seçenek — t-testi ile katılımcılar ve katılmayanlar arasında basit bir karşılaştırma. Artılar: uygulama hızı ve raporlama basitliği. Eksiler: hayatta kalma (survivorship bias) için felaket bir çarpıtma ve içselliği göz ardı etme; analiz, katılımcıların etkinleştirmeden önce %2.3 daha yüksek temel satın alma sıklığına sahip olduğunu gösterdi ki bu, karşılaştırmanın doğru olmadığı anlamına geliyordu.
Üçüncü seçenek — cashback hakkı veren ilk satın alma tutarında Regression Discontinuity Design (RDD). Artılar: eşik etrafındaki yerel rastgelelik, marjinal kullanıcılar için yanlı olmayan bir değerlendirme sağlar. Eksiler: değerlendirme, yalnızca eşik etrafındaki dar bir grup için geçerlidir (local average treatment effect) ve tüm kitle için geçerli değildir; ayrıca, bizim durumumuzda sert bir eşik yoktu — program, opt-in'den hemen sonra herkese açıktı.
Seçilen çözüm — alternatif bir kontrol yaratmak için Propensity Score Matching ve zaman gecikmelerini hesaba katan Cohort-based Difference-in-Differences kombinasyonu. Katılımcıları, RFM segmentleri, mevsimsellik ve cihaz gibi 15 değişkenle katılmayanlarla eşleştirdik; ardından sabit haftalık ve kullanıcı etkileri ile DiD uyguladık. 14 günlük gecikmeyi dikkate almak için etkinleştirme anına göre binalar ile Event Study oluşturduk; bu, gerçek artışı satın alma aktarımından ayırmamızı sağladı. Sonuç: net inkremental etki, kanibalizasyon düştükten sonra satın alma sıklığında %12 ve ortalama sepet tutarında %8 arttı, oysa brüt veriler %40 gösteriyordu. Program başarılı olarak kabul edildi, ancak ROI beklentileri önemli ölçüde daha mütevazıydı.
Bonusların verilmesi ile harcama arasındaki gecikmeler olduğunda program etkisini nasıl doğru şekilde farklılaştırabilirsiniz?
Cevap, Dynamic Treatment Effects anlayışını gerektirir. Sadece ortalama etkiyi değil, aynı zamanda zaman içindeki dinamiklerini de modellemek zorunludur; Y_it = α_i + γ_t + Σ_k β_k · D_i,t-k + ε_it şeklinde etkinlik çalışması ile; burada D_i,t-k, etkinleştirme anına ilişkin dummy değişkenlerdir. Eğer β_k katsayıları etkinleştirmeden önce sıfırdan anlamlı şekilde farklı değilse (parallel trends test) ve etkinleştirmeden sonra temel düzeyin altındaki bir artış ve sonrasında düşüş gösteriyorsa, bu kanibalizasyon (borrowed demand) belirtisidir. Net LTV etkisini değerlendirmek için, zaman içindeki etkiyi entegre etmek ve bunu benzer öncelikli yol gösteren donor birimlerine dayalı Synthetic Control Method ile karşılaştırmak gerekir.
Neden standart A/B testi bireysel rastgeleleştirme ile SUTVA varsayımını ihlal edebilir?
SUTVA (Stable Unit Treatment Value Assumption), bir kullanıcının bonuslarının diğerlerinin davranışını etkilediğinde ihlal edilir (örneğin, aile hesapları veya şirket satın alımları). Eğer erkek cashback'i etkinleştirirse ve ailesi için bir satın alma yaparsa, eşi ayrı satın almayı durduruyorsa, bireysel rastgeleleştirme yanlı bir değerlendirme sunacaktır. Gereken, haneler düzeyinde Cluster Randomization uygulamak veya analiz yöntemlerini kullanmak gibi Spillover Effects ile süreçler; örneğin, çeşitli kütleler arasındaki değişken eşik değerlerine dayalı Two-Stage Least Squares (2SLS) ile araç değişkenleri ile çalışmaktır.
Müşteri yaşam döngüsü aşamasındaki etki heterojenliğini nasıl göz önünde bulundurursunuz?
Adaylar sıklıkla cashback etkisinin yeni kullanıcılar için (ilk motivasyon etkisi) ve olgun kullanıcılar için (tutunma etkisi) farklı olduğunu göz ardı eder. Triple Difference (DDD) uygulamak gerekir: program etkisi = (Y_post - Y_pre) tedavi için - (Y_post - Y_pre) kontrol için, tenure segmentlerine göre ayrılmıştır (yeni/olgun). Aynı zamanda, mevsimsellik segment ile etkileşimin sabit etkileri ile kontrol edilir. Alternatif olarak, Heterogeneous Treatment Effects uygulayarak Causal Forests veya Meta-learners (S-öğrenici, T-öğrenici) ile, pozitif CATE (Conditional Average Treatment Effect) gösteren segmentleri tanımlamak ve programın hedeflemesini bu segmentlerde optimize etmek, sıfır veya negatif etkisi olan kullanıcılara yönelik harcamalardan kaçınmak mümkündür.