Tarihsel Bağlam. 2010’lardan beri dijital analitikte altın standart olan A/B test metodolojisi, tüm kullanıcı tabanını aynı anda etkileyen iş modeli değişiklikleri karşısında etkisini yitirir. Bu tür durumlarda ürün analistleri, sosyal bilimlerde politikaların değerlendirilmesi için geliştirilmiş olan Difference-in-Differences, Synthetic Control Method ve Propensity Score Matching gibi kısmi deneysel ekonometri yöntemlerine başvururlar. Bu yaklaşımlar, içsel kendini seçme ve rastgeleleştirmenin yokluğunda neden-sonuç etkilerini izole etmeyi sağlar.
Problemin Tanımı. Abonelik seçeneğinin uygulanması, en bağlı kullanıcıların ürünü yüksek yoğunlukla kullananları kapsayan önemli bir içsel seçim problemiyle karşılaşır. Abone kullanıcıların LTV’sini, benzer yaştaki tek seferlik alıcılarla karşılaştırmak, davranışsal kalıplardaki temel farklılıkları göz ardı ettiği için önyargılı bir değerlendirme verir. Ekonomik şoklar ve sezonluk etkiler, özelliğin başlatıldığı zamanla ilişkilidir ve iş modeli bağımsız olarak hedef kitlenin ödeme gücünü etkiler.
Ayrıntılı Çözüm. Optimal strateji, bağlaması gereken gözlemlenebilir özellikler üzerine Propensity Score Matching ile dengelemeyi öncesi ve sonrası aşamalar arasında yaparken, Difference-in-Differences ile zaman eğilimlerini kontrol eder. Abonelik olasılığını puanlamak için Gradient Boosting yerine lojistik regresyon kullanılır ve davranışsal özellikler arasında doğrusal olmayan etkileşimleri dikkate alınır. Makroekonomik değişkenler, zaman dilimleri için sabit etkiler veya kontrol değişkenleri olarak Google Trends indeksleri ile absorbe edilir, mevsimsellik ise ana modelden önce zaman serilerinin STL ayrıştırması ile kaldırılır.
Çevrimiçi eğitim platformu, ayrı kursların satın alınmasıyla eş zamanlı olarak "Sınırsız Abonelik" tarifesini başlattı. İş, kullanıcıların pahalı tek seferlik satın alımlar yerine ucuz aboneliğe geçeceğinden endişeliydi ve bu, gelirin düşmesine yol açabilirdi. Yayın, ekonomik belirsizliğin başladığı döneme denk geldiği için, tarihi verilerle net bir karşılaştırmayı zorlaştırdı ve dışsal şokların izole edilmesini gerektirdi.
Seçenek 1: Aboneler ve abone olmayanların doğrudan karşılaştırılması. Mevcut aboneler hakkında verileri topluyoruz ve bunların LTV’sini benzer yaştaki geçmişteki tek seferlik alıcılarla karşılaştırıyoruz. Artıları: bir günde son derece hızlı uygulama, işin içini anlayabilmesi. Eksileri: abone grubuna motivasyonlu kullanıcıların átabilecekleri durum ve dış ekonomik kriz göz ardı edilir, bu da abonelik etkisinin aşırı değerlendirilmesine yol açar.
Seçenek 2: Kontrolsüz önce-sonra kohort analizi. Başlatmadan üç ay önce gelen kullanıcı kohortlarının LTV’sini, başlatma sonrasındaki kohortlarla karşılaştırıyoruz ve farkı abonelik etkisi olarak değerlendiriyoruz. Artıları: hesaplama basitliği ve propensiti modellemeye gerek kalmaması. Eksileri: abonelik etkisini, kriz nedeniyle ödeme kabiliyetinin düşüşünü ve yılbaşı indirimlerine denk gelen mevsimsel artışları ayırmak mümkün değildir; bu da belirsiz bir işaretle önyargılı bir değerlendirme sağlar.
Seçenek 3: Kısmi Deneysel Model PSM + DiD ile Sentetik Kontrol. Abonelik propensiti modelini ön başlama kohortları seviyesinde inşa edelim, gerçek aboneler için eşleşen kullanıcıları bulalım; ardından tarihsel kohortları karşılaştırarak karşıfaktüel simülasyonu sağlayan DiD ile sentetik kontrol uygulayalım. Artıları: makroekonomik şoklardan abonelik etkisini ve kendini seçme önyargısını zıt zamanlar aracılığıyla izole eder. Eksileri: paralel trendlerin sağlam varsayımlarını gerektirir ve teknik olmayan paydaşlar için yorumlaması zor bir hesaplama gerektirir.
Seçenek 3, kriz ve kendini seçme gürültüsünden gerçek ek etkileri ayırmayı sağlayan, kesim etkisinin heterojenliğini değerlendirmek için Causal Forest kullanılması ile seçildi. Bu yaklaşım, abonelik hedeflemesi konusunda stratejik karar vermek için gereken doğruluğu sağladı; bu, uygulamanın karmaşıklığına rağmen.
Sonuç gösterdi ki, abonelik LTV’sini, üçten fazla kurs satın alma geçmişi olan kullanıcılar için %40 artırırken, rastgele alıcılar için %15 düşürmektedir. Abonelik erişimi için bir aktivite eşiği getirilmesi, %12’lik bir portföy gelir artışı sağladı ve ilk çeyrekte düşüş yaşanmadı.
DiD'de eşit trend varsayımını nasıl doğrularız, kullanıcılar arasında işleme süresi varyasyon gösterdiğinde (staggered adoption)?
Tarihsel dönemlerde “tedavi”yi yapay olarak kaydırarak ve pre-treatment döneminde anlamlı etkilerin olmadığını kontrol ederek placebo testleri yapmak gerekir. Olaydan önce ve sonra katsayıların dinamiğini görselleştirmek için event-study plots oluşturmak kritik öneme sahiptir. Adaylar genellikle SUTVA (Stable Unit Treatment Value Assumption) ihlalini göz ardı eder: bir kullanıcının aboneliği diğerlerinin davranışını öğrenme etkisi veya tek seferlik satışların kanibalizasyonu yolu ile etkileyebilir; bu da standart hataların coğrafya veya kohort seviyesinde gruplandırılmasını gerektirebilir.
Yüksek boyutlu ürün verilerinde Propensity Score için standart lojistik regresyon neden başarısız olur ve bunun yerine ne kullanılmalıdır?
Klasik lojistik regresyon, yüzlerce davranışsal özellikten dolayı boyutlanma laneti çeker ve kendini seçmenin öngörülmesi için kritik öneme sahip olan özellikler arasında doğrusal olmayan etkileşimleri yakalayamaz. Propensiti değerlendirmek için Genelleştirilmiş Rastgele Orman veya önemli değişkenlerin belirli bir biçim varsayımı olmaksızın anahtar metrikler üzerinde denge sağlayan Coarsened Exact Matching (CEM) kullanılması gerekmektedir. Yeni analistler, eşleştirme sonrası tüm anahtar kovaryat için 0.1'den az değerler gerektiren covariate balance kontrolünün gerekliliğini göz ardı ederler.
Yeni abonelerin, tüm yaşam döngüsü boyunca geçmeyen "taze" kohortların LTV analizinde doğru şekilde sağa bırakma (right-censoring) nasıl işlenir?
Gerçekleştirilen geliri karşılaştıramayız, çünkü yeni aboneler tüm avans çekimlerini gerçekleştirme süresine ulaşamamıştır. Aboneleri kaybetme oranını değerlendirmek için Kaplan-Meier hayatta kalma eğrileri veya Cox orantılı risk modelleri kullanmalısınız ve ardından gelecekteki nakit akışlarını indirimleme yapılmalıdır. Temel hata, aboneler ile tek seferlik alıcılar arasındaki churn patterns farklılıklarını göz ardı etmek; çünkü bunu erken aylarda abonelik LTV'sinde "balayı" etkisi nedeniyle aşırı değerlendirmelerle sonuçlanabilir.