Referans programlarının değerlendirilmesindeki temel sorun, kendi kendine seçim içindeki sonluluklardır: Yüksek katılıma sahip kullanıcılar zaten daha yüksek bir LTV'ye sahip olduklarından, daha sık arkadaşlarını davet ederler ve bu da kanalın yüksek etkinliği yanılsamasını yaratır. Doğru bir değerlendirme için, gözlemlenen özelliklere göre yanlılığı ortadan kaldırmak için Propensity Score Matching (PSM) yöntemlerini veya rastgele bir araç varsa Instrumental Variables (IV) yöntemlerini kullanırız (örneğin, rastgele banner gösterimi).
Davetin gönderilmesi ile referansın dönüşümü arasındaki zaman gecikmelerini göz önünde bulundurmak için, basit kohort analizinin yerine Survival Analysis (Kaplan-Meier modeli veya Cox Orantılı Riskler Modeli) kullanıyoruz. Bu, bazı kullanıcıların henüz yaşam döngülerini tamamlamadığı durumlarda sansürlü verilerin (right-censoring) doğru bir şekilde işlenmesine olanak tanır. LTV'yi, beklenen gelecekteki işlemleri tahmin etmek için tutma eğrisi entegrasyonu ile veya BTYD (Pareto/NBD) yöntemiyle hesaplıyoruz.
Kontekst: Bir mobil yemek siparişi uygulamasında, iki taraflı bonuslar sunan bir referans programı başlatıldı. Üç ay sonra Tableau'da yapılan raporlama, referans bağlantısını aktive eden kullanıcıların platform ortalamasından %40 daha yüksek LTV'ye sahip olduğunu gösterdi. Ürün Yöneticisi bütçenin artırılmasını talep etti, ancak analiz ekibi, farkın programdan değil, süper kullanıcıların temel özelliklerinden kaynaklandığını düşündü.
Sorun: Gerçek eklenen etkinin, katılımla olan korelasyondan ayrıştırılması mümkün olmadı. Grupların karşılaştırılmasında basit SQL sorgularının kullanılması, confounder'lar (sipariş sıklığı, ürün süresi) nedeniyle yanlı bir değerlendirme veriyordu. Doğru bir değerlendirme olmadan işletme, marjinalitesi negatif veya sıfıra yakın olan bir kanal için fazla ödeme riski taşıyordu.
Çözüm 1: SQL ile Kohortların Doğrudan Karşılaştırılması
BigQuery ile, "Davet edenler" (treatment) ve "Davet etmeyenler" (control) kohortlarını karşılaştırdık, ARPU ve 90. günde retention oranlarını hesapladık.
Avantajlar: Anlık uygulama, paydaşlar için anlaşılabilir görselleştirme, düşük kaynak gereksinimleri.
Dezavantajlar: Kendi kendine seçim (self-selection bias) ve hayatta kalma hatası (survivorship bias) önemli bir hata. Ürün içinde kalmayı planlayan kullanıcılar, referans bağlantılarını daha sık kullanmaktadır. Sonuç yüksektir ve karar verme için uygun değildir.
Çözüm 2: Tarihsel Veriler Üzerinde Propensity Score Matching
Python (scikit-learn) ile, pre-treatment özelliklere (hesap yaşı, sipariş geçmişi, ortalama çeki) dayanarak programda yer alma olasılığını değerlendiren bir lojistik regresyon modeli oluşturduk. Ardından Nearest Neighbors yöntemi ile 1:1 eşleştirme yaparak yalnızca karşılaştırılabilir alt gruplarda LTV'yi karşılaştırdık.
Avantajlar: Gözlemlenen değişkenler üzerindeki yanlılığı ortadan kaldırır, deney yapmadan geriye dönük verilerle çalışır. Hızla ATT (Treated Üzerindeki Ortalama Tedavi Etkisi) tahmini almayı sağlar.
Dezavantajlar: Gözlemlenmeyen özellikleri (unobserved confounders) ortadan kaldırmaz, bu nedenle dışadönüklük veya sosyal sermaye gibi faktörler etkili olabilir. Dengesiz verilere (az sayıda davet eden) sahip olduğunda genel destek (common support) ile ilgili sorunlar ortaya çıkar ve bazı örnekler elenir, bu da gücü azaltır.
Çözüm 3: Araç Değişkenleri ve Survival Analysis
Doğal bir deney bulduk: Kullanıcıların %50'si ana ekranda referans programına ait bir bannerı rastgele gördü (araç Z), bu durum katılım olasılığını (X) etkiledi ancak doğrudan LTV'yi (Y) etkilemedi. Etkiyi, 2SLS (İki Aşamalı En Küçük Kareler) yöntemi ile linearmodels kütüphanesi kullanarak değerlendirdik, LATE (Yerel Ortalama Tedavi Etkisi) elde ettik. Gecikmeleri göz önünde bulundurmak için Survival Analysis uyguladık: referansın ilk siparişine kadar geçen sürenin risk modelini (hazard function) oluşturduk ve her anlama dönüştürme olasılığına göre LTV'yi düzelttik.
Avantajlar: IV yöntemi, hem gözlemlenen hem de gözlemlenmeyen confounderları ortadan kaldırarak nedensel bir değerlendirme sağlar. Survival analizi, eksik verileri düzgün bir şekilde işleyebilir ve zaman dinamiklerini modellemeye olanak tanır.
Dezavantajlar: Geçerli bir aracın (relevans ve egzogenite) kanıtlanması zor, bu da sorun oluşturur. IV tahminlerinin istatistiksel gücündeki düşüklük (geniş güven aralıkları). LATE'nin yorumlanması, ATE'den (yalnızca "compliers" için ortalama etki) farklıdır.
Seçilen Çözüm:
Hibrid bir yaklaşım benimsedik: IV tahmini için banner rastgeleliğini kullanarak katılımın net etkisini değerlendirdik, ardından referansların dönüşüm süresini göz önünde bulundurarak beklenen LTV hesaplamak için doğrusal olmayan Survival Analysis (Cox zaman değişkenli kovaryantları ile) modelini kullandık. Bu, programın etkisini kendi kendine seçim etkisinden ayırmamızı sağladı.
Sonuç:
Gerçek eklenen etki, compliers grubu için LTV'ye %12 ekleme yaptı, başlangıç raporundaki %40 değil. Gecikme analizi, referans dönüşümlerinin %85'inin tıklamadan sonraki ilk 14 gün içinde gerçekleştiğini gösterdi, bu da etkinlik değerlendirme süresini 90 günden 30 güne indirme şansı tanıdı. İşletme, bekleme sürelerinden vazgeçerek müşteri edinim maliyetini (CAC) %18 azaltarak birim ekonomisini gözden geçirdi.
Soru 1: Sosyal çevredeki üyeler arasında müdahalenin olmaması şartını (SUTVA) referans programında nasıl test edersiniz, burada davet edenler arasında ağ etkileri vardır?
SUTVA, sosyal çevredeki davetlerin yoğunluğunun dönüşüm olasılığını etkilemesi durumunda ihlal edilir (örneğin, aşırı doygunluk veya viral etki). Kontrol sağlamak için, kullanıcıları coğrafi kümelere veya sosyal grafikleri aracılığıyla segmentler oluşturacak şekilde kümeleme yapıyoruz.
Ardından, yüksek ve düşük referans bağlantısı yoğunluğuna sahip kümeleri karşılaştırmak için Difference-in-Differences yöntemini uyguluyoruz. Yoğun kümelerdeki etkiler önemli ölçüde farklı olursa (doygunluktan dolayı daha düşük veya sosyal kanıttan dolayı daha yüksek), SUTVA ihlal edilir ve grup içi etkileşimlerle (spatial models) modeller kullanmak gerekir ya da analizi izole edilmiş segmentlerle sınırlamak gerekir.
Soru 2: Kullanıcıların bir kısmı hâlâ churn yapmadığı zaman, sansürlü verilerde LTV tahmin etmek için neden normal lineer regresyonu (OLS) kullanamazsınız?
OLS, sansürleme (right-censoring) faktörünü göz ardı eder ve mevcut LTV'yi nihai bir LTV olarak değerlendirdiğinden, "genç" kullanıcılar için sistematik olarak düşük tahminler elde edilir. Bunun yerine, tutma eğrisinin ( S(t) ) değerlendirilmesi için Survival Analysis kullanıyoruz, ardından beklenen yaşam süresini elde etmek için bu eğrinin entegrasyonunu yapıyoruz.
Alternatif olarak, BTYD gibi tekrar satın alma olasılıklarını hesaba katan olasılık tabanlı modeller (örneğin, Pareto/NBD veya Gamma-Gamma) kullanıyoruz, bunlar Python için lifetimes kütüphanesinde uygulanmıştır. Bu modeller, alışverişler arasındaki sıklığın ve zamanın olasılık dağılımlarını göz önünde bulundurarak, henüz görünmeyen işlemleri dikkate alarak, aktif kullanıcılar için bile gelecekteki LTV'yi tarafsız bir şekilde değerlendirmektedir.
Soru 3: Eklenmiş davetleri (program sayesinde meydana gelen davetler) organik davetlerden (teşvik olmadan meydana gelenler) nasıl ayırırsınız?
Principal Stratification çerçevesini kullanarak, popülasyonu dört gruba (strata) ayırıyoruz: Always-takers (her zaman davet eder), Compliers (sadece program nedeniyle davet eder), Never-takers ve Defiers. Binar bir araçla (örneğin, bannerı gördü/görmedi) IV analizi gerçekleştirerek, yalnızca Compliers için etkiyi değerlendirmek amacıyla LATE'yi tahmin ediyoruz.
Daha ayrıntılı segmentasyon için, Causal Machine Learning yöntemlerini (EconML, CausalML Python içinde) uyguluyoruz, bu yöntemler Causal Forest veya Meta-learners (S-Learner, T-Learner) gibi tekniklerdir ve farklı segmentler için Koşullu Ortalama Tedavi Etkisi (CATE) tahmin etmeye olanak tanır. Bu, programın hangi kullanıcılar (örneğin, düşük/yüksek çeki) için eklenmiş davetler oluşturduğunu, hangileri için organik paylaşımı kaydettiğini anlamamıza yardımcı olur.