Sorunun yanıtı.
Tarihsel olarak e-posta pazarlama, iletişim sıklığının artışıyla birlikte gelirdeki artışın doygunluk noktasına ulaştığı bir maksimize etme paradigmasında gelişti. Engagement fatigue teorisinin gelişimi ve spam filtrelerinin (SpamAssassin, Gmail Promotions Tab) sıkılaşmasıyla birlikte, sıklığın optimizasyonuna ihtiyaç doğdu, ancak klasik before/after karşılaştırmaları doyma ve dış şoklar gibi doğrusal olmayan etkiler nedeniyle güvenilir olmadı.
Değerlendirme sorunu, küresel bir dağıtımda kontrol grubu oluşturma imkânının olmaması, self-selection bias (farklı segmentlerin farklı şekillerde tepki vermesi) ve confounding faktörler (mevsimsellik, makroekonomik trendler, paralel pazarlama aktiviteleri) ile ilgilidir. Standart korelasyon analizleri, nedensel etkiyi genel ürün büyüme veya düşüş trendleriyle birleştirir.
Optimal çözüm, kısmi deneysel yöntemlerin bir kombinasyonunu gerektirir. Difference-in-Differences (DiD) ve Propensity Score Matching (PSM) kullanarak tarihi katılım metriklerini (açılış oranı, tıklama oranı, tazelik) inceleyerek uygulanmalıdır. Her segment için, Synthetic Control Method kullanarak, korele olan zaman serileri (organik trafik, doğrudan uygulama ziyaretleri) ile sentetik bir kontrol oluşturuyoruz. İnferans için, Causal Impact kullanarak Bayesian Structural Time Series üzerine dayalı modellemeler yapıyoruz, bu sayede güven aralıkları ile karşı faktörleri modelleyebiliyoruz. Ek olarak, segmentler RFM’deki heterogeneous treatment effects değerlendirmesi için Causal Forests uyguluyoruz. Doğrulama, parallel trends assumption'ı kontrol etmek için pre-intervention dönemindeki placebo testleri aracılığıyla ve gözlemlenmeyen confounding'e karşı dayanıklılığı değerlendirmek için sensitivity analysis ile gerçekleştirilir.
Gerçek bir durum.
2 milyon kullanıcısı olan bir EdTech platformu, abonelik iptal oranında çeyrek dönem içinde %40’lık bir artışla karşılaştı ve eğitim bülteninin sıklığını günlükten haftada üç kez kısıtlamaya karar verdi. Sorun, CEO’ya frekansın düşmesinin power kullanıcılarının gelirini yok etmeyeceğini kanıtlamaktı; ayrıca değişiklik 15 Aralık’ta başlatıldı - yılbaşı alışveriş patlaması için geleneksel yüksek talep döneminden bir hafta önce, bu da güçlü bir zamansal confounder oluşturuyordu.
İlk değerlendirdiğimiz yaklaşım, t-test’i kullanarak bir hafta öncesi ve sonrası arasındaki ortalama harcamaların basit karşılaştırmasıydı. Avantajları, uygulanma hızında ve iş paydaşları için anlaşılır olmasındaydı. Dezavantajları önemliydi: Aralık’taki mevsimsel alışveriş artışını tamamen göz ardı etmek, LTV’de %15’lik yanıltıcı bir artış etkisi yaratıyordu, oysa aslında iletişimlerin azaltılmasından sıfır veya negatif bir etki gözlemlenebiliyordu.
İkinci seçenek, 30 günlük bir gecikme ile kohort analizi yaparak Kasım ve Aralık kohortlarını karşılaştırmak oldu. Avantajları, kullanıcının yaşam döngüsünü ve mevsimsel ayarlamalı metrikleri dikkate almaktı. Dezavantajları, farklı kohortların farklı temel dönüşüm oranlarına sahip olması ve Aralık kohortunun yılbaşı promosyon kampanyalarıyla çarpıtılması, bu da saf iletişim etkisini izole etme imkânını imkânsız hale getiriyordu.
Üçüncü seçenek, düşük e-posta penetrasyonu olan BDT bölgelerindeki coğrafi verilere dayalı Synthetic Control oluşturmaktı (bu bölgelerde kullanıcılar push ve SMS bildirimlerine yöneliyor) ve e-posta bültenlerine yüksek bağımlılık gösteren bölgeleri kontrol grubu olarak kullanmaktı. Avantajları: toplu zaman serileri seviyesinde “değişiklik olmadan ne olurdu” karşı faktörünü modelleme imkânı. Dezavantajları: paralel trend varsayımının tatil eğitim geleneklerindeki bölgesel farklılıklar nedeniyle ihlal edilmesiydi ve şehir verileri, yeni yıl tatilleri sırasında kullanıcıların bölge değiştirmesi nedeniyle yüksek bir gürültü içeriyordu.
Dördüncü seçenek (seçilen) - Difference-in-Differences ile geçmiş aktiviteye göre tam eşleşme sağlamaktı (90 gün önceki açılışlar, tıklamalar, satın almalar). Güç kullanıcılarını (e-postaların >%70’ini açtılar) tedavi grubu olarak ve pasif kullanıcıları (e-postaların <%5'ini açtılar) kontrol grubu olarak kullandık, çünkü son gruptaki kullanıcılar aslında frekans değişikliğinden etkilenmiyordu. Avantajları: gözlemlenen özellikler üzerinde sıkı kontrol sağlamak için PSM ve önceki çeyrek verilerinde parallel trends doğrulama imkânı. Dezavantajları: aktif ve pasif kullanıcılar arasında farklı trendlerin olmaması varsayımının ek bir doğrulama gerektirmesiydi. Dayanıklılık için, e-posta frekansıyla doğrudan ilişkilendirilmeyen ancak genel ürün trenini yansıtan mobil uygulama metriklerini (oturumlar, uygulama içi satın almalar) kontrol zaman serileri olarak kullanarak Causal Impact uyguladık.
Sonuç, güç kullanıcıları için frekansın azaltılmasının %8’lik (p-değeri < 0,05, %95 CI [5%, 11%]) istatistiksel olarak anlamlı bir şekilde 30 günlük tutma oranını azalttığını, ancak spam listelerine düşüş sayesinde yaşam boyu değerlerinde %3’lük bir artış sağladığını gösterdi. Orta aktif kullanıcılar için etki istatistiksel olarak nötr idi. İş önerisi: en yüksek katılım puanına sahip %10’luk kullanıcı grubuna günlük frekansa geri dönmek ve diğer kullanıcılar için haftada üç e-posta göndermek.
Adayların genellikle gözden kaçırdığı noktalar.
E-posta sıklığının etkisini içerik kalitesinin etkisinden nasıl ayırabiliriz, eğer sıklığın azaltılması ile birlikte ekip içerik yazımını ve e-posta tasarımını iyileştirdiyse?
Cevap, mediation analysis ve instrumental variables (IV) kullanmayı gerektirir. İlk olarak, frekans değişikliğinin e-posta açma olasılığı üzerindeki etkisini (içerik kalitesini kontrol ederek, kontrol döneminde okunabilirlik puanı veya katılım oranı metrikleri aracılığıyla) değerlendirmek ve ardından açmanın dönüşüme etkisini değerlendirmek için iki aşamalı bir model oluşturulması gerekiyor. R veya Python için mediation paketleri, toplam etkiyi doğrudan etki (sıklık) ve dolaylı etki (kalite) olarak ayrıştırmak için kullanılır. Yeni başlayan bir uzman için kritik bir nokta, eğer içerik kalitesi bir collider ise (sıklık üzerinden içerik yazarlarına ayrılan kaynaklarla bağlantılıysa), temiz sıklık etkisini izole etmek için Perl'in front-door adjustment'ını kullanmak ya da gecikmeli kalite metriklerini (lag=1 ile kalite değeri) bir araç olarak kullanmak gerekecektir.
Kullanıcıların, tedavi ve kontrol grupları arasında spillover etkileri yaratarak sosyal medyada e-postalardaki promosyon kodlarını paylaşmaları durumunda SUTVA'nın (Stable Unit Treatment Value Assumption) ihlalinde sonuçların nasıl doğru bir şekilde yorumlanacağı?
Adaylar genellikle gözlemlerin bağımsız olduğunu varsayarak ağ etkileşimini göz ardı eder. Çözüm, bireysel düzeyde analizden küme düzeyine (cluster robust standard errors) geçiş yapmak veya causal inference under interference yöntemlerini kullanmak olacaktır. Sosyal grafikler aracılığıyla (eğer bağlantılara dair veri varsa) veya coğrafi yakınlık ile kümeleri belirlemek ve ardından gözlemsel veriler için exposure mapping uygulamak gerekiyor. Spillover değerlendirmeleri için neighborhood-based treatment definitions veya sinusoidal exposure models kullanılıyor. Pozitif spillover durumlarında (promosyon kodlarının viral yayılımı) standart tahminler düşük etkiler verir, çünkü kontrol grubu kısmen “tedavi” alır. Tahminleri, komşuların maruz kalma derecesini dikkate alarak inverse probability weighting yoluyla düzeltmek gerekmektedir.
Gözlemlenmeyen confounding faktörlere (unobserved confounding) yönelik sonuçların dayanıklılığını değerlendirmek için sensitivity analysis nasıl yapılır, örneğin, aynı hedef kitleye yönelik Facebook'ta aynı zamanda yürütülen bir reklam kampanyası?
Ürün analitiğinde standart yaklaşım, gözlemlenen ilişkiyi açıklamak için gözlemlenmeyen bir confounder olması gereken minimum ilişki gücünü değerlendirmek için E-value (VanderWeele & Ding) kullanmaktır. Ayrıca, bounding analysis (Rosenbaum bounds) ve sıralama tabanlı testler için uygulanır. Yeni başlayan bir uzman için kritik önemde olan bir teknik, negative controls kullanımıdır - etkilenmemesi gereken sonuçların (örneğin, sadece e-posta kanalını değiştirirken mobil uygulamadaki oturum sayısı) kullanılması, ancak bunlar gözlemlenen confounder ile korelasyon gösteriyor. Eğer “e-posta gönderim sıklığını azaltma”, uygulamadaki süreyi etkiliyorsa (olmaması gereken bir durum), bu, ortak bir confounder bulunduğuna dair bir sinyal olarak kabul edilmelidir (örneğin, genel reklam bütçesi veya mevsimsellik).