Offline kanalların inkrementalitesini ölçmek için Geo-Lift Testing metodolojisi kullanılarak sentetik kontrol yöntemi (Synthetic Control Method) uygulanır. Temel fikir, coğrafi bölgeleri reklamın yayınlandığı test bölgeleri ve kampanyanın başlatılmadığı kontrol bölgeleri olarak ayırmaktır. Kampanyanın başlamasından önce test bölgelerinin davranışını %95 korrelasyon doğruluğu ile taklit eden kontrol bölgelerinin ağırlıklı bir kombinasyonu oluşturulur.
Zamansal serilerin analizi için, hava durumu verileri, ekonomik göstergeler, rakiplerin faaliyetleri gibi kovaryantları dikkate alarak neden-sonuç ilişkisini değerlendiren Google CausalImpact kütüphanesi kullanılır. Veriler BigQuery'de toplanır ve ön işleme, pandas ve scikit-learn kullanarak, sentetik kontrol için optimal ağırlıkları seçmek amacıyla destek vektörleri yöntemi (SVM) veya Lasso regresyonu ile gerçekleştirilir.
Şirket, on büyük şehirde 50 milyon ruble bütçeye sahip büyük bir televizyon kampanyası planlıyor, ancak etkinliği ölçme konusunda kritik bir sorunla karşılaşıyor: AppsFlyer veya Adjust gibi standart izleyiciler yalnızca dijital etkileşimleri kaydediyor, bu da ekranın yansımasından uygulama yüklemelerine geçişi takip etmeyi imkansız kılıyor. Ek bir zorluk, hedef bölgelerdeki olağanüstü hava koşulları ve rakiplerin aynı anda yürüttüğü agresif promosyon faaliyetleri nedeniyle ortaya çıkıyor; bu durum, geçmiş dönemlerle doğrudan karşılaştırmayı zorlaştırıyor.
İlk olarak, ARIMA modeli kullanarak zamansal serilerin korelasyon analizi ele alındı; burada tarihi verilere dayanan tahminler, uygulama yüklemelerinin gerçek göstergeleri ile karşılaştırıldı. Bu yaklaşımın artıları, Python ile statsmodels kütüphanesini kullanarak düşük maliyetle gerçekleştirilmesi ve reklam bütçesinin bölgeler arasında bölünmesine gerek olmamasıdır. Eksileri, TV etkisini dışsal şoklardan (rakiplerin eylemleri, hava durumu) ayırmanın imkansız olmasıdır; bu durum, TV reklamına ilişkin büyüme atıflarının yanıltıcı olabileceği riski taşımaktadır.
İkinci bir seçenek olarak, doğrudan atıf olanağı sunan, yalnızca bir kısım izleyiciye reklamın gösterildiği klasik A/B testi ile adreslenebilir TV ele alındı. Artıları, katı nedenselliği belirleme imkanı ve uzun vadeli LTV kotalarını ölçme olanağıdır. Eksileri ise, veri sağlayıcıları (GfK, TNS) ile entegrasyonun teknik zorluğu, yüksek maliyet ve hazırlık sürelerinin uzunluğudur (3-4 ay); ayrıca, tüm bölge nüfusunu kapsayan geleneksel yayın TV’ye uygulanabilirliğin olmamasıdır.
Üçüncü bir yaklaşım olarak, sentetik kontrol ile Geo-Lift Testing ele alındı; burada kampanya test bölgelerinde başlatılırken, kontrol bölgeleri için benzer bölgelerin ağırlandığı bir kombinasyon oluşturulur. Bu metodun artıları, doğal deney yoluyla nedenselliği kurabilme yeteneği ve genel dışsal şoklara karşı dayanıklılığıdır. Eksileri, dikkatli kontrol bölgeleri seçiminin gerekliliği, şehirler arasında kullanıcıların göçüne karşı duyarlılık ve kaliteli sentetik kontrol oluşturmak için en az 12 ay geçmiş verilere ihtiyaç duymasıdır.
Üçüncü çözüm seçildi, çünkü şirket, BigQuery deposunda 18 aylık detaylı verilere sahipti; bu, kampanya öncesi dönemde 0.95 üzerindeki korelasyon katsayısına sahip sentetik kontrol oluşturmayı mümkün kıldı. Analiz, Jupyter ortamında pycausalimpact kütüphanesini kullanarak gerçekleştirildi ve verilerin ön işlenmesi SQL ve pandas kullanılarak, izleyici boyutuna göre normalleştirildi.
Sonuç olarak, kampanyanın başlamasından sonra 14 gün içinde %23 oranında istatistiksel olarak anlamlı bir organik yükleme artışı tespit edildi ve bu, %95 güven aralığında [15%; 31%] yansıtıldı; bu da ROI'nin %145'e ulaşmasına ve pazarlama ekibinin gelecek çeyrek için TV kanalında bütçe artırımı yapmasını desteklemesine olanak sağladı.
Offline kampanyaların analizinde reklamın etkisinin hemen ortaya çıkmadığını ve zaman içinde dağıtıldığını göz önünde bulundurarak adstock etkilerini nasıl ele alırsınız?
Adaylar genellikle “gösterim günü – yükleme günü” basit karşılaştırmasını kullanıyor ve TV reklamlarının yarı ömrü (half-life) etkisini göz ardı ediyorlar. Adstock dönüşümünü uygulamak önemlidir: $A_t = X_t + \lambda \cdot A_{t-1}$, burada $\lambda$ — genellikle TV için 0.3-0.8 arasında olan, maksimum olasılık veya Grid Search ile belirlenmiş bir azalma katsayısıdır. Önceki kampanyalardan carryover etkisini de göz önünde bulundurmak önemlidir; aksi takdirde mevcut lift fazladan değerlendirilebilir. $\lambda$'yı doğrulamak için, farklı lag'lerde önceki kampanyalarda çapraz doğrulama yapılır.
Geo-Lift testinde, test ve kontrol bölgeleri arasında basit ortalama karşılaştırması (t-testi) neden kullanılamaz?
Sorun, bölgeler arasındaki varyans heterojenliğidir (farklı temel dönüşüm, farklı nüfus büyüklüğü) ve küme korelasyonu (bölgesel gözlemler arasındaki bağımlılık) varlığıdır. Standart t-testi gözlemlerin bağımsız olduğunu ve varyansların eşit olduğunu varsayar; bu durum, istatistiksel anlamlılığın fazladan değerlendirilmesine neden olur (false positives). Doğru yaklaşım, bölge seviyesinde Clustered Standard Errors veya PyMC3 / Stan içindeki hiyerarşik bayes modellerini kullanmaktır; bu modeller veri yapısını dikkate alır. Ayrıca test öncesinde kovaryant dengesini kontrol etmek için (propensity score matching) gereklidir, böylece sentetik kontrolün yeterliliğinden emin olunabilir.
Marketing Mix Modeling (MMM) ile Geo-Lift Testing arasındaki temel fark nedir ve hangi durumda hangi yöntem tercih edilmelidir?
MMM (örneğin, Meta'nın Robyn kütüphanesi veya Google'ın LightweightMMM kütüphanesi ile) tüm kanalların katkısını aynı anda, düzenleme ile regresyon üzerine kurulu bir korelasyon modeli olarak değerlendirir; fakat bu yöntem, sonlu değişkenliğe duyarlıdır ve enstrümantal değişkenler olmadan katı nedenselliği belirleme kabiliyetine sahip değildir. Geo-Lift, bölgedeki reklamın varlığı/yokluğu üzerinden nedenselliği belirleyen bir yarı deneydir. MMM, çoklu kanallar arasında bütçeyi optimize etmek ve planlama yaparken tercih edilirken; Geo-Lift, spesifik hipotezlerin doğrulanması ve MMM'nin kalibrasyonu için gereklidir. Optimal uygulama, bayes MMM'deki öncelikleri kalibre etmek için Geo-Lift kullanmak olduğunda; bu uygulama pymc-marketing aracılığıyla gerçekleştirilir.