E-ticarette geleneksel fiyatlandırma yöntemleri, uzun bir süre boyunca, gönderim eşiğindeki değişiklikleri değerlendirmek için basit korelasyon analizleri veya kısa A/B testlerine güvenmiştir. Ancak, neden-sonuç çıkarımı teorisinin gelişimi ile, tüm kullanıcı tabanı için gönderim politikasındaki ani değişikliklerin, içsel kendini seçim ve zamansal dinamikler sorununu oluşturduğu açıktır. Modern ürün analitiği, makroekonomik politikaların değerlendirilmesi için geliştirilmiş ancak yüksek metrik dalgalanmaları olan dijital ürünler için başarılı bir şekilde adapte edilmiş, Synthetic Control Method (SCM) ve Bayesian Structural Time Series (BSTS) gibi yarı deneysel yöntemlerin uygulanmasını gerektirir.
Ücretsiz gönderim eşiğinin yükseltilmesi, yerel ortalama etki (LATE) belirleme konusunda karmaşık bir problemi gündeme getirir. Satın alma istekleri yüksek olan kullanıcılar davranışlarını değiştirirken (eşik seviyesinde sepet dolduruyor), marjinal kullanıcılar satın almayı erteler veya rakiplere yönelirler. Klasik önce-sonra analizi, mevsimsel etkiler, enflasyon etkileri ve rakip kampanyaları nedeniyle yanlı bir değerlendirme sunar. Ayrıca, kullanıcıların zaman içinde satın alma işlemlerini birleştirmesi nedeniyle, gerçek talep artışı ile bağlantılı olmayan ortalama sepet artışına yol açan intertemporal substitution etkisi gözlemlenir; bu, yanıtın zamansal yapısının modellenmesini gerektirir.
Optimal yaklaşım, kullanıcıların agregat kümeleri üzerinde Synthetic Control Method'ın kombinasyonu ve marjinal kullanıcılar üzerindeki etkinin yerel değerlendirilmesi için Regression Discontinuity Design (RDD)'dir. SCM için, arka planda benzer tarihsel dinamiklere sahip coğrafi bölgeler veya segmentlerin ağırlıklı bir kombinasyonu oluşturulmakta; bu, hedef grubun müdahale öncesi trendini taklit eder ve Abadie-Diamond-Hainmueller ağırlık optimizasyonu algoritmasını kullanır. RDD içinse, eşik seviyesinin etrafındaki dar bir bantta (optimal bandwidth, Imbens-Kalyanaraman algoritmasıyla) işlemler analiz edilir; bu, teşvikin saf etkisini izole etmeyi sağlar. Ayrıca, dinamik olarak sentetik trendden sapmaları hesaplamak için CausalImpact ve BSTS kullanılır, istatistiksel önem de permutation test (placebo tests) aracılığıyla geçmiş veriler üzerinde hesaplanır.
Büyük bir moda pazar yeri, tüm hedef kitleye bir seferde ücretsiz gönderim eşiğini 1500₽'den 2500₽'ye yükseltme kararı aldı. Ürün ekibi, ilk iki hafta içinde ortalama sepetin %22 arttığını kaydetti, ancak CFO, değerli kullanıcıların kaybı ve ertelenmiş alım mekanizması aracılığıyla gelecekteki satışların kanibalizasyona uğrayacağına dair şüpheye düştü. Analistin görevi, gerçek nedensel etkileri mevsimsel indirimler ve rakiplerin yaptığı değişiklikler arasından ayırmaktı.
İlk incelenen seçenek, değişiklikten 30 gün önceki ve sonraki verileri kullanarak, t-testi ve yüzde uplift hesaplaması ile metrikleri basitçe karşılaştırmaktır. Avantajlar: bir günde maksimum uygulama hızı ve istatistik bilgisine sahip olmadan üst yönetim için yüksek anlayış. Dezavantajlar: yükselen mevsimsel trende (ilkbahar koleksiyonunun başlangıcı) tamamen göz ardı etme, dış şokları kontrol etme eksikliği (rakip reklam kampanyası) ve sepet biriktirme dinamik etkisini değerlendirme imkanı yokluğu; bu da etkiyi %40-60 oranında abartır.
İkinci seçenek, değişiklik yapılmayan bölgeleri (örneğin, lojistik kısıtlamaları olan uzak bölgeler) kontrol grubu olarak kullanarak Coğrafi Farklar Farkı-İki Aralık (Geographic Difference-in-Differences) yöntemidir. Avantajlar: doğal varyasyon ve sabit etkiler aracılığıyla fiyat hassasiyetindeki bölgesel farklılıkları yakalama yeteneği. Dezavantajlar: şehirler arasında kullanıcı akışındaki göç nedeniyle paralel trend varsayımının kritik bir şekilde ihlal edilmesi (SUTVA ihlali) ve başkentler ile bölgeler arasındaki rekabet ortamında önemli farklılıkların oluşması, bu da kontrol grubunun sistematik olarak karşılaştırılamayacak hale gelmesine yol açar.
Üçüncü seçenek, tarihsel satın alma sıklığı ve ortalama sepetin oluşturduğu kullanıcılara dayanan Synthetic Control Method'dır; bu yöntem, değişiklikten önceki 12 aylık verilere dayanır. Avantajlar: mevsimselliği, haftanın gününü ve trendleri dikkate alan "bağış yapan" segmentlerin optimal ağırlık setinin oluşturulması; pre-treatment döneminde fit kalitesinin görsel doğrulama imkanı. Dezavantajlar: uzun bir veri geçmişi talebi (en az 10-15 dönem), yapısal kopmalara duyarlılık (regime switch) gibi pandemik davranış değişimleri ve iş için ağırlık yorumlamanın zorluğu.
Kombine bir çözüm seçildi: gelir üzerindeki toplam etkiyi değerlendirmek için SCM ve marjinal kullanıcılar üzerindeki etkinin değerlendirilmesi için ikinci dereceli yerel polinom ile RDD. Bu, "satın almak için ekleme" (basket augmentation) etkisini "kaybetme" (churn) etkisinden ayırmayı ve CausalImpact'da entegre edilmiş bayesyen yapısal zaman serisi modeli (BSTS) aracılığıyla mevsimsel etkileri doğru bir şekilde hesaba katmayı sağladı.
Sonuç olarak, gözlemlenen %22'lik sepet artışının yaklaşık iki kat abartıldığı bulundu: gerçek eklenebilir etki %11 olarak değerlendirildi; burada %6 geçici talep kayması (intertemporal substitution) ve %5 gerçek sepet büyüklüğü artışına dayanıyordu. Analiz, gönderime hassas kullanıcılar segmentini (%15'lik taban) ortaya çıkardı, bu segment %8'lik bir kayıp ve %12'lik bir sipariş sıklığı düşüşü gösterdi, bu da politikanın düzeltilmesini sağladı: yüksek dönüş oranlarına sahip düşük sepet segmenti için 1990₽'lik hibrit bir eşik belirlenerek tutma üzerindeki olumsuz etki azaltıldı.
Kullanıcıların stratejik olarak dönüşü eritlediği durumlarda, sepet biriktirme (cart pooling) etkisini ve alışverişler arasındaki zaman değişimini doğru bir şekilde hesaba katmak için dinamik gönderim eşiğini değerlendirirken nasıl bir modelleme yapılmalıdır?
Cevap: Karar verme zaman yapısını survival analysis (Cox modeli ile oran riskleri) ya da seanslar arasındaki zaman analizleri (inter-purchase time) ile modellemek gerekmektedir. Ana metrik, noktasal dönüşüm değil, mevcut sepet tutarına ve eşiğe olan mesafeye bağlı olarak satın alma risk oranındaki değişim olmalıdır. Ek olarak, sepet eşiğine ulaşan kullanıcıların, artırılmış ürün iade oranları için 14 gün içinde gözden geçirilmesi gerektiği analiz edilmelidir (iade kanibalizasyonu); bu, GMV metriğini bozar ve modellenen return rate üzerinden düzeltme gerektirir.
Neden standart güven aralıkları (confidence intervals), Synthetic Control Method için geçerli değildir ve bu metodolojide nedensel etkinin istatistiksel önemini nasıl değerlendirmek gerekir?
Cevap: SCM değerlendirmeleri, bağış yapan birimlerin ağırlıklarının belirlenmesi süreci ve örneklem sonluluğundan kaynaklanan inferential uncertainty nedeniyle, klasik sıklık istatistiğinin bağımsız gözlemler hakkındaki varsayımlarını ihlal eder. Doğru yaklaşım, permutation test (placebo test) yöntemidir; burada SCM algoritması, her bir bağış birimi için uygulanır (tedavi aldığını varsayarak), yani bir placebo etkileri ampirik dağılımı oluşturur. Etki, tedavi edilen birimin post/pre-RMSPE oranı 95. percentil placebo dağılımını aştığında %5 istatistiksel olarak anlamlı olarak kabul edilir; bu da Abadie, Diamond ve Hainmueller'in (2010, 2015) çalışmalarında formalize edilmiştir.
Causal Impact veya Synthetic Control kullanırken teslimat eşiği değişiminin, aynı anda gerçekleşen trafik kalitesi veya rekabet etkinliği değişiminden nasıl ayrılacağını anlamak için yönlendirmeler nelerdir?
Cevap: Modeli oluştururken, müdahaleden etkilenmeyen (tedavi edilmemiş karıştırıcılar) ancak hedef metrik ile ilişkili olan covariates'leri (öngörücüler) dahil etmek kritik önem taşır; örneğin, rakiplerin site trafiği (SimilarityWeb veya panel veriler aracılığıyla), bölgelerdeki e-ticaret pazarının toplam hacmi veya organik trafiğin CTR'si gibi. CausalImpact'ta temel alan BSTS yapısında, bu değişkenler, genel şokları izole eden state-space modeline regresör olarak dahil edilir. Müdahale öncesi öngörücüler ile sonuç arasında Granger causality kontrol edilmeli ve tarihsel dönemlere "etki" tarihini kaydırarak placebo-in-time testleri yapılmalıdır.