Tarihsel bağlam. 2020'li yıllardan itibaren e-ticaret evrimi, anlık teslimattan (same-day) sürdürülebilir lojistik üzerine odaklandı; burada siparişlerin konsolidasyonu, karbon ayak izini ve son mil maliyetlerini azaltıyor. Amazon Day ve benzeri hizmetlerdeki erken deneyimler, gönüllü teslimat birleştirmelerin, düşük aciliyet arz eden kullanıcıların öz seçilim göstermesine neden olduğunu ortaya koymuş ve bu da ürün metrikleri üzerindeki etkilerin değerlendirilmesinde içsellik (endogoniklik) oluşturmuştur. Zorunlu konsolidasyonda, lojistik altyapı tüm bölge seviyesinde kitlesel rota optimizasyonu gerektirdiği için geleneksel A/B test yöntemleri uygulanamaz.
Problemin tanımı. Konsolidasyon sistemi (örneğin, sadece salı ve cuma teslimatı) uygulandığında, rastgele dağılımın olmaması bir problem yaratır: Uygulama bölgelerindeki kullanıcılar, depolara olan coğrafi uzaklığı ve bekleme toleransı açısından sistematik olarak farklılık gösterir. Ayrıca, kullanıcıların komşu bölgelerde, konsolidasyon olmaksızın, iş veya akrabalarının adresine teslimat adresini değiştirdiği durumda mekansal kirlenme (spillover) riski bulunmaktadır; bu, Stable Unit Treatment Value Assumption (SUTVA) varsayımını ihlal etmektedir. Talep mevsimselliği ve yüksek gelirli bölgelerdeki lojistik optimizasyonun başlama ile olan korelasyonu, gerçek neden-sonuç etkisini de çarpıtmaktadır.
Detaylı çözüm. Etkilerin izolasyonu için, lojistik bölgelerde kademeli uygulama (rollout) ile birlikte Staggered Difference-in-Differences (DiD) yöntemi kullanılmaktadır; uygulama öncesi dönemler kontrol grubu olarak hizmet etmektedir. Uygulama öncesi metriklerin dinamiklerini analiz ederek, gelecekteki tedavi ve kontrol grupları arasında diferansiyel eğilimlerin olmadığını teyit etmek için event study ile paralel eğilim varsayımını kontrol etmek önemlidir. Her bölge için, planlanan uygulama olmaksızın benzer tarihsel sipariş dinamiklerine sahip bağış bölgelerinden Synthetic Control (Sentetik Kontrol) oluşturulmakta, bu da karşı faktörü modelleyerek tahminlerin güçlendirilmesine olanak tanımaktadır.
Kısmi kabul için IV-regresyonu (Instrumental Variables) kullanılarak, kullanıcıların uygulama bölgesine ait olma durumu (assignment) Z değişkeni olarak, konsolidasyonun gerçek kullanımını öngören D ile birlikte kullanılırken, sonuç Y, bağlılık veya satın alma sıklığıdır. Bu, davranışlarını uygulamanın etkisiyle değiştirenler için etkili olan LATE (Local Average Treatment Effect) - yani comply edenler - ve hizmetin teklifinin etkisini gösteren ITT (Intent-to-Treat) ile etkileri ayırmaya yardımcı olur. Ürün kategorileri (impulse vs stock-up goods) üzerinden heterojenlik analizi, gerçek talep azalışını zamanlar arası ikame (intertemporal substitution) ile ayırmaya yardımcı olur.
Beyaz eşya pazar yeri, lojistik maliyetleri %30 azaltma amacıyla üç büyük şehirde teslimat konsolidasyonu için bir pilot uygulama başlattı. Analiz, konsolidasyonu kabul eden (treatment) ve reddeden (control) kullanıcılar arasında karşılaştırmalarda bozulmalar ile karşılaştı: adoptörlerin tarihsel olarak daha düşük satın alma sıklığı ve daha yüksek ortalama sepet tutarına sahip olduğu gözlemlenmiş, bu da planlayan alıcıların öz seçilimini göstermektedir. Basit bir karşılaştırma, bağlılıkta yanlış bir azalma gösterilecekken, aslında davranış stabil kalabilir ancak seçmeci kaydırma ile çarpıtılmış olabilir.
Birinci seçenek - uygulama öncesi ve sonrası metriklerin doğrudan karşılaştırılması (pre-post analysis) içindeki alan. Burada sağlanan avantaj, veri toplama gereksinimi olmadan sonuçları hızla elde etme kolaylığıdır. Dezavantajları açıktır: konsolidasyon etkisini, talep mevsimsel dalgalanmalarından ve kullanıcı veritabanının genel büyüme eğilimlerinden ayırt etmek mümkün değildir; bu, başlangıçların tatil dönemleri veya reklam kampanyaları ile örtüştüğünde tahminin sistematik olarak bozulmasına yol açar.
İkinci seçenek, belirli bir tarihte uygulama olan ve olmayan bölgelerin kesitsel karşılaştırmasıdır. Avantajları, zamanla olan eğilimler üzerinde kontrol sağlaması ve kontrol bölgeleri için uzun bir tarih gereksinimi olmamasıdır. Dezavantajlar, uygulama bölgelerinin yüksek sipariş yoğunluğu ve bağlılık kriterine dayalı olarak seçilmesi nedeniyle seçim kaydırması (selection bias) yaratması ve bu da grupların başlangıç özellikleri açısından karşılaştırılabilir olmamasıdır.
Üçüncü seçenek, Staggered DiD ile propensity score matching ve Sentetik Kontrol kullanmaktadır. Avantajları, uygulama olmayan bölgelerin kontrol grubu olarak kullanılmasına olanak tanıması, bölgesel ve zamanlı sabit etkileri koruması ve eşleştirmenin önceden trend özellikleri açısından karşılaştırılabilirliği artırmasıdır. Dezavantajlar, zaman içinde heterojen etkileri olduğunda paralel eğilim varsayımının doğrulanmasında zorluk ve komşu bölgelerde mekansal korelasyon (spatial spillover) riski içermektedir; burada kullanıcılar teslimat adreslerini değiştirebilir.
Seçilen çözüm ve sonuç: Üçüncü yaklaşım, bölgesel satın alma davranışları ve hizmet düzeyi farklılıklarını izole etmeye izin veren lojistik bölgeler arasındaki sınır analizinde (RDD tarzı sınır analizi) IV-regresyonu kullanılarak tercih edilmiştir. Analiz, konsolidasyonun gerçek etkisinin, ardından %8’lik bir işlem sıklığı düşüşü (naif analizdeki %15 değil) ve küçük siparişlerin birleşmesi sayesinde %22’lik bir ortalama sepet artışı olduğunu göstermiştir. Bağlılık kontrol grubunun seviyesinde kalmış ve bu, fonksiyonun diğer bölgelere genişletilmesi için ekonomik etkisini öngörmüştür.
Uygulamanın sonucunda, şirket, rotaların optimizasyonu sayesinde lojistik maliyetleri %35 oranında azaltmış ve sipariş sıklığındaki düşüşü ortalama sepet artışı ile telafi etmiştir. Elde edilen katsayılar temelinde oluşturulan tahmin modeli, farklı nüfus yoğunluklarına sahip yeni bölgeler için başa baş noktasını hesaplamayı sağlamıştır. Yöntem, klasik A/B testinin mümkün olmadığı lojistik yeniliklerin değerlendirilmesi için standart olarak kabul edilmiştir.
Kullanıcıların bir sonraki teslimat penceresine kadar satın almayı ertelemesi durumunda, gerçek satın alma sıklığındaki düşüşü, zamanlar arası ikame (intertemporal substitution) ile nasıl ayırt edersiniz?
Adayların cevapları genellikle talebin dinamik doğasını göz ardı eder ve ay içinde gerçekleşen sıklık düşüşünü müşteri kaybı ile eşdeğer tutmaktadır. Uzun bir gecikme (180+ gün) ile kullanıcı kohortlarını analiz etmek ve ürün kategorilerini ayırt etmek gerekir: acil veya impuls ürünler (snacks, accessories) için erteleme kayıp ile eşdeğerdir; planlı satın almalar (beyaz eşya) için bu sadece zaman içinde bir kaymadır. Metodolojik olarak, dağıtılmış gecikme modelleri (distributed lag models) kullanılmalı veya düzenli tüketim kategorileri boyunca hesaplanan envanter günleri metriği ile "stoklama" davranışını analiz etmelidir. Eğer 90 gün içinde toplam ürün miktarı azalmışsa, bu talep kaybıdır; eğer aynı kalmışsa ancak siparişler arasındaki süre uzamışsa, bu ikamedir.
Konsolidasyon olmaksızın, kullanıcıların teslimat adreslerini işyerine veya komşu bölgelerdeki arkadaşlarına değiştirdiğinde mekansal kirlenmeyi (spillover etkileri) nasıl hesaba katarsınız?
Standart DiD, kontrol grubunu etkileme durumu olmadığını varsayar, ancak pratikte tedavi grubu kullanıcıları, acil siparişler için kontrol grubundaki adresleri kullanabilir ve bu, kontrol metriklerini yukarı yönde çarpıtabilir. Çözüm, yalnızca "istikrarlı" ev adresine (değişiklik olmadan >6 ay geçmiş) sahip kullanıcıları analiz etmek ve hibrit siparişleri (başka bir bölgeye teslimat) dışlamak için coğrafi filtre kullanmaktır. Alternatif olarak, bölge sınırına uzaklığı ters orantılı ağırlıklarla kullanarak mekansal DiD kullanabilir veya spillover'in minimum olduğu sınırdan >50 km uzaklıktaki bölgeleri (donut RDD) analiz edebilirsiniz.
Kısmi kabul durumunda (partial compliance) ITT (Intent-to-Treat) ve LATE (Local Average Treatment Effect) arasındaki farkı nasıl doğru bir şekilde yorumlarsınız?
Adaylar genellikle "hizmet teklifinin" etkisini ve "gerçek kullanımı" karıştırırlar. ITT, uygulama bölgesindeki tüm kullanıcılar üzerindeki etkiyi değerlendirir; bu, işlevi göz ardı edenleri de içerebilir ve ölçeklendirme için iş teması açısında değerlidir. LATE, yalnızca uygulama nedeniyle davranışlarını değiştiren "compliants" için etkisini değerlendirmektedir. Eğer uyum düşükse (örneğin, %30 konsolidasyonu kullanıyorsa), ITT, işlevin gerçek etkisinin üç katı kadar düşük bir değer verecektir. Her iki ölçümün de rapor edilmesi önemlidir: ölçeklendirme için genel iş etkisi tahmininde ITT ve belli bir segmentin kullanılmasıyla ilgili değer anlayışında LATE.