Elektronik ticaretin evrimi, Click&Collect ve teslimat noktalarının (Pickup Points, P.V.Z.) son mil taşıma maliyetini düşürmek için araç olarak kullanıldığı çok yönlü lojistik gelişimine yol açtı. Ancak, dijital özelliklerden farklı olarak, bu değişiklikler coğrafi olarak kesikli bir özellik taşır ve self-selection etkisine tabidir: Zaman değerine yüksek müşteriler P.V.Z.’yi göz ardı ederken, tasarruflu kullanıcılar kapıdan teslimat hizmetine geçiyor. Klasik kullanıcı seviyesindeki A/B testleri burada, lokasyon seviyesinde rasgelelik eksikliği ve mahalle içindeki ağ etkileri nedeniyle mümkün değildir.
Analiz, üç ana zorlukla karşı karşıyadır. Birincisi, yerleşimin içsel oluşumu: noktalar, yüksek sipariş yoğunluğu olan bölgelerde açılır; bu da ters nedensel bir ilişki yaratır (yüksek talep → P.V.Z. açılması). İkincisi, kanibalizasyon: bazı kullanıcılar, toplam harcamayı artırmadan teslimat yerine kendileri alma yöntemini değiştirir. Üçüncüsü, SUTVA ihlali (Stable Unit Treatment Value Assumption): Bir kullanıcı evinin yanındaki bir noktanın açıldığını görür ve sosyal medya aracılığıyla komşularını etkiler, bu da “işlem gören” ve “kontrol” mahalleleri arasında çapraz kirliliğe yol açar.
Çok katmanlı bir kızıltıcı deneysel değerlendirme stratejisi önerilmektedir. Makro düzeyde (şehirler) Synthetic Control Method uygulanır - P.V.Z. olmayan “donör” şehirlerin ağırlıklı bir kombinasyonu oluşturularak, deneme şehrinin müdahale öncesi metrik dinamiğini mümkün olduğunca taklit ederiz. Ağırlıklar, sezonluk, makro ekonomik göstergeler ve kategori yapısını içeren müdahale öncesi verilere göre convex optimizasyon yoluyla belirlenir (12-18 ay).
Mikro düzeyde (kullanıcılar) gözlemlenen karakteristikleri kontrol etmek için Difference-in-Differences yöntemi ile Propensity Score Matching kullanırız, ancak en önemli nokta Instrumental Variables (IV) uygulamasıdır. Araç olarak, kullanıcının evinden en yakın P.V.Z.'ye olan en kısa mesafe, yol ağı üzerinden hesaplanacak şekilde kullanılır. Bu değişken, kendi kendine alma tercihleri ile ilişkilidir (iki aşamalı OLS’in ilk aşaması), ancak satın alma eğilimi ile ilişkilendirilmez, bu da saf Local Average Treatment Effect (LATE)'yi izole eder.
Hibrit siparişlerin (ara depo) dikkate alınması için, etkileri alt popülasyonlara ayıran CausalForest modelleri kurarız: immediate adopters, delayed users ve never-takers. Son olarak, standart hataları bölge seviyesinde kümelere göre düzeltiyoruz (clustered standard errors) ve 500 metrelik bir yarıçap içindeki spillover etkilerine karşı duyarlılığı kontrol etmek için yoğunluk analizi yapıyoruz.
Bağlam: Büyük bir moda pazar yeri, 25% lojistik maliyet tasarrufu hedefiyle 15 test şehrinde 120 Pickup Points ağı açmayı planlıyordu. Yönetim, P.V.Z. varlığının mevcut müşteriler arasında satın alma sıklığını artırıp artırmadığını veya sadece kapıdan teslimat trafiğini mi değiştirdiğini değerlendirmesini istedi.
Seçenek 1: “P.V.Z. olan şehir vs P.V.Z. olmayan şehir” basit karşılaştırma Artılar: En basit uygulama, tarihsel verilere ihtiyaç duymaz, iş için hızlı yanıt. Eksiler: P.V.Z. olan şehirler başlangıçta daha zengin ve daha aktif (selection bias), sezonluk ve rekabetçi ortamda farklılıklar etkide %40’a kadar sapma oluşturabilir. Elde edilen sonuç ölçeklenebilirlik için güvenilir değildir.
Seçenek 2: Test şehirlerinde yalnızca Önce-Sonra analizi Artılar: Şehirler arası farklılıkları kontrol eder, trend değişikliğine odaklanır. Eksiler: E-ticarette genel pazar büyüme trendlerini göz önünde bulundurmaz (pandemi yılındaki temel trend yılda %30 artmış olabilir), nihai nokta yerel bayramlarla çakışabilir, resmi çerçeveyi çarpıtarak yanıltıcı bir görüntü yaratır.
Seçenek 3: Şehirler seviyesinde Synthetic Control + Kullanıcılar seviyesinde IV Artılar: Synthetic Control, P.V.Z. olmadan “ne olurdu” karşıfaktüel senaryosunu oluştururken, makro trendlere karşı düzeltme yapar ve Instrumental Variables (noktaya olan mesafe, “tembel” kullanıcılar için rastgele bir şok) basit korelasyondan nedensel etkiyi izole eder. Eksiler: Her şehir için en az 12 aylık müdahale öncesi verilere ihtiyaç duyar, teknik olmayan paydaşlar için LATE'nin yorumlanması zordur, hesaplama açısından maliyetlidir.
Seçilen çözüm ve gerekçe Şehirler arası doğrulama için Synthetic Control ve kullanıcı metrikleri için coğrafi bir araçla Two-Stage Least Squares (2SLS) kombinasyonunu seçtik. Bu, altyapının varlığının (structural effect) etkisini bilinçli seçim etkisinden (behavioral self-selection) ayırmamıza olanak tanıdı. 200 metre mesafedeki yeni noktanın yanındaki “tembel” kullanıcıların bile, ekonomik özelliklerini değiştirmeden daha sık satın aldıklarını kanıtlamak kritik derecede önemliydi.
Sonuç Değerlendirme, P.V.Z. erişim alanında yaşayan kullanıcılar (ITT) arasında satın alma sıklığında %12’lik gerçek bir artış gösterdi, buna karşın kurye teslimatında kanibalizasyon %18 oldu, bu da teslimat ücreti olmadan ortalama harcamanın %8 artmasıyla telafi edildi. Ancak etki heterojendi: sadece “ayakkabı” ve “aksesuarlar” kategorilerinde belirgin bir etki görüldü, oysaki “ev aletleri” için önemli bir etki bulunmadı. Bu, noktaların açılması stratejisini düzeltmeye olanak tanıdı ve moda alışveriş merkezlerine odaklanılıp, çoğunluğu teknik olan uyku bölgelerindeki noktalardan vazgeçildi.
Açılan P.V.Z.’nin etkinliği ile bu noktaları tanıtan bir pazarlama kampanyasının etkisini, kampanya açılışla aynı anda başlatıldığında nasıl ayırabilirsiniz?
Cevap: Standart hata - pazarlama kanalı aracılığıyla treatment contamination'ı göz ardı etmektir. Difference-in-Difference-in-Differences (DDD) yöntemi kullanmak veya iki kontrol grubu oluşturmak gerekir: kampanya olan şehirler (medya desteği) ancak fiziksel P.V.Z. olmayan (sadece “yakında geliyor” duyurusu) ve tam uygulama olan şehirler. Etki yalnızca ikinci grupta gözlemleniyorsa, bu, lojistiğin nedensel rolünü, iletişimin değil kanıtlar. Ayrıca, marka araması gibi bir kontrol değişkenini izlemek de önemlidir - eğer her iki grupta da eşit şekilde artıyorsa, test grubundaki gelir artışı, hizmetin rahatlığından kaynaklanmaktadır, bilgilendirilme değil.
Neden kullanıcıları P.V.Z.'ye (500m yakın vs. 2km uzak) mesafelerine göre basit karşılaştırma ile test ve kontrol için proxy olarak kullanamazsınız, demografik verileri kontrol etseniz bile?
Cevap: Bu, positivity assumption ve selection on unobservables ihlalidir. Alışveriş merkezleri yakınında yaşamayı seçen kullanıcılar (genellikle P.V.Z.'lerin bulunduğu yerler), sistematik olarak, kenar mahallelerden farklı gelir, istihdam ve yaşam tarzı özelliklerine sahiptir. Hatta Propensity Score Matching ile bile, gözlemlenmeyen gizli etkilerden (örneğin, aile bütçesi planlaması) hidden bias kalır. Doğru yaklaşım, teslimat bölgelerinin veya mahallelerin idari sınırlarını rastgele bir eşik olarak görerek Regression Discontinuity Design (RDD) kullanmaktır; bir tarafında evler 300 metre (treatment) mesafedeyken, diğer tarafında 900 metre (kontrol) mesafededir, ancak sosyoekonomik özellikler aynıdır.
Standart atıf pencerelerinin (7-30 gün) uzun vadeli etkiyi göz ardı ettiklerinde, P.V.Z. açılışı ile davranış alışkanlığı (habit formation) arasında zaman aralığını nasıl doğru bir şekilde hesaba katabilirim?
Cevap: Klasik hata - sabit bir post-periyot kullanmaktır. Açılıştan sonra 1, 3, 6. aylar için etkiyi ayrı ayrı modelleyen Event Study Design uygulanmalıdır. Bu, treatment effect heterogeneity over time'ı yakalamaya izin verir; genellikle etki, alışkanlığın oluşması ile beraber artar (learning curve) ve ardından düzleşir. Ayrıca, Cox Proportional Hazards modelleri, P.V.Z. kullanmaya karar verme süresi için rakip riskleri göz önünde bulundurarak (kullanıcı uyum sağlama sürecinde churn edebilir) için kullanmak önemlidir. Ayrıca, survivorship bias'ı düzeltmek gerekir - P.V.Z. kullanmaya başlayan kullanıcılar, tanım gereği düşük churn oranına sahip olabilir ve onları, benzer hayatta kalma kalıplarına sahip kontrol grubu ile karşılaştırmak gerekir, tüm veri tabanı ile değil.