Kesin zaman dilimi teslimat sistemi uygulamasının gıda teslimat hizmetindeki dönüşüm ve sipariş sıklığı üzerindeki neden-sonuç etkisini nasıl değerlendirmeliyiz, eğer uygulama restoran ortakları arasında dalgalar halinde gerçekleşiyor, operasyonel verimlilik açısından bir kendiliğinden seçim gözlemleniyor (yüksek verimli restoranlar önce bağlanıyor) ve metrikler mevsimsel ve coğrafi talep heterojenliğine tabiyse?

Cevap

Tarihsel olarak, gıda teslimat hizmetleri "60 dakikada teslimat" modelinden kesin zaman dilimleri ile hiper yerel lojistik modeline evrim geçirmiştir. Bu geçiş, metodolojik bir sorun yaratmaktadır: başlangıçta yüksek operasyonel verimliliğe sahip restoranlar (kısa pişirme süresi, yüksek sipariş yoğunluğu olan bölgelere yakınlık) uygulamanın ilk dalgalarında kendiliğinden seçilirken, sorunlu noktalar daha sonra veya asla bağlanmamaktadır. Uygulama öncesi ve sonrası dönüşüm oranlarının doğrudan karşılaştırılması, erken benimseyenler ile geç kalmışlar arasındaki sistematik farklılıkları göz ardı ettiğinden, etkilerin abartılmasına yol açmaktadır.

Sorun, coğrafi kümeleşme ile daha da kötüleşmektedir: şehir merkezindeki restoranlar, talebin yüksek ve istikrarlı olduğu yerlerde, genellikle işlevsellikten önce erişim fırsatı bulmaktadırlar. Mevsimsel dalgalanmalar (örneğin, yılbaşı tatilleri veya yaz düşüşü) gözlemlenen trendleri daha da çarpıtarak, basit grup ortalamaları arasındaki farkın kullanılmasını imkansız hale getirmektedir.

Gerçek etkiyi izole etmek için, restoran ve zaman için sabit etkiler ile kombinasyonlu Farklar arası Farklar (DiD) yöntemi uygulanmalı ve kendiliğinden seçimi ortadan kaldırmak için Eğilim Skoru Eşleştirmesi (PSM) eklenmelidir. İlk aşamada, kesin zaman dilimlerine erişim olasılığına dayalı bir model oluşturulmakta (tarihsel teslimat süresi, puan, yakın çevredeki kuryelerin yoğunluğu) ve daha sonra işlem gören her restorana henüz bağlanmamış bir kontrol "ikizi" atanarak, bu çiftler arasındaki dönüşüm dinamiklerinde çift taraflı fark değerlendirilerek, gözlemlenmeyen sabit özellikler (örneğin, mutfak kalitesi) kontrol edilmektedir. Mekânsal korelasyonu hesaba katmak için, coğrafi hücreler seviyesinde standart hataların kümeleşmesi uygulanmakta veya belirlenmiş kontrol grubu için ağırlıklı bir kombinasyon oluşturan Sentetik Kontrol Yöntemi kullanılmaktadır.

Gerçek Hayattan Bir Durum

En büyük ulusal teslimat agregatında, premium restoranlar için "Seçilen 15 dakikalık zaman diliminde teslimat" işlevinin uygulanması planlanmaktaydı. Pilot, ilk olarak düşük pişirme süreleri ve yüksek puanları olan ortak restoranların %15'inin bağlandığı üç şehirde başlatılmıştır. Bir ay sonra analistler, bağlanan restoranlarda %22 dönüşüm artışı tespit ettiler, ancak iş dünyası bunun işlevin etkisi mi yoksa bu restoranların başlangıçta yüksek kalitesinin bir yansıması mı olduğunu sorguladı.

Üç değerlendirme yaklaşımı göz önünde bulunduruldu. İlk seçenek — bağlanmadan önceki ortalama hesapları ve dönüşüm oranlarının basit karşılaştırması — hemen reddedildi: bu, pazarın trend büyümesini ve tatil dönemindeki mevsimsel canlanmayı göz ardı ettiğinden %22'lik abartılı bir artış gösteriyordu, aynı zamanda bu restoranların yeni bir işlev olmadan bile pazarın %8-10 daha hızlı büyüdüğünü hesaba katmamıştır.

İkinci alternatif — kesin zaman dilimini gören kullanıcılar ile standart "40-50 dakika" görenler arasındaki kohort analizi de sorunlarla doluydu: premium restoranların bulunduğu bölgelerdeki kullanıcıların başlangıçta daha yüksek ortalama hesap ve sadakat oranlarına sahip olması seçim yanlılığına neden oluyordu. Coğrafi olarak örneklemi daraltma girişimi %40 veri kaybına ve testin gücünün düşmesine yol açacaktı.

Üçüncü ve seçilen alternatif, benzer satış geçmişine, coğrafyaya ve mevsimselliğe sahip 50 bağlı olmayan "bağışçıdan" her bağlı restoran için Sentetik Kontrol oluşturulmasını içeriyordu. DiD metodolojisi, bu ağırlıklı sentetik gruplara, talebi etkileyen hava koşulları ve hafta günleri için ek kontroller ile uygulanıyordu. Bu, %9.3 sper dönüşüm ve %14 tekrar sipariş sıklığı artışlarının net etkisini izole etmeyi sağladı ve ayrıca heterojenliğin farkına varılmasını sağladı: etki, 12 dakikadan daha az pişirme sürelerine sahip restoranlar için öneme sahipti, oysa yavaş mutfaklar için kesin zaman dilimi teslimatı anlamlı bir artış sağlamadı, çünkü dar boğaz lojistik değil, üretimdi.

Adayların Sıklıkla Gözden Kaçırdığı Noktalar

Erken benimseyenlerin kontrol grubundan sistematik olarak farklı olduğu DiD'deki paralel trendler varsayımını nasıl kontrol edebiliriz?

Adaylar genellikle, uygulama öncesinde treatment ve control gruplarındaki metriklerin trendlerinin paralel olması gerektiğini kontrol etmeden DiD uygulamaktan bahsederler. Kendiliğinden seçilim durumunda bu varsayım genellikle ihlal edilir. Uygulama öncesinde birkaç hafta boyunca önde göstericilerle event study (dinamik DiD) gerçekleştirmek gereklidir. Eğer bu göstergelerdeki katsayılar istatistiksel olarak anlamlı ve sıfırdan farklıysa, trendler paralel değildir ve Artırılmış DiD uygulaması veya zaman eğilimleriyle etkileşim eklenmesi gibi alternatif kontroller gereklidir. Aynı zamanda, daha az duyarlı bir değerlendirmeye sahip olduğundan ve sonuçların dağılımındaki monotonluk gerektirdiğinden Değişim Üzerine Değişim modelini kullanmak mümkündür.

Kesin teslimatın uygulanması bir bölgede kullanıcı davranışını komşu bölgelerde etkiliyorsa, mekânsal spillover etkilerini nasıl hesaba alabiliriz?

Analistler genellikle kullanıcıların bölgeler arasında göç edebileceğini veya arkadaşlarından bir işlevin varlığı hakkında bilgi sahibi olduklarında tercihlerini değiştirebileceğini göz ardı ederler. Bu, kontrol grubunda olumlu bir yanlılık yaratır (SUTVA ihlali). Tanımlama için, her noktanın çevresindeki 1-2 km mesafedeki bağlı restoranların yoğunluğuna dayalı mekânsal gecikmeleri (spatial lags) içeren Mekânsal DiD inşa etmek gereklidir. Eğer mekânsal gecikme katsayısı anlamlıysa, ağ etkileri bulunmaktadır. Bu durumda klasik DiD değerlendirmesi etkiyi küçülten bir sonuca yol açmaktadır ve, restoranın bağlanmasını etkileyen ancak doğrudan komşu bölgelerdeki talep ile ilişkilendirilmeyen idari sınırlar seviyesinde araçlar kullanarak İki Aşamalı En Küçük Kareler (2SLS) uygulamak gerekmektedir.

Neden basit Eğilim Skoru Eşleştirmesini kullanamıyoruz ve uzun vadeli etki (dinamik tedavi etkileri) değerlendirmesinde hangi hatalar ortaya çıkıyor?

Yeni başlayan uzmanlar genellikle PSM'yi bağımsız bir yöntem olarak uygulamakta, t0 anındaki karşılaştırılabilir grupları elde etmekte, ancak daha sonra t1'de basit ortalamaları karşılaştırmaktadır. Bu, veri yapısının zaman içinde ilişkilendirilmesini ve olası zaman şoklarını göz ardı eder. Doğru yaklaşım PSM-DiD olmalıdır; burada eşleştirme sadece kontrol grubunun seçimi için kullanılırken, etki değerlendirmesi ise farklar arasındaki farklar (difference in differences) ile yapılır. Ayrıca, adaylar dinamik etkiler sorununu göz ardı etmektedir: kesin teslimatın etkisi zamanla artabilir (kullanıcılar işlevle tanıştıkça) veya azalabilir (yenilik etkisi). Bunun için, birçok uygulama dönemi ile staggered DiD inşa etmek ve zamanla heterojen etkiler doğduğunda ortaya çıkan yanlılıkların (örneğin, düzgün grup etkilerinin doğru bir şekilde toplanması için Callaway & Sant'Anna veya Sun & Abraham yöntemini kullanarak) ortadan kaldırılması için modern düzeltmeler kullanmak gereklidir, çünkü standart iki dönemli DiD bu durumda işlem görenlerdeki ortalama etkinin kaymış bir değerini verir.