E-ticaretin düşkün alışverişlerden planlı tüketime evrimi, 2008 yılında Amazon Subscribe & Save uygulamasının hayata geçirilmesiyle başladı, bu da perakendecilerin tekrar siparişlerde bilişsel yükü azaltarak müşteri tutmanın, agresif indirimlerden daha etkili olduğunu fark etmelerine yol açtı. 2015 yılına gelindiğinde, alım aralıklarını analiz eden Makine Öğrenimi ile tahmin edilen akıllı listeler oluşturuldu. Ancak erken dönem etkinlik değerlendirmeleri, liste oluşturan kullanıcıların başlangıçta daha yüksek bir planlama disiplini ve bağlılık sergilemesi nedeniyle 'soğuk' bir kitle ile doğrudan karşılaştırma yapılmasını sorunlu hale getiriyordu.
Ana zorluk, kendiliğinden seçilmenin içsel (endojen) olmasıdır: liste oluşturma, rastgele bir etki değil, kullanıcının harcamalarını optimize etme amacına yönelik bilinçli bir niyetin sonucudur. Bu, 'tedavi' (listenin varlığı) ile gözlemlenemeyen özellikler (organize olma, aile büyüklüğü, tüketim düzenliliği) arasında bir korelasyon oluşmasına yol açan örnekleme yanlılığına neden olur. Ayrıca zaman dinamiği de devreye girer: bozulabilir ürünler için listelerin etkisi (haftalık yeniden doldurma) mevsimlik ürünler için (yılbaşı süsleri) olan etkiden farklıdır ve ML önerileri, sepet eklerken spontane alışverişlerin kanibalizasyonunu tetikleyebilir ve genel gelir analizini çarpıtabilir.
Optimum yaklaşım, mevsimsel etkileri kontrol etmek için Farklılıklar İçinde Farklılıklar (DiD) ile Eğilim Skoru Eşleştirmesi (PSM) ve Sabit Etkiler kombinasyonunu içermektedir. İlk aşamada, belirli ürün kategorilerindeki etki heterojenliğini değerlendirmek için Nedensel Orman kullanarak, listelerin gerçekten sıklığı artırdığı segmentleri belirleyerek mevcut davranışı sabitleyenleri ayırıyoruz. Nedensel bağlantıyı izole etmek için, önceki sipariş sayısının eşik değeri etrafında Regresyon Kesilme Tasarımı (RDD) uyguluyoruz; burada 'Kaydedilen Listeler' işlevi (örneğin, üçüncü siparişten sonra) kullanıma sunuluyor ve yerel rastgelelik koşulları oluşturuluyor. Alternatif olarak, bölgelere kademeli bir dağıtım yoluyla, Sentetik Kontrol Yöntemi kullanarak, test bölgesinin dinamiğini taklit eden kontrol bölgelerinin ağırlıklı bir kombinasyonunu oluşturuyoruz. Kanibalizasyonu dikkate almak için, yalnızca liste kullanıcılarının metriklerini değil, aynı zamanda Ayrılma Oranı - spontane oturumlardan planlı listelere geçen siparişlerin oranını da analiz ediyoruz.
Bağlam: 'EdaHerZaman' hipermarketi, alışveriş geçmişi ve son kullanma tarihleri üzerine AI analizi kullanarak otomatik yeniden doldurma listeleri oluşturma işlevini başlattı. Hedef, ev eşyaları ve gıda ürünleri üzerine tekrar sipariş sıklığını %20 artırmaktı.
Çözüm Alternatifi 1: Liste oluşturan ve oluşturmayan kullanıcıların doğrudan karşılaştırılması (Önce-Sonra)
Analitik ekip, ilk hafta içinde liste oluşturan 10.000 kullanıcı ile listesiz rastgele bir kontrol grubunun ortalama sepet tutarını ve sipariş sıklığını karşılaştırmayı önerdi. Bu yaklaşımın artıları - maksimum basitlik ve hızlı sonuç elde etme. Eksileri - kıyamet gibi bir örnekleme yanlılığı: liste oluşturanlar, haftalık sipariş veren çocuklu aileler çıkarken, kontrol grubu rastgele ziyaretçi gruplarındaydı. Gözlemlenen %35'lik artış, gerçek bir etki değil, kendiliğinden seçilme artefaktıydı.
Çözüm Alternatifi 2: Butonun görünürlüğü ile zorunlu A/B testi
Ürün ekibi, %50 kullanıcıya 'Liste Oluştur' butonunu parlak yeşil gösterirken, diğer %50'sine gri ve menüde gizli sunarak etkileşim farkı oluşturmayı önerdi. Artıları - işlevin kullanılabilirliğinin temiz etkisini değerlendirmek. Eksileri - etik ve UX riskleri: yararlı bir işlevin sadık kullanıcılardan gizlenmesi, etkileşim deneyimlerini düşürdü; ayrıca, liste oluşturmada düşük dönüşüm (testte %2 vs %15) istatistiksel testlerin kritik gücünü zayıflattı ve alışkanlık oluşturan uzun vadeli etkiyi değerlendirmeyi imkânsız hale getirdi.
Çözüm Alternatifi 3: Aktivite eşiği etrafında Regresyon Kesilme Tasarımı (Seçilen Çözüm)
Analistler, 60 gün içinde 3 sipariş eşiği kullanan kesilme regresyonu yöntemini seçti; bu eşiği aşan kullanıcılar, ML önerileri ile 'Akıllı Buzdolabı' işlevine otomatik olarak erişim sağlarken; 2 siparişi olanlar için bu durum geçerli olmadı. Bu, eşik çevresinde yerel rastgelelik koşulları oluşturdu. Artıları - kesilme etrafında örnekleme yanlılığını en aza indirdi. Eksileri - yalnızca 'sınırda' kullanıcılar için sonuçların sınırlı genellenebilirliği; eşik etrafındaki kovaryantların sürekli dağılımının kontrol edilmesi gerekliliği.
Sonuç: Analiz, sipariş sıklığında %12’lik (gözlemlenen %35 yerine) gerçek bir artış ve yalnızca 'Ev Temizliği Ürünleri ve Kağıt Ürünleri' kategorisinde %8’lik bir artış gösterdi. Bozulabilir ürünler için etki, son kullanma tarihinin fiziksel kısıtlamaları nedeniyle istatistiksel açıdan anlamsızdı. Gelir artışının %30'unun, planlı satın alımlara geçen spontane alımların kanibalizasyonu olduğu belirlendi. Verilere dayanarak, şirket ML modelini, önerilerden zarar veren kategorileri (şekerlemeler, cipsler) çıkararak düzeltti ve bu, genel gelir artışını korurken kullanıcı memnuniyetini artırdı, çünkü 'Akıllı Buzdolabı' zararlı alışkanlıkları 'önerme' işlevini bıraktı.
Neden sadece liste oluşturan ve oluşturmayan kullanıcıların metriklerini basit bir t-test veya lineer regresyon ile karşılaştıramayız?
Cevap, endojenlik ve kendiliğinden seçilme probleminin temel sorununda yatmaktadır. Yapılandırılmış listeler oluşturmaya zaman ayıran kullanıcılar, gözlemlenemeyen özellikler bakımından rastgele ziyaretçilerden sistematik olarak farklıdır: daha yüksek planlı tüketim, daha büyük aile boyutu, daha öngörülebilir yaşam düzeni bulundururlar. OLS regresyonu, demografik faktörler kontrol edilse bile, 'planlama kültürünü' gizli bir değişken olarak yakalayamaz. Bu, işlevin etkisinin aşırı değerlendirilmesine yol açar; çünkü yüksek metrikler, listenin kendisi ile değil, kullanıcıların başlangıçtaki yüksek bağlılığı ile açıklanır. Doğru değerlendirme yapmak için, alet değişkenleri (IV), kısmi deneysel tasarımlar (RDD, DiD) veya bireysel tercihlerden bağımsız varyasyonu izole eden çift fark yöntemleri (PSM-DiD) kullanılmalıdır.
Planlayıcı tür kullanıcının etkisini, liste fonksiyonunun gerçek etkisinden nasıl ayırabiliriz?
İntensif marj (zaten planlayanlar arasında sıklığın artışı) ile ekstensif marj (spontan alıcıları planlamaya çekmek) ayırmak gereklidir. Bunun için, etkileri alt gruplar üzerinde değerlendirmeye olanak tanıyan Nedensel Orman veya Heterojen Tedavi Etkileri analizi uygulanmaktadır. Ana içgörü, oluşturulan liste sayısının sahte değişkenleri ile ordinal lojistik regresyon kullanmaktır. Eğer işlev çalışıyorsa, 0'dan 1 listeye geçişte önemli bir metrik artışı görmeliyiz (ekstensif marj); ancak 5'ten 6 listeye geçişte (intensif marj) önemli değişiklikler olmayacaktır, burada kendiliğinden seçilme baskın olup çıkabilir. Ayrıca, temel çıkış riskini kontrol eden Cox Orantılı Riskler Modeli aracılığıyla time-to-event (bir sonraki sipariş için zaman) analizi yapmak önemlidir; bu, 'doğal' düzenliliği 'yapay' sistem ipucu izleyici ile ayırmaya yardımcı olur.
Liste aracılığıyla planlı satın alımlar ile spontane sepete eklemeler arasındaki kanibalizasyonu nasıl doğru bir şekilde hesaba katabiliriz?
Adaylar, genellikle diversiyasyon oranı ve sepet kompozisyonu analizi gerekliliğini göz ardı etmektedir. Üçlü-fark modeli (DiD ile ek boyut) kurarak, liste kullanıcılarının sepet yapılarındaki değişiklikleri, kontrol grubuna kıyasla, liste uygulaması öncesi ve sonrası karşılaştırmak gerekir. 'Cüzdan payı' metriğini izlemek önemlidir - geleneksel olarak spontane satın alınan kategorilerin (şekerlemeler, atıştırmalıklar) toplam içindeki oranı. Eğer impulsif kategori oranı liste kullanıcılarında düşüyorsa ve kontrol grubunda artıyorsa, bu, kanibalizasyonun bir işareti olarak görülmelidir. Niceliksel değerlendirme için Almost Ideal Demand System (AIDS) veya Rotterdam Modeli kullanarak, satın alma kanalları arasındaki ikame elastikiyetini değerlendirilmelidir. Bu analiz olmadan şirket, liste fonksiyonuna yatırım yaparak iş düzeyinde sıfır artı etkisi elde edebilir, bu durum 'liste' kullanıcı segmentinde veri metrik artışı gözlemlenmesine rağmen gerçekleşebilir.