Tarihsel olarak, e-ticaret gelişimi, izole ürün kartlarından karmaşık karar destek araçlarına kadar bir yol aldı. 2010'lu yıllarda, özellik karşılaştırma fonksiyonlarının ortaya çıkması, ürün yelpazesinin büyümesi ve kullanıcıların bilişsel aşırı yüklenmesi karşısında bir yanıt oldu; ancak, karşılaştırmanın kullanımı ile yüksek sepet tutarı arasındaki klasik korelasyon metrikleri, daima içsel bir sorunla karşılaştı: bu işlev, yüksek satın alma niyetine sahip motivasyonlu alıcılar tarafından kullanılmaktadır.
Ölçüm problemi, üçlü bir karmaşıklık içeriyor: katılım üzerinden kendini seçme (seçim yanlılığı), kategori bazında aşamalı kurulum (aşamalı benimseme) ve karşılaştırmanın talebi bir SKU'dan diğerine kaydırdığı kategori içi ağ etkileri. Bu faktörlerin kontrolü olmadan, analist yanlı bir değerlendirme alır, bu da aktif kullanıcılar için etkiyi abartırken, işlevi kullanmayanlar üzerindeki dışsal etkileri göz ardı eder.
Detaylı çözüm, Araçsal Değişkenler (IV) ve Fark Fark (DiD) kombinasyonunu gerektirir. Araç olarak, karşılaştırma butonunun yarı-rastgele görünürlüğü, örneğin, UI öğesinin yerleştirilmesi için A/B testi veya ekran çözünürlüğü gibi dışsal faktörler kullanılır. Bu, kullanıcının niyetlerinden bağımsız olan varyasyonu izole etmeye olanak tanır. Zaman eğilimlerini kontrol etmek için DiD, kademeli analiz uygulanarak işlevin zaten başlatıldığı kategorilerle henüz etkilenmemiş olanlar arasında karşılaştırma yapılır ve k Cohort sabit etkileri ile düzeltme yapılır. Ana metrik Yerel Ortalama Tedavi Etkisi (LATE) olur - yalnızca düğmenin görünürlüğü sayesinde karşılaştırmayı kullanan “uyum sağlayanlar” (compliers) için etki, bu da muhafazakâr, ancak neden-sonuç açısından temiz bir değerlendirme sağlar.
Bağlam: Büyük bir elektronik pazaryeri, akıllı telefonlar ve dizüstü bilgisayarlar için “Özelliklere Göre Karşılaştırma” işlevini başlattı. Bir ay sonra, analitik, karşılaştırmayı açan kullanıcıların sepet tutarının %40 daha yüksek olduğunu gösterdi, ancak bu kullanıcılar satın alma öncesi 4 kat daha fazla sayfa görüntülemekteydi.
Çözüm Seçeneği 1: Grup Karşılaştırması (t-test). Analist, “karşılaştırmayı kullandı” bayrağı olan kullanıcıların ortalama metriklerini “kullanmadı” ile SQL içinde basitçe karşılaştırır. Artıları: tek bir sorgu gerektirir, sonuç dakikalar içinde alınır. Eksileri: kendiliğinden seçimi tamamen göz ardı eder; yüksek katılım, işlevin kullanılmasından önce gelir, kullanılmasından sonra değil; değerlendirme yukarı yönlü bir yanlılık taşır.
Çözüm Seçeneği 2: Zaman Temelli Before/After Analizi. İşlevin başlatılmasından önce ve sonra platformun metriklerini karşılaştırma. Artıları: yorumlaması basit, genel eğilim görünür. Eksileri: mevsimsellik (başlatma yeni iPhone'ların tanıtımı ile çakıştı), pazarlama kampanyaları ve işin genel büyümesi, gerçek etkiyi tamamen maskeleyebilir; işlevin dışsal şoklardaki etkisini ayırmak mümkün değildir.
Çözüm Seçeneği 3: Regresyon Kesik Noktası (RD). Eşik kuralı kullanımı: karşılaştırma butonu, yalnızca aynı kategori içinde 3 ürün görüntülendikten sonra görünür. Artıları: keskin bir kesim (cutoff), eşik etrafında yarı-deneysel bir varyasyon yaratır. Eksileri: kullanıcılar, eşiğe ulaşmak için boş sekmeler açarak davranışlarını manipüle eder; “bulanıklık” (fuzziness), RD'nin varsayımlarını ihlal eder.
Çözüm Seçeneği 4: UI Testi ile Araçsal Değişkenler. Butonun görünürlüğü üzerinde (parlaklık, boyut) bağımsız bir A/B testi gerçekleştirilir, bu işlevselliği değiştirmeden, ancak tıklama olasılığını etkileyerek. Bu test, İki Aşamalı En Küçük Kareler (2SLS) regresyonu için bir araç görevi görür. Artıları: rastgeleleşme, aracın dışsallığını sağlar; etki tam olarak “zorunlu” olanlar için ölçülür. Eksileri: aracın gücü için büyük bir örneklem gereklidir (ilk aşama F-istatistiği > 10); LATE'nin iş için yorumlanması zordur.
Seçilen Çözüm ve Gerekçe: Çözüm Seçeneği 4'ün (ana) ve Çözüm Seçeneği 2'nin (dayanıklılık kontrolü) kombinasyonu. IV-evaluasyonu, marjinal kullanıcılar için neden-sonuç etkisi sağlar ve DiD, kategoriler arasında küresel yanlılıkların olmadığını doğrular. Bu yaklaşım, işlevin etkisini, kullanıcıların doğuştan aktivitelerinden ayırmayı mümkün kılar.
Sonuç: Gerçek eklenmiş etkinin AOV üzerindeki etkisi +%8 oldu (gözlemlenen +%40 yerine), ve satın alma kararı süresi istatistiksel olarak anlamlı bir değişim göstermedi. İşlev korundu, ancak öneri algoritması, etki sıfıra yakın olan düşük tarihi katılıma sahip kullanıcılara karşılaştırma butonunu göstermemek üzere düzeltildi, böylece sunucular üzerindeki yük azaldı ve gelirde kayıp olmadı.
Birden Fazla Alternatif Seçimi Analizinde Hata Korelasyonlarını Nasıl Doğru Bir Şekilde Ele Almalıyız?
Kullanıcı ürünleri karşılaştırdığında, her SKU üzerindeki kararları tek bir oturum içinde birbirleriyle ilişkilidir, bu da gözlemlerin bağımsızlığı varsayımını ihlal eder (i.i.d.). Standart hata tahminleri düşük olur ve bu da etki anlamlılığı hakkında yanlış pozitif sonuçlara yol açar. Düzeltme için, ya kullanıcı veya oturum düzeyinde küme standart hataları kullanmak ya da hiyerarşik lineer modelleme (HLM) uygulamak gerekir. Bu, panelli verilerle çalışırken özellikle kritiktir, çünkü bir kullanıcı birden fazla karşılaştırma üretir ve kümeleme ihlal edilirse, t-istatistiği 2-3 kat artabilir.
Karşılaştırma Listesine Girmeyen Ürünler Üzerindeki Negatif Dışsal Etkiyi Nasıl Ölçmeliyiz?
Karşılaştırma işlevi, karşılaştırma listesine eklenmeyen ancak yakın ikameler olan ürünlerin satışlarını kanibalize edebilir. Adaylar genellikle sadece sepet içindeki SKU düzeyine bakarak, kategori genelindeki dengeyi göz ardı ederler. Bu tür etkileri değerlendirmek için, kategori düzeyinde toplanmış metrikler üzerinde analiz yapmak ve stok seviyelerini kontrol etmek gerekir. Eğer karşılaştırma talebi belirli modellere kaydırıyorsa, bunların kıtlıklarını yaratıyorsa, karşılaştırma setinde gözlemlenen rakip satışlarının artışı, kullanıcı tercihinden çok, stok tükenmesinin bir artefaktı olabilir.
İşlevin Uygulanma Etkisini Kullanıcı Öğrenme Etkisi ve Yenilik Etkisinden Nasıl Ayırabiliriz?
Yeni bir işlev keşfeden kullanıcılar aynı zamanda platformla ilgili deneyimlerini artırırlar, bu da dönüşümü etkiler. Yeni analistler genellikle erken benimseyenlerdeki metrik artışını saf ürün etkisi olarak yorumlarlar. Bu etkileri ayırmak için, kullanıcı deneyim sabit etkilerini (user tenure fixed effects) dahil etmek veya birbirine eşit sayıda tarihi oturumu olan kullanıcılarla örneklem sınırlamak gerekir. Alternatif olarak, k Cohort analizi kullanarak, işlevin ilk günden itibaren mevcut olduğu yeni kullanıcıları, “başlatma öncesi” grupları ile karşılaştırarak, deneyimin etkisini karşılaştırma aracının etkisinden izole etmek mümkün olur.