E-ticaretin metin aramasından çok modlu arayüze evrimi, 2010'ların ortalarında mobil uygulamalarda Konvolüsyonel Sinir Ağları (CNN) ile başladı. Klasik A/B test yöntemleri, aynı görsel arama algoritmasının amiral gemisi cihazlarda ve bütçe akıllı telefonlarda farklı doğruluklar sergilemesi nedeniyle donanım parçalanmasıyla karşılaşıyor.
Erken araştırmalar, düşük kaliteli cihazlara sahip kullanıcıların sistematik olarak farklı görüntüleme kalıplarına sahip olduğunu gösterdi; bu, standart ekonometrik modellerde hata bağımsızlığı varsayımının ihlal edilmesi tehdidini yaratıyor. Bu durum, gruplar arasındaki basit karşılaştırmaların t-test veya temel regresyon ile metodolojik açıdan geçersiz olmasına neden oluyor.
Temel endojenlik, benimseme seviyesinde kendine seçilimden kaynaklanıyor: teknik bilgisi yüksek kullanıcılar (erken benimseyenler) yeni bir özelliği denemeye istekli olmanın yanı sıra yüksek bir temel dönüşüm oranına sahipler. Ayrıca yapısal kanibalizasyon gözlemleniyor: görsel arama, metin aramasından sorguları "alıkoysa" da, düşük bilgilendirici metin sorgularını yüksek bilgilendirici görsel gömme ile dönüştürüyor.
Kameranın görüntü kalitesindeki teknik heterojenlik, kullanıcıların SES profili ile ilişkili ek bir ölçüm hatası katmanı ekliyor. Seçim yanlılığını kontrol etmek için standart yöntemler, burada kullanıcıların görsel okuryazarlığındaki gözlemlenemeyen heterojenlik nedeniyle yetersiz kalıyor.
Optimal strateji, kameranın teknik özelliklerini (örneğin Telefoto Lens, Gece Modu desteği) bir enstrümantasyon değişkeni (IV) olarak kullanarak İki Aşamalı En Küçük Kareler (2SLS) uygulamaktır. Dışlama kısıtlaması, kamera özelliklerinin, dönüşümü yalnızca görsel arama kullanım imkanı aracılığıyla etkileyip etkilemediği ve gelirle ilişkili özellikler üzerinden etki etmediği varsayımına dayanıyor.
Araçların geçerliliği, kameraların partilerindeki dışsal varyasyon kullanılarak Aşırı Tanımlama Testi ile doğrulanır. Kanibalizasyon için Ana Stratejileme uygulanır: kullanıcılar, metin aramasından geçiş olasılığına göre latent sınıf modeline dayanarak tabakalara ayrılırlar.
Heterojen Tedavi Etkileri, donanım sınıfları içinde hata korelasyonunu dikkate almak için cihaz türü seviyesinde kümeleme ile Nedensel Ormanlar aracılığıyla değerlendirilir. Ayrıca, tanıma etkisini dış koşullardan izole etmek için çekim meta verileri (EXIF verileri) kontrol edilir.
‘FashionHub’ pazar yeri ekibi, görsel aramayı %20 trafikle başlattı ve benimseyenler arasında %18 dönüşüm artışı gözlemledi. Ancak denetim, iPhone 12+ (yüksek kaliteli kamera) olan kullanıcıların %70'inin deney grubuna düştüğünü tespit etti; bu, Android bütçe segmentinin kontrol grubunda kalmasıyla donanım tabanlı bir karışıklık yarattı. Temel metrik - satın alma öncesi ortalama ürün kartı görüntüleme sayısı - premium cihazlar segmentinde orantısız şekilde arttı.
Deney grubunu benimseyenler vs binmeyenler üzerinden yapılan kaba bir karşılaştırma %18 oranında dönüşüm tahmini verirken, bu hayatta kalan önyargısını taşır. Ürün fotoğrafı çeken kullanıcılar zaten yüksek satın alma niyeti ve UX'de friction'a karşı tolerans göstermekteydi. Artısı, yorumlamada basitlik ve sonuç alma hızıdır. Eksi tarafı ise, özelliğin nedensel etkisini teknik olarak bilgiye sahip kitlelerin yüksek temel dönüşümünden ayırmanın imkansızlığıdır.
Coğrafi genişleme ile Farklılıklar Arasında Farklılıklar önce Moskova'da (premium akıllı telefonların yüksek yayılma kabiliyeti) daha sonra bölgesel olarak bir ay içerisinde başlatmayı öngörüyordu. Artı olarak, zamansal trendler ve moda mevsimselliğini dikkate alma imkanı vardı. Eksi yönü, bölgelerin harcanabilir geliri ve moda değerleri açısından farklılık göstermesi ve bu durum eşit paralel trend varsayımını ihlal etmesiyle sonuçlandı; Moskova kitlesinin dijital özelliklerde yeniliğe sistematik olarak farklı bir elastikiyete sahip olduğu bulunmuştur.
Enstrümantasyon Değişkenleri ile Seçim Yanlılığı Eşleşmesi görsel aramanın Auto-Focus ve OIS (Optik Görüntü Stabilizasyonu) olmayan cihazlarda çalıştırılamama teknik imkansızlığını doğal bir deney olarak kullandı. Uyumlu cihazlara sahip kullanıcılar, demografi ve metin arama geçmişi açısından benzer olan, ancak desteklenmeyen cihazlara sahip olanlarla eşleştirildi. Artısı, enstrümanın dışsallığıdır (donanım satın alma kararından önce gelir). Eksi tarafı, geçerliliğin ilk aşama F-istatistiği (45, >10 eşiği aştı) aracılığıyla kontrol edilirken, dışlama kısıtlaması, kameranın yalnızca arama aracılığıyla satın almayı etkilediğine dair bir inanç gerektiriyordu.
Aydınlatma koşulları üzerinden API ile gün ışığı belirlenmesi ve fotoğrafların EXIF meta verilerinin analizine ek bir kontrol ile IV çözümü seçildi (ISO, pozlama süresi). Nihai sonuç: gerçek Yerel Ortalama Tedavi Etkisi (LATE) dönüşümde %4.2 artış sağladı (geriye kalanlar seçim yanlılığıdır), etki 'ayakkabı' kategorisinde (renk uyumunun kritik olduğu) yoğunlaşırken, 'aksesuarlar' kategorisinde yoktu (burada marka, görsel özelliklerden daha baskın durumu sergiliyor).
Altyapı olan bir durumda neden kullanıcı düzeyinde sadece A/B testi yapamayız?
Adaylar Görsel Gömme Modeli eğitiminde ağ etkilerini göz ardı eder: kullanıcılar fotoğraf çektiğinde, bu veriler Siamese Ağı hedefleme dizisine girer ve tüm kullanıcılar için arama kalitesini artırır, kontrol grubunu da kapsar (spillover etkileri). Ayrıca, SUTVA (Kararlı Birim Tedavi Değeri Varsayımı), sıralama kontaminasyonu nedeniyle ihlal edilmektedir: eğer görsel arama, genel öneriler akışındaki ilgili ürünleri yukarı çıkarıyorsa, bu durum kontrol grubunun davranışını etkiler.
Çözüm, cihaz türü düzeyinde Küme Rastgeleleştirme veya Maruz Kalma Haritalama ile bu kümedeki özellik kullanım yoğunluğuna düzeltme yapmaktır.
Nasılsa metin aramasını yeni talep yaratmadan ayıracaksınız, niyet gizli değildir?
Toplam sorguları karşılaştıran standart yaklaşım kaliteden ayarlanmış hacmi göz ardı etmektedir. Ana Stratejileme Çerçevesi uygulanmalıdır: görsel aramanın varlığı/ yokluğu halinde metin aramasının potansiyel sonuçlarından esas alarak dört tabaka (Tüketici, Asla alıcı olmayanlar, Her zaman alıcı olanlar, Aksine hareket edenler) belirlenmelidir.
Daha sonra, yalnızca mevcut olursa metin aramasından görsel aramaya geçmek isteyecekler için Tüketici Ortalama Nedensel Etkisi (CACE) hesaplanmalıdır. Ayrıca, kullanıcıların metin sorguları ile ürün kategorileri arasındaki Gömme Alanı Mesafesi kullanılmalıdır: eğer görsel arama, sorgu ile satın alma arasındaki anlamsal mesafeyi azaltıyorsa, bu ek bir etki değil, yer değiştirme anlamına gelir.
Retention analizinde başarıyla tanıma sayısına odaklanmanın tehlikesi nedir?
Bu klasik bir Collider Yanlılığıdır (M-yapısı): “tanıma başarısına” (bu hem kamera kalitesine hem de sorgu zorluğuna bağlıdır) dayanan şartlar, donanım ile retention arasında sahte yollar açar. Adaylar genellikle “başarısız yüklemeleri” filtreler, bağımlı değişken üzerinde bir seçim oluştururlar.
Doğru yaklaşım, Heckman İki Aşamalı Düzeltme veya sıfırlarla şişirilmiş sonuçlar için Tobit Modelidir; burada, özelliği kullanma kararını ve kullanım şartındaki sonucu eşzamanlı olarak modelleyerek, ilk aşama probit modelinden elde edilen Inverse Mills Oranı'nı dikkate alarak, (aydınlatma, gün saati, ürün kategorisi gibi) tahmin ediciler ile bir araya getirilir.