Sorunun tarihsel bağlamı, e-ticaretteki kullanıcı içeriklerinin evrimine kadar uzanır. Dijital ticaretin başlangıcında profesyonel açıklamalar baskındı, ancak Web 2.0'ın gelişimiyle birlikte UGC'ye (Kullanıcı Tarafından Üretilen İçerik) geçiş yaşandı, bu da güveni artırdı ancak bilgi aşırı yüklenmesi sorununu ortaya çıkardı. Modern kullanıcılar bir ürün hakkında onlarca değerlendirme ile karşılaşıyor, bu da bilişsel yükü ve karar verme süresini artırıyor. Büyük Dil Modellerinin (LLM) ortaya çıkışı, özetlemeyi otomatikleştirmeyi mümkün kıldı, ancak tüketici sesinin otantik bir biçimde makine yorumu ile değiştirilmesi, gösterilen bilgi ile kullanıcı davranışı arasındaki nedensel bağı belirsiz hale getiriyor.
Sorunun tanımı, klasik A/B testini imkansız hale getiren üç faktörle karmaşık hale geliyor. Birincisi, ürün kategorilerine göre aşamalı dağıtım, zamanla kontrol gruplarını test gruplarına dönüştüren bir staggered adoption oluşturuyor ve karşılaştırmanın stabilitesini bozuyor. İkincisi, AI özetlemenin kalitesi içsel olarak belirlenmektedir: yüksek geri bildirim hacmine sahip kategoriler doğru rozetler alırken, düşük hacimde olanlar çarpıtılmış rozetler alıyor, bu da ürünün popülaritesiyle ilişkili gizli bir karıştırıcıdır. Üçüncüsü, bir aldatma etkisi riski vardır: kullanıcı bir rozetin gerçek ürünle uyumsuz olduğunu fark ederse, platforma olan güven azalır ki bu da uzun vadeli müşteri tutuşunu etkiler, bu sadece kohort analizi ile ölçülür.
Detaylı çözüm, yarı deneysel yöntemlerin kombinasyonunu gerektirir. Temel araç, durumsal değişkenler ve zaman etkileri ile sabit etkileri olan Staggered Difference-in-Differences (DiD) yöntemidir ve aşamalı uygulama koşullarında etkiyi yakalamaya olanak tanır. Üretim kalitesinin içselliğini hesaba katmak için, eğitim verilerinin hacmine bağlı olarak etkide heterojenliği modelleyen Sebepsel Orman (Causal Forest) kullanılır. Paralel trendlerin doğrulanması için değişiklik göstermeyen kategoriler üzerinde Plasebo testleri yapılması ve dönüş oranlarının zaman içinde izlenmesine olanak tanıyan Hayatta Kalma Analizi (Survival Analysis) kullanılarak kısa vadeli dönüşüm etkisinin uzun vadeli güven etkisinden ayrılması kritik öneme sahiptir.
"EvKonforu" adlı mobilya ve dekor üzerine uzmanlaşmış bir pazaryeri, ürün sayfalarında kritik bir etkileşim düşüşü ile karşılaştı; %68'i kullanıcılar metin yorumları bölümüne ulaşamadı ve montaj kalitesi ve materyalleri hakkında önemli verileri atladı. Ürün ekibi, genişletilmiş yorumları görsel AI rozetleri ile değiştirerek anahtar noktaların özetini göstermeyi önerdi, ancak paydaşlar güven metriklerinin gizli bir şekilde düşmesinden ve olası model "halüsinasyonları" nedeniyle iadelerin artmasından endişe ediyorlardı. Analistlerin görevi, kullanıcılar üzerinde klasik bir bölünmüş test gerçekleştirmenin olanaksız olduğu bir durumda saf nedensel etkileri ölçmekti.
İlk seçenek, kullanıcı seviyesinde user_id'e dayalı rastgele kumelendirme ile klasik A/B testini düşünüyordu. Bu yaklaşımın artıları, katı nedensel tanımlama ve standart t-test veya bootstrapping ile istatistiksel işleme kolaylığıydı. Ancak, ürün için kritik dezavantajlar ortaya çıktı: kullanıcılar sosyal medya üzerinden ürün görüntülerinin ekran görüntülerini aktif olarak paylaşıyordu, bu da grup içi kontaminasyona sebep oluyordu ve farklı kullanıcıların aynı ürün için farklı görüntüleme şekilleri UX tutarlılığını bozuyordu ve bilişsel disonansa yol açıyordu.
İkinci seçenek, AI rozetlerinin uygulanacağı her kategori için, benzer tarihsel dönüşüm trendlerine ve mevsimselliğe sahip, değişmeyen kategorilerden ağırlıklı sentetik bir kontrol oluşturmayı öngören Synthetic Control Method kullanıyordu. Bu yaklaşımın önemli avantajları, kullanıcılar tarafından doğal olarak algılanması ve trafiği bölme gereksiniminin olmaması, böylece kullanıcı deneyimlerinin bütünlüğünü korumaktı. Ancak, "akıllı buzdolapları" gibi benzersiz kategoriler için güvenilir bir kontrol oluşturmanın olanaksızlığı ve tüm kategorileri aynı anda etkileyen küresel şoklar durumunda yanlılık riski gibi önemli dezavantajları vardı.
En uygun çözüm, sabit iki yönlü etkiler (Two-Way Fixed Effects - TWFE) ve veri hacmine göre etki heterojenliğini incelemek için Causal Forest ile Staggered Difference-in-Differences kombinasyonunu kullanmaktı. Bu yaklaşım, aşamalı dağıtımın doğal sırasını (önce kütlesel elektronik eşya, ardından mobilya) dışsal varyasyon kaynağı olarak kullanmamıza ve kategorik ve zamansal sabit etkileri kontrol etmemizi sağladı. Seçimin kritik bir faktörü, doğru özetlemeler ile yoğun kategoriler ve LLM halüsinasyonları olan sınıf dışı kategoriler için farklı etkileri modelleme imkanıydı; bu durum karar verme süreçlerinde stratejik bir avantaj sağladı.
Son uygulama, belirgin bir heterojenlik ortaya çıkardı: 50'den fazla geri bildirime sahip kategorilerde, bilişsel yükün azalması yoluyla dönüşüm %12 arttı, ve anahtar özelliklerin doğru iletimi sayesinde iadeler %3 azaldı. Buna karşılık, 10'dan az geri bildirime sahip niş kategorilerde, gerçek ürün kalitesi ile üretilen rozetler arasındaki uyumsuzluk nedeniyle iadelerin %8 arttığı görüldü, bu da yetersiz veri hacmine sahip segmentlerde AI özetlerinin tamamen kapatılması kararına yol açtı. Sonuç olarak, platform genel GMV üzerinde nötr bir etki sürdürdü ancak kullanıcı deneyiminin kalitesini önemli ölçüde artırdı ve yüksek hacim kategorilerinde iadelerin işlenmesi üzerindeki operasyonel maliyetleri düşürdü.
Üretim kalitesinin içsel olarak karıştırıcı olması
Adaylar genellikle rozetlerin uygulanmasını ikili bir etki olarak yorumlarlar, LLM özetleme etkinliğinin başlangıç geri bildirim hacmine göre sürekli bir işlev olduğunu göz ardı ederler; bu, gerçekte, yüksek dönüşüm oranlarına sahip kategorilerin başlangıçta daha fazla geri bildirim çekmesi nedeniyle karşılıklı bir nedensellik yaratır: popülarite → veri hacmi → kalite → gözlemlenen dönüşüm artışı; bu yanlışlıkla yalnızca görsel rozetlere atfedilir. Doğru yaklaşım, geri bildirim hacminin aracı olarak ürünün yaşı gibi yardımcı değişkenler kullanmak veya geri bildirim sayısı eşiği üzerinden Düzensizlik Regresyonu uygulamak gibi yöntemler gerektirir.
Kategoriler arası taşmalar ve dikkat ikamesi
Adaylar, kullanıcıların bir oturum içinde kategoriler arasında ürün karşılaştırdıklarını nadiren dikkate alır, bu da kategoriler arası taşmalara neden olur. Eğer "Akıllı Telefonlar" kategorisinde çekici AI rozetleri görünüyorsa ve "Kılıflar" kategorisinde geleneksel metin bloğu varsa, bu, bilgi asimetrisi yaratır ve talebi testi kategorisine aktarır; bu da UX'teki iyileştirme nedeniyle değil, dikkat ikamesi nedeniyle olur. Doğru bir değerlendirme için, modelin çapraz kategorik etkileri dahil etmesi veya kullanıcının toplam siparişi içindeki kategori payı değişimini analiz etmesi gereklidir, yalnızca kategori içi dönüşümü değil.
Açığa çıkarma etkisinin dinamik etkisi ve öğrenme eğrisi
Yeni analistler, gözlem penceresinde statik bir etki belirlerken, AI içeriğinin algısının zamanla kullanıcı deneyimi biriktikçe değiştiğini gözden kaçırırlar. İlk kullanıcılar rozetleri nesnel bir toplama olarak algılar, ancak yanıltıcı bir rozet ile ürünün ilk iadesinden sonra AI şüpheciliği oluşur ve olumlu etkiler zayıflar veya tersine döner. Bu desenin belirlenmesi için gecikmeli değişkenler ve öncü değişkenler ile bir Olay Çalışması gereklidir ve kullanıcıların AI içeriğiyle ilk teması açısından «yaş» bölümlendirmesi, öğrenme eğrisi oluşturma ve etkinin uzun vadeli sürdürülebilirliğini tahmin etme imkanı tanır.