Böyle değişimlerin tarihsel bağlamı 2017 yılına dayanıyor, bu yıl Netflix, beş yıldızlı ölçekten ikili 'parmak yukarı/aşağı' sistemine geçti ve YouTube de beğenmeyenleri gizlemek için bu örneği takip etti. Bu değişiklikler, beş yıldızlı derecelendirmelerin 'Asya' enflasyonu (4-5 yıldız etrafındaki yoğunlaşma) sergilediği ve gerçek içerik tüketimi ile kötü korelasyon gösterdiği gerekçesiyle yapılmıştır. Sorun, geri bildirim toplama mekanizmasının değişiminin temiz etkisini, konjonktürel faktörlerden ayırmaktır: kategorilerin mevsimselliği, aktif kullanıcıların öz seçimleri ve yeni sinyallerin seyrekliği nedeniyle İşbirlikçi Filtreleme modellerinin zamanla bozulması.
Çözüm olarak, içeriğin farklı kategorileri ile Staggered Difference-in-Differences (DiD) yöntemi kullanılmaktadır; burada işleme alınan kategoriler (tedavi) henüz geçmemiş olanlarla (kontrol) karşılaştırılarak farklı uygulama zamanları dikkate alınmaktadır. Doğrudan analoğu olmayan kategoriler için ise Sentetik Kontrol Yöntemi kullanılmakta ve kontrol kategorilerinin ağırlıklı kombinasyonunu oluşturarak karşı gerçekçileri taklit etmektedir. Değerlendiren kullanıcıların öz seçimini etkileyen endojenlik üzerinden Heckman Düzeltmesi veya görünüm geçmişi ve süreye dayalı Propensity Score Matching ile düzeltilmektedir. Önerilerin kalitesini değerlendirmek için, NDCG ve MAP metrikleri kullanılarak göndermeden çıkarılan örneklerde Counterfactual Değerlendirmesi uygulanmakta, faktör matrisinin stabilizasyonu için 2-4 haftalık bir yakma süresi (burn-in) dışında tutulmaktadır.
'CinemaFlow' akış hizmeti, güncel olmayan beş yıldızlı sistemi, kullanıcı katılımını artırmak için ikili bir sistemle değiştirmeyi planlamıştır. Temel sorun, ekibin derecelendirmelerin tahmin gücünün azaldığından ve detaylı ölçeğe alışmış kullanıcıların etkinliğinde ani bir düşüşler olacağından şüphelenmesiydi. Hem türlere kademeli bir dağıtım sürecini (önce belgeseller, ardından komediler) hem de mevcut derecelendirmelerin görünürlüğünün yeni kullanıcıların oylama isteği üzerindeki etkisini dikkate alan bir değerlendirme yöntemi bulmak gerekiyordu.
Kullanıcıları user_id düzeyinde ayıran klasik A/B testinin bir seçenek olarak gözden geçirilmesi yapıldı. Bu yaklaşımın avantajları, deneyin saflığı ve nedensel etkinin yorumlanmasının basitliğiydi. Dezavantajları ise kritik kaldı: İşbirlikçi Filtreleme algoritması iki farklı sinyalin bir matris içindeki karışımından dolayı bütünlüğünü kaybetti ve her iki grup için de önerilerde anormalliklere yol açtı; sosyal fonksiyonlar yoluyla çapraz kirlenme riski mevcuttu (kullanıcılar diğer gruptaki arkadaşlarının derecelendirmelerini görebiliyordu); iş dünyası, bir ürün içinde parça parça bir kullanıcı deneyiminden olumsuz bir tepki korkusunu taşıyordu.
Alternatif olarak, her kategori için geçiş öncesi ve sonrası metriklerinin karşılaştırıldığı önce-sonra analizi seçeneği vardı. Avantajları, teknik basitlik ve bir kısmı için eski sistemi tutma gerekliliğinin olmamasıydı. Dezavantajları ise, müdahale etkisini izleme riski ve sezonluk izleme dalgalanmalarından ayırmanın imkansızlığıydı (örneğin, Noel filmleri aralık ayında farklı değerlendirilmektedir), sürü davranışı ve yeni sistemin erken takipçilerinin öz seçim etkisini göz ardı etmek, bu da yanlı bir değerlendirme sağlıyordu.
Sentetik Kontroller ve Enstrümantal Değişkenler ile birlikte Staggered DiD karma yöntemi seçildi. Bu yöntem, henüz ikili sisteme geçmemiş kategorileri, geçiş yapmış olanlar için kontrol olarak kullanmayı sağladı ve zaman eğilimlerini düzeltti. Sentetik Kontrol, türler arasındaki heterojenliği dengeledi ve içerik yayınlama saatlerini (çevrimiçi kullanıcıların daha az olduğu ve sürü etkisinin daha zayıf olduğu zamanlar) enstrüman olarak kullanan IV yaklaşımı, derecelendirme arayüzünün temiz etkisini izole etmeye yardım etti. Bu seçim, geçiş sürecinde öneri sisteminin işlevselliğini koruma ve verilerin kısmi mevcut olduğu durumlarda yanlı olmayan değerlendirmeler alma ihtiyacı ile bağlantılıdır.
Sonuç olarak, derecelendirme hacminde %220'lik bir artış gerçekleştirildi, bu da bilişsel yükteki azalmadan kaynaklanıyor, ancak önerilerin doğruluğu (%NDCG@10 ölçülen) ilk üç hafta içinde %12 düştü. Bu dönem, Matrix Factorization modelinin yeniden eğitimine karşılık geliyordu, ardından metrikler, matrisin yoğunluğunun artması sayesinde başlangıç seviyesine (baseline) geri döndü. Bu verilere dayanarak, ürün ekibi mevcut bütçeye ek olarak yeni kullanıcılar için soğuk başlatma (cold start) için bütçe arttırma kararı aldı.
Model yeniden eğitim süresince öneri kalitesindeki bozulma dönemini nasıl doğru bir şekilde hesaba katmalı ve bunu yeni sistemin gerçek etkisinden ayırmalıyım?
Cevap: Genellikle 2-4 hafta süresince metriklerin temel nedensel analizden hariç tutulduğunu içeren 'yakma süresi' (burn-in period) kavramını biçimsel hale getirmek gerekmektedir. Geçiş öncesi ve sonrası çevrimiçi metrikleri (NDCG, MAP, Precision@K) karşılaştırarak tarihi hold-out setlerinde Counterfactual Değerlendirmesi kullanın, ancak kullanıcı aktivite seviyesine göre katmanlaştırarak. Bütünlük yönünden, doğruluk dışında coverage ve diversity metriklerini izlemek önemli çünkü ikili sinyaller yetersiz düzenleme durumunda popülarite yanlılığına (popularity bias) yol açabilir.
Kullanıcılara, yeni sistem altında oy vermeye istekli olanların öz seçim endojenliğini nasıl ele almalı ve davranışlarını arayüz etkisinden ayırmalıyım?
Cevap: İkili sistem altında içerik derecelendiren kullanıcılar, sistematik olarak 'yıldız' değerlendirenlerden farklıdır (aşırı tercihlere eğilimlidirler). Heckman Düzeltmesi (seçim denklemi ile iki aşamalı model) veya geçmiş özelliklere (görünüm geçmişi, süre, oturum süresi) dayalı olarak hesaplanan propensitiy skorları ile Inverse Probability Weighting uygulayın. Enstrümantal Değişken olarak like/dislike butonlarının yerleşimi (nesteyi, yeniden düzenlemeyi) rastgele değişiklikler veya toplu derecelendirmelerin görünürlüğünü A/B test ederek temiz veri toplama mekanizmasının etkisini izole etmek için kullanın.
Sürü davranışının (herding) niceliksel etkisini nasıl değerlendirebilir ve bunu derecelendirme hacmindeki gerçek kullanıcı tercihinden ayırmalıyım?
Cevap: Kullanıcıları, boş bir derecelendirme sayacı gören 'öncüler' ve sıfırdan farklı bir oy sayısı gören 'izleyiciler' olarak ayırın. Derecelendirme görünürlüğü etrafındaki eşiklerde Regresyon Kesim Tasarımı (RDD) uygulayın (örneğin, içerik bir kategorinin ilk 10'una girdiğinde). Topluluk sonucu gören kullanıcıların derecelendirme olasılığını, 'ilk siz olun' diyenlerle karşılaştırın. Dinamik düzeltme için Thompson Sampling veya zamanlama ile değerlendirme ve sinyalin filtrelenmesi için Bayes yöntemlerini kullanın.