Soruya yanıt
2010'larda Facebook ve Twitter tarafından popülerleşen sayfalamadan sonsuz kaydırma geçişi içerik tüketim desenlerini köklü bir şekilde değiştirmiştir. İlk ürün analistleri, mevsimsel eğilimler ve kullanıcı öz seçimlerini dikkate almadan "önce ve sonra" gibi naif karşılaştırmalara güvendiler. Sorun, farklı arayüz versiyonları olan cihazlar arasında kesintisiz geçiş yapan kullanıcıların bulunduğu çok platformlu ekosistemlerin gelişmesiyle daha da karmaşıklaştı.
sonsuz kaydırma uygulamasının kaydırma derinliği ve reklam kazançları üzerindeki etkisini izole etmek gerekmektedir. Kritik karıştırıcılar, ilerleyici coğrafi dağıtımın yarattığı aşamalı zamanlama ve kullanıcıların cihazlar arası geçişi sonucu gruplar arası kontaminasyondur. Bölgeleri basit bir şekilde karşılaştırmak yapısal farklılıklar nedeniyle geçersizdir. Bireysel oturum seviyesinde yapılan analiz, cihazlar arasında carryover etkilerini göz ardı eder ve tutundurma değerlendirmelerini çarpıtır.
Aşamalı farklar arası fark (staggered difference-in-differences) yöntemini, heterojen etkiler için Callaway-Sant'Anna veya Sun-Abraham tahmincileri ile düzeltme yaparak uyguluyoruz; bunlar aşamalı dağıtımı doğru bir şekilde işler. Cihazlar arası kontaminasyona karşı, standart hataları kullanıcı bazında kümelendiriyor ve kullanıcı sabit etkilerini dahil ediyoruz; bu şekilde, özelliğin gerçek kullanımını tedavi olarak, bölgesel dağıtım takvimini ise enstrümantasyon değişkeni (IV) olarak ele alıyoruz. Gelir analizinde, reklam görünürlüğündeki değişikliğin doğrudan etkisi ile artan katılım aracılığıyla dolaylı etkiyi ayırmak için medyasyon analizi yapıyoruz. Paralel eğilimlerin geçerliliğini, CausalImpact kullanarak sentetik kontrol oluşturmak için ön dağıtım verileri üzerinde gerçekleştiriyoruz.
Gerçek yaşam durumu
5 milyon MAU'ya sahip bir medya uygulamasında, uygulamada geçirilen süreyi artırmak için klasik sayfalamanın sonsuz kaydırma ile değiştirilmesi planlandı. Ölçüm sorunu, aşamalı dağıtımda gizliydi: önce Moskova ve Saint Petersburg, ardından bir ay sonra diğer bölgeler. Ayrıca, kullanıcılar aktif bir şekilde mobil uygulama (yeni özellik ile) ve tablet (eski versiyon) arasında geçiş yaparak gruplar arasında güçlü bir kontaminasyon yarattılar.
İlk seçenek, bir bölgede yayın öncesi ve sonrası metriklerin basit karşılaştırmasıydı. Artıları: yüksek hesaplama hızı ve veri gereksinimlerinin minimum olması. Eksileri: özelliğin etkisini mevsimsel haber döngüsü ve kullanıcı tabanındaki doğal artıştan ayırt etmek mümkün olmadı; elde edilen rakamlar, yılbaşı trafiği nedeniyle %40 oranında sapmıştı.
İkinci seçenek, Moskova ile diğer bölgeler arasında saf coğrafi A/B testi yapmak oldu. Artıları: kesit anında grupların net bir şekilde ayrılması. Eksileri: davranıştaki yapısal farklılıklar (Moskova sakinleri daha fazla iş haberleri okuyor), ayrıca kullanıcıların bölgeler ve cihazlar arasında geçiş yapması, kontrol grubuna %15'e kadar sızıntı yaratıyordu, bu da değerlendirmeleri geçersiz kılıyordu.
Seçilen çözüm, kullanıcı sabit etkileri ve bölge düzeyinde hata kümelendirmesi ile birlikte aşamalı DiD oldu. Yeni sürümle bir uygulamaya ilk giriş anını tedavi başlangıcı olarak kullandık ve bölgesel dağıtım takvimini IV tahmini için araç olarak kullandık. Bu, cihazlar arasında çapraz kirliliği tedavi ve kontrol arasında kısmi bir eşleşme olarak göz önünde bulundurarak, tarafsız bir tahmin sağladı.
Sonuç: kaydırma derinliğinde net artış %22 oldu (naif tahminle %35 yerine), ancak RPM, reklam alanlarının görünürlüğündeki azalmanın %8 düşmesine neden olduğu için düştü. Her 10 kartta bir zorunlu reklam bloğu içeren hibrit "daha fazla yükle" modu uygulamaya karar verildi. Bu, temel düzeyde monetizasyonu korurken görüntüleme derinliğine %18 katkı sağladı.
Adayların genellikle gözden kaçırdığı noktalar
Coğrafi dağıtım sırasında hata uzamsal korelasyonunu nasıl doğru bir şekilde ele alırsınız?
Adaylar genellikle standart hataları yalnızca kullanıcı düzeyinde kümelendirirken, bölgesel şokların (hava durumu, yerel haberler) coğrafya içindeki hataları korrele ettiğini göz ardı ediyorlar. Çifte kümelendirme (user + region) veya doğru koordinatlar varsa Conley uzamsal standart hataları kullanılmalıdır. Bunu yapmadan güven aralıkları çok dar olacaktır ve bu da etki önemliliği testinde yanlış olumlu sonuçlara yol açacaktır.
Aktif kullanıcılar pasif kullanıcılarınkinden önce sonsuz kaydırma alıyorsa, uygulama güncelleme hızının sonojenliği ile nasıl başa çıkarsınız?
Bu, aşamalı benimsemedeki self-selection sorunudur. Bölge bazında standart intent-to-treat (ITT) konservatif bir tahmin sağlar, ancak Tedavi-Üzerine-Tedavi (TOT) enstrümana ihtiyaç duyar. Özelliğin gerçek kullanımını tahmin etmek için bölge/zaman atamasını IV (enstrümantasyon değişkeni) olarak kullanın veya tarihsel aktiviteye dayalı eğilim skoru ile ters olasılık ağırlığını (IPW) uygulayın. Aksi takdirde, değerlendirme yüksek temel katılım oranına sahip güç kullanıcıları lehine kayacaktır.
Gelir analizinde UX iyileştirmenin etkisini reklam alanlarının teknik değişikliği etkisinden nasıl ayırırsınız?
Medyasyon analizi veya iki aşamalı en küçük kareler (2SLS) gerekmektedir. İlk aşamada, sonsuz kaydırmanın kaydırma derinliğindeki etkisini (saf UX) değerlendiriyoruz, ikinci aşamada ise derinliğin reklam gösterimlerine etkisini inceliyoruz. Dış görünümün doğrudan etkisi (ekranda daha az reklam) ayrı olarak do-kalkülasyon veya sahte reklam alanları ile yapay kontrol kullanılarak değerlendirilir. Bu ayrım olmadan, aslında layout değişikliği nedeniyle görünen para kazanma düşüşü yüzünden başarılı bir özelliği yanlış bir şekilde reddetme riski taşır.