Son on yıldaki e-ticaret evrimi, statik kataloglardan sosyal medyadan ödünç alınan etkileşimli formatlara kaymıştır. Hikaye formatı, başlangıçta Snapchat ve Instagram tarafından popüler hale getirilmiştir ve pazaryerleri tarafından kısa görsel anlatılar aracılığıyla ürün seçimini kolaylaştıran bir araç olarak adapte edilmiştir. Ancak klasik A/B testlerinden farklı olarak, geçici içerik etkisinin değerlendirilmesi, kullanıcıların kontrol grubunda bile olsa test grubundaki arkadaşlarının Hikayelerini görmesi gibi çapraz kirlenme (contamination) sorunları ile karşılaşmaktadır.
Temiz etkinin izole edilmesi, üç içsel endojenlik faktörü ile zorlaşmaktadır. İlk olarak, markalar kaliteli video içerik üretme yeteneğine göre kendi kendilerini seçmektedir (büyük oyuncular ilk olarak başlarken) ve bu, hayatta kalma aleyhine bir yanlılık yaratmaktadır. İkinci olarak, abonelik grafi içindeki ağ etkileri spillover etkisine neden olmaktadır; etki, sosyal bağlar aracılığıyla testten kontrol grubuna "sızmaktadır". Üçüncü olarak, Gen Z kullanıcıları, 45+ yaş grubuna kıyasla Hikayelere 3-4 kat daha yüksek bir katılım göstermektedir, bu da analizin tabakalaşmasını gerektirmektedir.
Optimum metodoloji staggered Difference-in-Differences (DiD) ile mekansal-zamansal varyasyon kullanmaktır; burada ürün kategorileri etki kümeleri olarak hizmet etmektedir ve farklı zaman dilimlerinde uygulanmaktadır. Ağ kirlenmesini kontrol etmek için leave-out strategy uygulanmaktadır: farklı kategorilerdeki markalar üzerinde kesişen aboneliğe sahip kullanıcılar (tedavi ve kontrol) dışında tutulmaktadır. Markaların öz seçimini düzeltmek için Propensity Score Matching (PSM) tarihsel katılım ve kitle büyüklüğü metriklerine göre kullanılmaktadır. Varyans CUPED (Controlled-experiment Using Pre-Experiment Data) ile azaltılmakta, etki heterojenliği ise farklı yaş segmentleri için koşullu ortalama etki (CATE) belirlemek için Causal Forest ile değerlendirilmektedir.
Büyük bir moda pazaryerinde, test grubu için "Spor Giyimi" kategorisinde Hikayelerin uygulanması planlanırken, kontrol grubu için "İş Giyimi" kategorisinde klasik ürün kartlarının korunması düşünülmüştür. Sorun, Nike ve Adidas'ın (test) klasik markalara (kontrol) göre kat kat daha fazla aboneye sahip olması ve kullanıcıların %40'ının her iki kategorideki markalara aynı anda abone olmasıyla güçlü bir kontaminasyon yaratmasıdır. 7 günlük tutma hızı (D7 retention) ve Hikayelerini izledikten sonraki 48 saat içinde satın alma dönüşümünü değerlendirmek gerekiyordu.
Seçenek 1: Test kategorisi için basit önce-sonra karşılaştırması
Analistler, spor kategorisinin metriklerini Hikayelerin başlatılmasından bir ay önce ve sonra karşılaştırmayı önermiştir. Bu yaklaşımın avantajları arasında anında sonuç alma ve karmaşık bir altyapıya ihtiyaç olmaması bulunmaktadır. Dezavantajlar kritik: formatın etkisini Ocak ayındaki mevsimsel spor giyimi talebinin artışı (New Year Resolution etkisi) ve markaların, yeni işlevle eşzamanlı olarak başlattıkları pazarlama kampanyalarından ayırt edememektir.
Seçenek 2: Kullanıcı düzeyinde klasik A/B testi ile 50/50 bölme
Bu seçenek, kullanıcıların kategori fark etmeksizin Hikayeleri görme olasılıklarını rastgele ayırmayı öngörmüştür. Avantajları, deney tasarımının saflığı ve yorumlamanın basitliğinde yatmaktadır. Dezavantajları arasında teknik imkansızlık (içerik markalar tarafından üretilmekte, platform tarafından değil) ve etik kısıtlamalar bulunmaktadır; markaların bazı takipçilerinden içeriğin gizlenmesi, monetizasyon modelini bozmakta ve reklamverenlerden şikayetlere yol açmaktadır.
Seçenek 3: Ağ bağlantılarının filtrelenmesi ve sentetik kontrol ile birlikte staggered DiD
Zamansal varyasyon kullanarak (spor kategorisi — hafta 1, sokak giyimi — hafta 3, klasik — hafta 6) uygulanması kararlaştırılmış ve henüz bu özelliğe sahip olmayan kategorilerin ağırlıklı kombinasyonuna dayanan Synthetic Control oluşturulmuştur. Kontaminasyonu ortadan kaldırmak için, kesişen aboneliği %15'ten fazla olan kullanıcılar dışarıda tutulmuştur (bu eşik sosyal grafik analizi ile belirlenmiştir). CUPED, tarihsel D7 tutma hızı için düzeltme amacıyla kullanılmıştır.
Seçilen Çözüm:
Ekip, yaşa göre segmentasyon için Causal Forest ile desteklenmiş Seçenek 3'ü tercih etmiştir. Bu, yalnızca temiz etkileri izole etmekle kalmamış, Hikayelerin kimin için daha iyi çalıştığını anlamayı da sağlamıştır. Seçimin temel faktörü iş süreçlerini (tüm abonelerin içeriği görmesi) koruma imkanı olmuş, aynı zamanda geçerli bir nedensel değerlendirme yapılabilmiştir.
Sonuç:
Analiz, 18-25 yaş segmentinde %8.4 (p < 0.01) istatistiksel olarak anlamlı bir artış tespit etmiştir; 45+ yaş grubunda ise etki yoktur. Ancak negatif spillover tespit edilmiştir: Bir oturumda 5'ten fazla Hikaye gören kullanıcılar, satın alma dönüşüm oranında %3 azalma göstermektedir (aşırı yüklenme etkisi). Bu verilere dayanarak, ürün ekibi yaşa göre Hikaye gösterim sıklığını düzenleyen bir adaptif algoritma uygulamıştır, bu da test kategorisinde %4.2'lik bir GMV artışına yol açmış, daha büyük grupların kullanıcı deneyiminde bir kayba neden olmamıştır.
Bir markanın aşırı Hikayelerinin diğer markaların içeriğine olan duyarlılığı azaltması gibi negatif spillover etkisini nasıl düzgün bir şekilde dikkate almak gerekir?
Adaylar genellikle yalnızca pozitif ağ etkilerine odaklanmakta ve aşırı yüklenmeyi göz ardı etmektedir. Doğru yaklaşım, oturum düzeyinde (session-level) bir analiz gerektirir; oturumları "yüksek Hikaye yoğunluğu" (>3 benzersiz marka) ve "düşük yoğunluk" olarak ayırmak, ardından tedavi ve içerik yoğunluğu seviyesi arasındaki etkileşim terimini değerlendirmek gerekmektedir. Eğer katsayı negatif ve anlamlı ise, bu format içindeki dikkat kanibalizasyonunu ifade etmektedir. Ayrıca zamansal dinamikleri kontrol etmek gerekmektedir: kullanıcıların zaman içinde formata karşı "dayanıklılık" (ad stock) geliştirilip geliştirilmediği, uygulamaların etki sınıflandırılmasında hafta bazında da analiz edilmelidir.
Yüksek üretim değerine sahip markaların ilk dalgalarda kendini seçmesi durumunda, Hikaye formatının etkisini içeriğin kalitesinden nasıl ayırt etmek gerekir?
Standart DiD bu sorunu çözmeyecektir, çünkü markaların özellikleri başlangıç seviyesindeki metriklerle ilişkilidir. Instrumental Variables (IV) uygulanması gerekmektedir; bir araç olarak, markanın Hikaye fonksiyonunun kullanılabilir olduğu abone sayısı eşik değeri kullanılabilir (örneğin, >100k takipçi). Bu, eşik çevresinde rastgele bir varyasyon yaratmakta (regression discontinuity design, RDD) ve aynı içerik kalitesine sahip 99k ve 101k takipçiye sahip markaları karşılaştırmaya olanak tanımaktadır. Böylece, formatın temiz etkisi izole edilmektedir, içerik yaratıcılarının kalitesinden bağımsız olarak.
Neden standart tıklama oranı (CTR) ve görüntüleme oranı (VTR) geçici içeriğin uzun vadeli etkisini değerlendirmek için yeterli değildir ve hangi metrikler kullanılmalıdır?
Adaylar sıklıkla anlık katılıma odaklanmakta ve ertelenmiş satın alma atıflarını göz ardı etmektedir. Hikayeler 24 saat içinde kaybolur, ancak kullanıcı belleğinde bir "iz" (mental availability) bırakmaktadır. Doğru değerlendirme, Surrogate Index oluşturmayı gerektirir; uzun vadeli LTV için ara metriklerin (bir hafta içinde uygulamanın açılma sıklığı, satın almadan önce Wishlist'e ekleme gibi) proxy olarak kullanılması. İki aşamalı değerlendirme ile Long-term Causal Effects yöntemi kullanılmaktadır; önce, geçici metrik ile nihai LTV arasındaki ilişki tarihsel verilere göre modellenmekte, ardından bu ilişki deneysel verilere uygulanmaktadır. Bu, kullanıcının Hikayeleri gördüğü ancak içeriğin kaybolmasından sonra bir hafta içinde satın alma yaptığı "gecikmeli dönüşüm" etkisini yakalamakta yardımcı olmaktadır.