Tarihsel Bağlam
Fintech ürünlerinde kimlik doğrulama (KYC), kullanıcı deneyiminde önemli bir friksiyon oluşturan yasal bir gereksinimdir. Klasik etkililik değerlendirme yöntemleri, kitlesel uygulamaların yasal ve etik nedenlerle rastgele kontrolünün mümkün olmadığı durumlarda uygulanamaz. Tarihsel olarak, analistler endojen seçim ve piyasa dışı şoklarını dikkate almayan basit kohort raporlarına güvenmişlerdir.
Problemin Tanımı
KYC sürecini geçirenler ile geçmeyenler arasındaki doğal kullanıcı kaybı, mevsimsel aktivite dalgalanmaları ve temel özelliklerdeki farklılıklar gibi faktörlerden temiz etkiyi izole etmek gerekmektedir. Sorun, geç adopters'ın motivasyon ve finansal davranış açısından sistematik olarak farklı olabileceği ve bu durumun hayatta kalma yanlılığı yaratmasıyla daha da karmaşıklaşır.
Detaylı Çözüm
KYC geçişinin saf etkisini, ertelemeli doğrulama süreci olan kullanıcılarla karşılaştırılan eşleşme kontrol grubunu oluşturmak için Difference-in-Differences (DiD) ve Propensity Score Matching (PSM) kombinasyonunu uygulamak. Sentetik Kontrol Yöntemi'ni dayanıklılık kontrolü olarak kullanarak, etkilenmemiş segmentlerin (örneğin, düzenleyici gerekliliklerin ertelendiği bölgelerdeki kullanıcılar) ağırlıklı kombinasyonunu oluşturmak. Mevsimselliği hesaba katmak için zaman sabit etkilerini (yılın ayı sabit etkileri) dahil etmek ve параллель eğilim varsayımını kontrol etmek için Event Study Design uygulamak.
Şirket, Mart ayında 18 yaş üzerindeki tüm kullanıcılar için belgelerle zorunlu iki faktörlü kimlik doğrulamayı başlattı; bu, vergi sezonuyla çakışıyordu. İşletme aktivitede bir düşüş fark etti ama KYC'nin etkisini mevsimsel düşüş ve rakiplerin toplu bildirim göndermelerinden ayıramadı. Analistlerin, uygulamanın ardından 30 gün için kullanıcı elde tutma ve 60 gün için ARPU üzerindeki net etkisini değerlendirmeleri gerekiyordu.
Seçenek 1: Önce ve sonra basit karşılaştırma (Pre-Post Analizi)
Analistler, KYC'den önceki ay için ortalama kullanıcı elde tutmayı hesaplar ve bunu sonrasıyla karşılaştırırlar. Bu yaklaşımın artıları, karmaşık modellere ihtiyaç duymadan cevap alma hızını ve basitliğini içerir. Eksileri; mevsimselliği (Mart vs Nisan), dış rekabet aktivitelerini ve doğal büyü ya da düşüş eğilimlerini göz ardı etmesi ve bu nedenle değerlendirmelerde %40'a kadar yanlılığa sebep olmasıdır.
Seçenek 2: Genç kullanıcıları (16-17 yaş) kontrol grubu olarak kullanarak basit DiD
Ekip, KYC'ye tabi olmayan grup ile hedef grup (18+) arasındaki değişiklikleri karşılaştırmayı önerir. Artıları, genel piyasa trendleri ve mevsimselliği hesaba katmaktır. Eksileri, gençler ve yetişkinler arasındaki finansal davranış farklılıkları nedeniyle параллель eğilim varsayımını ihlal etmesi ve farklı kohortların farklı yaşam döngüsü etkilerine maruz kalmasıdır.
Seçenek 3: Zaman gecikmeli sentetik kontrol
KYC'nin henüz uygulanmadığı pilot bölgelerden gelen kullanıcıların ağırlıklı kombinasyonu olarak yapay bir kontrol grubu oluşturulur. Artıları, tek bir kontrol grubuna bağımlılığı minimize etmek ve uzun bir zaman geçmişi yoluyla mevsimsel desenleri otomatik olarak hesaba katmaktır. Eksileri; veri hacmine yönelik yüksek gereksinimler, ağırlıkların yorumlanmasındaki karmaşıklık ve geçmiş dönemlerdeki aykırı değerlere duyarlılık.
Seçilen Çözüm ve Gerekçe
Hibrit bir yaklaşım seçilmiştir: KYC'yi 2-3 hafta erteleyen kullanıcıları kontrol grubu olarak kullanarak PSM-DiD ve Sentetik Kontrol ile doğrulama. Bu çözüm, PSM yoluyla gözlemlenen özellikleri dengeleyebilmiş ve DiD, zamansal etkileri yakalayabilmiştir. Sentetik kontrol, sonuçların belirli bir kontrol grubunun seçimine duyarlı olmadığını doğrulamıştır.
Sonuç
Analiz, KYC'nin ilk hafta içinde 7 günlük elde tutmayı %18 azalttığını ancak dolandırıcılık işlemlerinin hariç tutulması nedeniyle ortalama harcamayı %22 artırdığını göstermiştir. 90 günlük LTV üzerindeki net etki tarafsız kalmış (-%2, istatistiksel olarak anlamlı değil). Bu veriler temelinde, ürün ekipleri doğrulama sürecini üç mikro adıma ayırarak friksiyonu %35 azaltmayı başarmıştır, bu anti-fraud etkinliğinden ödün vermemiştir.
Sınırlı gözlem penceresi ve kohortların asenkron KYC geçişi olduğu durumlarda, uzun vadeli KYC etkisini analiz ederken sağdan sansürleme (right censoring) verilerinin nasıl işlenmesi gerektiği?
Adaylar, KYC'yi daha sonra geçen kullanıcıların davranışları için gözlem süresinde daha az zamanı olduğunu ve bunun bir yanlılık oluşturduğunu sıkça göz ardı ederler. Sağdan sansürlü gözlemleri dikkate alan Survivor Analysis yöntemleri uygulanmalıdır, örneğin Cox proportional hazards model veya Kaplan-Meier estimator. Alternatif olarak, LTV türü metrikler için Tobit regression veya sansürlü veri modelleri kullanılabilir. Ayrıca, staggered adoption design kullanarak DiD'de doğru bir "temiz" kohort (clean controls) işlenmesi önemlidir; standart iki dönemli DiD, aşamalı uygulama durumunda yanlı sonuçlar verecektir.
Standart propensite skor yönteminin (PSM) zorunlu kimlik doğrulama bağlamında neden yanıltıcı sonuçlar verebileceği ve zamansal dinamikleri hesaba katmak için hangi modificasyonların gerekli olduğu?
Standart PSM, zaman bağımlılığını ve kullanıcının motivasyonu veya beklenen işlem hacmi gibi gizli karıştırıcıları göz ardı eder. KYC bağlamında, her dönem için ayrı ayrı hesaplanan skorlara sahip Time-Dependent Propensity Score Matching veya zamanla değişken kovaryantlarla Inverse Probability of Treatment Weighting (IPTW) kullanmak kritik önemdedir. Ayrıca, gözlemlenen verilerin ötesinde ekstrapolasyonu önlemek için genel destek koşulunun (overlap condition) kontrol edilmesi gereklidir ve küçük örneklemlerde dayanıklılığı artırmak için Coarsened Exact Matching (CEM) kullanılmalıdır.
KYC geçişinin gerçek etkisini beklenti etkisinden (anticipation effect) nasıl ayırt edebiliriz ve paralel eğilim varsayımını nasıl test edebiliriz?
Etkilerin ayrımında, olaydan önce ve sonra göreli zamana (relative time) dummy değişkenleri ile Event Study Design kullanmak gerekir. KYC'den önceki dönemlerdeki lead değişkenlerinin katsayıları istatistiksel olarak anlamlı bir şekilde sıfırdan farklıysa, bu durum beklenti etkisini veya параллель eğilim ihlalini gösterir. Dayanıklılığı kontrol etmek için, daha erken dönemlere yönelik uygulama tarihinin kaydırıldığı Placebo tests veya değişmemesi beklenen outcome değişkenleri üzerinde Falsification tests kullanılması önerilir. Eğilimlerdeki ihlaller durumunda, trend uyumsuzluğunu düzeltmek için Synthetic Difference-in-Differences (SDiD) uygulanabilir.