Soruya verilen cevap
Tarihsel olarak, güvenlik önlemlerinin uygulanmasının değerlendirilmesi, örneğin 2FA, naif ‘önce/sonra’ karşılaştırmalarından yarı deneysel yöntemlerin uygulanmasına doğru evrim geçirmiştir. Klasik A/B testi teknik kimlik doğrulama mimarisindeki teknik kısıtlamalar veya güvenlik nedeniyle etik kaygılar yüzünden mümkün olmadığında, analistler, müdahalenin etkisini zaman içindeki eğilimlerden ayıran Difference-in-Differences (DiD) gibi farklılık değerlendirme yöntemlerine yönelirler. Ana zorluk, 2FA'ya ek yük getirmeye istekli kullanıcıların, motivasyon veya paranoyaklık açısından diğerlerinden sistematik olarak farklılık göstermesidir; bu, kendiliğinden seçimin içsel birliğini yaratır ve basit korelasyon değerlendirmelerini çarpıtır.
Problem, zorunlu kimlik doğrulamanın gerçek etkisini mevsimsel aktivite zirveleri (örneğin, bayram indirimleri), yeni kotaların doğal tutma düşüşleri ve güvenlik önlemlerini kabul eden kullanıcıların temel özelliklerindeki farklılıklar gibi karıştıran faktörlerden ayırmayı gerektirir. Doğru bir tanımlama stratejisi olmadan, işletme, doğal mevsimsel aktivite düşüşünü 2FA için olumsuz bir etki olarak yanlış değerlendirebilir veya tam tersine, kendiliğinden seçim etkisini özelliğin başarısı olarak kabul edebilir, bu da friction ölçümlerin tüm kitleye gereksiz yere genişletilmesine yol açar.
Detaylı çözüm, farklı kullanıcı gruplarının (kotalar) zorunlu 2FA'yı farklı zaman dilimlerinde alacağı Staggered Difference-in-Differences (DiD) kullanan kohort odaklı bir yaklaşımı içerir. Her kohort için kontrol grubu, önlemin uygulandığı tarihten hemen önce kaydolan kullanıcılar (regresyon kesişim noktası) veya müdahale edilmemiş kohortlar olacaktır. Kendiliğinden seçimi düzeltmek için Inverse Probability Weighting (IPW) uygulanır: önceki davranış temelinde (biyometrik kullanımı, şifre değiştirme sıklığı) gözlem ağırlıkları oluşturulur, böylece grupların özellikleri dengelenir. Mevsimsel etkinin dikkate alınması ise zaman sabit etkileri (haftalık veya aylık dummy değişkenler) ile gerçekleştirilir. Sağlam doğrulamalar olarak Synthetic Control Method (işlenmemiş kotaları işlenmiş eğilimi taklit etmek için ağırlıklandıran sentetik kontrol) ve Event Study (müdahalenin öncesi ve sonrası etki dinamiklerini görselleştirmek ve paralel eğilim varsayımını kontrol etmek için) kullanılır.
Gerçek hayattan bir durum
Mobil bankada, artan dolandırıcılık nedeniyle zorunlu 2FA'yı SMS ve TOTP uygulamaları aracılığıyla tüm girişlerde uygulamaya karar verildi. Dağıtım, kayıt tarihleriyle yapılan kotalar üzerinden organize edildi: 1 Mart'tan önce kaydolan kullanıcılar değişiklik yapılmadan bırakılacak (kontrol), her bir sonraki haftada yeni kayıtlar ise zorunlu 2FA'yı alacaklardı (işleme koyma). Başlangıçtan iki hafta sonra metrikler, ‘işlenmiş’ kotalar arasında 30 günlük tutmada %25’lik felaket bir düşüş gösterdi ve bu durum ürün departmanında panik yarattı ve değişikliğin geri alınması önerildi.
İlk incelenen seçenek — 2FA ile ve ondan bağımsız kullanıcıların gözlemleme dönemindeki retention rate'lerinin basit karşılaştırmasıdır. Bu yaklaşımın artıları anında hesaplanabilmesi ve görselliğidir; eksileri ise feci metodolojik bir hata barındırmaktadır: zorunlu uygulamadan önce 2FA'yı gönüllü olarak etkinleştiren kullanıcılar hiper aktiv veya paranoyak olup, bu durum doğal tutma oranlarının %40 daha yüksek olmasına neden olmuştur ve bu tür bir karşılaştırmayı geçersiz kılmaktadır.
İkinci alternatif — farklı yaşam döngüsü başlangıç noktalarını dikkate alan, zaman kontrolü olmadan diğerine görsel bir karşılaştırma yaparak kohort retention curve'lerini analiz etmektir. Artıları, farklı yaşam döngüsü başlangıç noktalarını hesaba katmasıdır; eksileri, mevsimselliği göz ardı etmesi (Mart, vergi ödeme döneminin olduğu ve sonrasında doğal bir düşüş döneminin geldiği bir zamandır) ve Mart ayında başlatılan yeni reklam kanallarından gelen trafik kalitesindeki genel düşüş ile etkiyi ayıramama sorununu yaratmaktadır.
Üçüncü seçenek — Callaway-Sant'Anna yöntemini kullanarak Staggered DiD uygulamasıdır; burada grup-zaman efektlerini (Group-Time ATT) değerlendirmek ve her bir kohort içinde eğilim puanlarıyla eşleştirerek işe yarayabiliriz. Artıları - farklı işleme saatleriyle doğru bir çalışma, ‘zaten işlenmiş’ kullanıcıları yeni işlenmiş kullanıcılar için kontrol olarak dışlama, mevsimsel etkinin sabit etkiler aracılığıyla kontrol edilmesidir; eksileri - yorumlama zorluğu, paralel eğilimlerin kontrol edilmesi ve küçük kotalarda aşırı değerlerden duyarlılıktır.
Üçüncü çözüm tercih edilmiştir çünkü ilk ikisi ya aşırı iyimser (kendiliğinden seçim) ya da felaket bir şekilde kötümser (mevsimsellik) senaryoları göstermektedir. Analiz, gerçek neden-sonuç etkisinin 30 günlük tutma için -%8 olduğunu gösterdi (yani -%25 değil) ve bu, güvenli hesaplara olan artan güven nedeniyle ortalama işlem tutarındaki %20'lik bir artışla dengelendi. Nihai sonuç — ürün ekibi, zorunlu 2FA'yı korudu ancak 30 gün boyunca ‘Güvenilir cihaz’ opsiyonunu ekledi; bu, friction'ı azalttı ve tutmanın başlangıç seviyesine dönmesini sağladı, dolandırıcılık operasyonlarındaki %60'lık bir düşüşü koruyarak.
Adayların sıkça göz ardı ettiği noktalar
Neden standart iki yönlü sabit etkiler (TWFE) yöntemi, kullanıcının ve zamanın sabit etkileriyle lineer regresyonda 2FA'nın çeşitli (staggered) tasarımında yanlı veya hatta zıt işaretli tahminler verebilir ve hangi modern tahminleyici yerine kullanılmalıdır?
Standart TWFE yaklaşımında, daha önce erken kohortta işleme tabi tutulan kullanıcılar, henüz işlemleme tabi olmayan geç kohorttaki kullanıcılar için otomatik olarak kontrol grubu olarak kullanılır. 2FA etkisi zamanla değişirse (örneğin, kullanıcılar uyum sağlar ve sürtünme azalır) ya da kotalar arasında farklılık gösterirse (erken benimseyenler vs geç benimseyenler), daha önce işlem gören birimler “kötü” karşıfaktör haline gelir, bu da “negatif ağırlıklar” problemi ve tahminlerin yanlı olmasıyla sonuçlanır. Bunun yerine Callaway-Sant'Anna tahminleyicisi uygulanmalıdır; bu tahminleyici, her grup ve zaman için işlem ortalama etkisini (ATT) ayrı ayrı hesaplar ve sadece asla işlem görmemiş veya henüz işlem görmemiş birimleri kontrol olarak kullanır, daha önce işleme alınanları kontrol havuzundan hariç tutarak doğru kimliklendirme sağlar. Yeni başlayan bir uzman için: Eylül'de yeni bir kural alan bir sınıfı, ekim ayındaki kontrol sınıfında karşılaştırdığınızı varsayın. Ekim'e ulaştığınızda, ilk sınıf zaten alışmışsa ve ikinci sınıf sadece şok yaşıyorsa, çarpıtılmış bir tablonuz olur — modern yöntemler yalnızca kuralı asla almadığınız kişilerle karşılaştırır.
Zorunlu 2FA'nın mobil cihazda etkin olduğunda, kullanıcıların web uygulamasını aktif olarak kullanmaya başlaması durumunda “kirlilik” veya “sızıntı” tedavisini nasıl doğru bir şekilde ele alabiliriz ve neden bu tür kullanıcıların örneklemden basit bir şekilde çıkarılmasının yanlılık yarattığını?
“Kaçak” kullanıcıların basit bir şekilde dışarıda bırakılması, kısmi kesme yanlılığı veya seçim yanlılığı yaratır, çünkü örnekte kalan kullanıcılar ya sürtünmeyi önlemek konusunda daha az motive olmuş ya da daha az teknik bilgiye sahip olanlardır; bu durum hedef popülasyona etkisini çarpıtır. Doğru yaklaşım, tüm kullanıcıların, ait oldukları gruba (mobil uygulama 2FA ile) göre analiz edildiği Intent-to-Treat (ITT) analizidir; bu, gerçek davranışa (web'e geçişe) bakılmaksızın gerçekleşir. Mekanın etkisini değerlendirmek için (Treatment-on-Treated, TOT) Two-Stage Least Squares (2SLS) yöntemi kullanılır; burada gerçek 2FA kullanımı, müdahale kohortuna üyelik ile silahlandırılır ve “uymama” (non-compliance) etkisini temizlemeye imkan tanır. Yeni başlayan bir uzman için: bu, ilaç grubu içerisinde, hastaların ilaçları almayı bıraktıkları bir klinik deneye benzemektedir. Eğer bu hastaları dışarıda bırakırsanız, ilacın bazı hastaları “itmesine” dair bilgiyi kaybedersiniz ve etkinliği abartırsınız. ITT, “atama”yı analiz ederken, “gerçek alım”ı değil; rastgeleliği koruyarak değerlendirir.
Nasıl sürtünme etkisini (kod girme gerekliliği) güvenlik “sezme” veya “belirginleştirme” etkisinden ayırabiliriz (2FA varlığı ile hissedilen artırılmış güvenlik) ve neden monetizasyon etkilerini değerlendirirken ara analiz yapılması önemlidir?
Ayrımın önemi, bu etkilerin davranış üzerinde zıt yönlü bir etkisinin olmasıdır: sürtünme dönüşüm oranını ve giriş sıklığını azaltırken, güvenlik sinyali büyük işlemler yapma isteğini ve platforma olan güveni artırmaktadır. Ayrım yapmak için Causal Mediation Analysis (örneğin, Imai-Keele-Tingley yaklaşımı) kullanılır; burada toplam etki (Total Effect), doğrudan etki (sürtünme) ve güvenlik algısı vasıtasıyla dolaylı etki (aracılar) olarak ayrıştırılır. Alternatif olarak, gerçek kod girme zorunluluğu olmayan ancak “artırılmış güvenlik” banner'ına sahip bir placebo grup oluşturulur; [Tam 2FA] vs [2FA olmadan Banner] vs [Kontrol] karşılaştırması bileşenleri izole etmek için yapılır. Eğer ortalama işlem tutarındaki artış placebo grubunda da gözlemleniyorsa, sinyal etkisi baskındır; eğer sadece tam grup içinde varsa — etki kimlik doğrulama sürecinin kendisinden kaynaklanır. Yeni başlayan bir uzman için: Bir restoranda bir güvenlik görevlisi olduğunu hayal edin. İnsanlar kendilerini güvende hissederek (sinyal) daha fazla harcama yapabilir, ancak bazıları arama yapma zorunluluğuna katlanarak girmek istemeyebilir (sürtünme). Güvenlik görevlisini tutup tutmamayı anlamak için bu etkileri ayırmak gerekir; aksi takdirde, daha dost bir güvenlik görevlisini tutmak mı yoksa sadece “Güvenlik Var” levhasını asmak mı gerektiğini anlayamazsınız.