Kontekst historyczny
W produktach fintech weryfikacja tożsamości (KYC) jest wymogiem regulacyjnym, który wprowadza istotne tarcia w doświadczeniach użytkowników. Klasyczne metody oceny efektywności wymagają randomizowanej kontroli, co jest niemożliwe z powodów prawnych i etycznych przy masowym wdrożeniu. Historycznie analitycy polegali na prostych raportach kohortowych, które nie uwzględniają endogeniczności samoselekcji i zewnętrznych wstrząsów na rynku.
Postawienie problemu
Należy wyizolować czysty efekt przejścia KYC od naturalnego spadku użytkowników, sezonowych wahań aktywności oraz różnic w podstawowych cechach między tymi, którzy przechodzą weryfikację w pierwszy dzień, a tymi, którzy odkładają procedurę. Problem komplikuje fakt, że późni adopci mogą systematycznie różnić się pod względem motywacji i zachowań finansowych, co wprowadza bias przetrwania (survivorship bias).
Szczegółowe rozwiązanie
Zastosować kombinację Difference-in-Differences (DiD) z Propensity Score Matching (PSM) do budowy porównywalnej grupy kontrolnej z użytkowników z opóźnioną weryfikacją. Wykorzystać Synthetic Control Method jako sprawdzenie poprawności, tworząc ważoną kombinację nietkniętych segmentów (np. użytkowników z regionów z opóźnionym wymogiem regulacyjnym). Aby uwzględnić sezonowość, należy dodać efekty stałe w czasie (month-of-year fixed effects) oraz zastosować Event Study Design z odniesionym czasem do zweryfikowania założenia o równoległych trendach.
Firma wprowadziła obowiązkową weryfikację dwuetapową z dokumentami dla wszystkich użytkowników powyżej 18 roku życia w marcu, co zbiegło się z sezonem podatkowym. Biznes zauważył spadek aktywności, ale nie mógł oddzielić efektu KYC od sezonowego spadku i masowej wysyłki push powiadomień przez konkurencję. Analitycy musieli ocenić czysty wpływ na zatrzymanie użytkowników po 30 dniach oraz ARPU po 60 dniach od wdrożenia.
Opcja 1: Proste porównanie metryk przed i po (Pre-Post Analysis)
Analitycy obliczają średnie zatrzymanie za miesiąc przed KYC i porównują je z wynikami po. Zalety tego podejścia to maksymalna prostota i szybkość uzyskania odpowiedzi bez potrzeby skomplikowanych modeli. Wady obejmują ignorowanie sezonowości (marzec vs kwiecień), zewnętrznych aktywności konkurencyjnych oraz naturalnego trendu wzrostu lub spadku bazy, co może prowadzić do zniekształcenia szacunków o 40%.
Opcja 2: Naiwna DiD z wykorzystaniem młodych użytkowników (16-17 lat) jako grupy kontrolnej
Zespół proponuje porównać zmiany w grupie docelowej (18+) z zmianami w grupie, która nie podlega KYC. Zalety polegają na uwzględnieniu ogólnych trendów rynkowych i sezonowości. Wady są krytyczne: nastolatki i dorośli mają zasadniczo różne zachowania finansowe, co narusza założenie o równoległych trendach, a różne kohorty są podatne na różne efekty cyklu życia.
Opcja 3: Syntetyczna kontrola z opóźnieniem czasowym
Tworzy się sztuczną grupę kontrolną jako ważoną kombinację użytkowników z pilotażowych regionów, gdzie KYC jeszcze nie wprowadzono, dobierając wagi na podstawie aktywności w poprzednich 6 miesiącach. Zalety obejmują minimalizację zależności od jednej grupy kontrolnej oraz automatyczne uwzględnienie sezonowych wzorców poprzez długą historię. Wady to wysokie wymagania co do objętości danych, trudności w interpretacji wag oraz wrażliwość na odstające wartości w historycznych okresach.
Wybrane rozwiązanie i uzasadnienie
Zastosowano hybrydowe podejście: PSM-DiD z wykorzystaniem użytkowników, którzy z przyczyn technicznych odłożyli KYC o 2-3 tygodnie, jako grupy kontrolnej oraz Synthetic Control do walidacji. To rozwiązanie pozwoliło zrównoważyć obserwowane cechy (wiek, urządzenie, historyczna aktywność) dzięki PSM, a DiD uchwycił efekty czasowe. Syntetyczna kontrola potwierdziła, że wyniki nie są wrażliwe na wybór konkretnej grupy kontrolnej.
Końcowy wynik
Analiza wykazała, że KYC zmniejsza 7-dniowe zatrzymanie o 18% w pierwszym tygodniu, ale zwiększa średni rachunek o 22% dzięki wyeliminowaniu transakcji oszukańczych. Czysty efekt na 90-dniowy LTV okazał się neutralny (-2%, statystycznie nieistotny). Na podstawie tych danych zespół produktowy podzielił proces weryfikacji na trzy mikro-kroki, co zredukowało tarcie o 35% bez utraty efektywności antyfraudowej.
Jak poprawnie obsługiwać prawą cenzurę (right censoring) danych przy analizie długoterminowego efektu KYC, jeśli okno obserwacji jest ograniczone, a kohorty przechodzą weryfikację asynchronicznie?
Kandydaci często ignorują, że użytkownicy, którzy przeszli KYC później, mają mniej czasu na wykazanie zachowań w oknie obserwacyjnym, co wprowadza zniekształcenie. Należy stosować metody analizy przetrwania (Survival Analysis), takie jak Cox proportional hazards model czy Kaplan-Meier estimator, które uwzględniają cenzurowane obserwacje. Alternatywnie, dla metryk typu LTV można stosować Tobit regression lub modele danych cenzurowanych. Ważne jest również stosowanie staggered adoption design w DiD z poprawną obsługą "czystych" kohort (clean controls), ponieważ standardowy dwuokresowy DiD da zniekształcone oceny przy etapowym wdrożeniu.
Dlaczego standardowa metoda scoringu propensity (PSM) może dawać zniekształcone oszacowania w kontekście obowiązkowej weryfikacji i jakie modyfikacje są konieczne, aby uwzględnić dynamikę czasową?
Standardowy PSM ignoruje zależność czasową i ukryte czynniki zakłócające, takie jak motywacja użytkownika czy spodziewany wolumen transakcji. W kontekście KYC krytyczne jest użycie Time-Dependent Propensity Score Matching, gdzie skory są obliczane dla każdego okresu osobno, lub Inverse Probability of Treatment Weighting (IPTW) z zmiennymi czasowymi. Należy również sprawdzić warunek ogólnego wsparcia (overlap condition), aby uniknąć ekstrapolacji poza obserwowane dane, i stosować Coarsened Exact Matching (CEM) dla zwiększenia odporności przy małej próbce.
Jak odróżnić prawdziwy efekt przejścia KYC od efektu oczekiwania (anticipation effect) i zweryfikować spełnienie założenia o równoległych trendach?
Aby oddzielić efekty, należy zastosować Event Study Design z dummymi zmiennymi w odniesieniu do czasu względnego (relative time) przed i po wydarzeniu. Jeśli współczynniki przy zmiennych lead (okresy przed KYC) znacząco różnią się od zera, to wskazuje na efekt oczekiwania lub naruszenie równoległych trendów. W celu sprawdzenia odporności należy stosować Placebo tests ze przesunięciem daty wdrożenia na wcześniejsze okresy oraz Falsification tests na zmiennych wynikowych, które nie powinny się zmienić. W przypadku naruszenia trendów można zastosować Synthetic Difference-in-Differences (SDiD), który koryguje niedopasowanie trendów poprzez ponowne ważenie.