Historischer Kontext
In Fintech-Produkten ist die Identitätsverifizierung (KYC) eine regulatorische Anforderung, die erhebliche Friktionen im Nutzererlebnis schafft. Klassische Methoden zur Bewertung der Effektivität erfordern randomisierte Kontrollen, die aus rechtlichen und ethischen Gründen bei einer Massenimplementierung nicht möglich sind. Historisch haben Analysten auf einfache Kohortenberichte zurückgegriffen, die die Endogenität der Selbstselektion und externe Marktschocks nicht berücksichtigen.
Problemstellung
Es ist notwendig, den reinen Effekt der KYC-Durchführung von der natürlichen Abwanderung der Nutzer, saisonalen Schwankungen der Aktivität und Unterschieden in den Grundcharakteristika zwischen denen, die die Verifizierung am ersten Tag durchführen, und denen, die den Prozess aufschieben, zu isolieren. Das Problem wird dadurch kompliziert, dass späte Adopter systematisch unterschiedlich in ihrer Motivation und ihrem finanziellen Verhalten sein können, was zu einer Überlebensverzerrung (survivorship bias) führt.
Detaillierte Lösung
Eine Kombination aus Difference-in-Differences (DiD) mit Propensity Score Matching (PSM) anwenden, um eine vergleichbare Kontrollgruppe aus Nutzern mit verzögerter Verifizierung zu bilden. Die Synthetic Control Method als Robustheitstest verwenden und eine gewichtete Kombination von unberührten Segmenten (z.B. Nutzern aus Regionen mit verzögerten regulatorischen Anforderungen) erstellen. Um die Saisonalität zu berücksichtigen, zeitliche feste Effekte (month-of-year fixed effects) einbeziehen und das Event Study Design mit relativem Timing zur Überprüfung der Annahme paralleler Trends anwenden.
Das Unternehmen führte im März eine verpflichtende Zwei-Faktor-Überprüfung mit Dokumenten für alle Nutzer über 18 Jahren ein, was mit der Steuerzeit katastrophal zusammenfiel. Das Geschäft bemerkte einen Rückgang der Aktivität, konnte jedoch den Effekt von KYC nicht von saisonalen Rückgängen und massiven Push-Benachrichtigungen von Wettbewerbern trennen. Analysten mussten den reinen Einfluss auf die 30-Tage-Bindung und ARPU über 60 Tage nach der Einführung einschätzen.
Option 1: Einfache Vergleichsmetrik vor und nach (Pre-Post Analysis)
Analysten berechnen die durchschnittliche Bindung im Monat vor KYC und vergleichen sie mit den Kennzahlen danach. Die Vorteile dieses Ansatzes liegen in der maximalen Einfachheit und der schnellen Antwort, ohne dass komplexe Modelle erforderlich sind. Nachteile umfassen die Ignorierung von Saisonalität (März vs. April), externen Wettbewerbsaktivitäten und einem natürlichen Wachstumstrend oder -rückgang, was zu einer Schätzungsschätzung von bis zu 40% führt.
Option 2: Naives DiD unter Verwendung junger Nutzer (16-17 Jahre) als Kontrolle
Das Team schlägt vor, die Änderungen in der Zielgruppe (18+) mit den Änderungen in der Gruppe, die nicht von KYC betroffen ist, zu vergleichen. Die Vorteile liegen in der Berücksichtigung allgemeiner Markttrends und Saisonalität. Die Nachteile sind kritisch: Teenager und Erwachsene haben grundlegend unterschiedliche finanzielle Verhaltensweisen, die die Annahme paralleler Trends verletzen, zudem sind verschiedene Kohorten unterschiedlichen Lebenszyklus-Effekten ausgesetzt.
Option 3: Synthetische Kontrolle mit zeitlichem Rückstand
Es wird eine künstliche Kontrollgruppe als gewichtete Kombination von Nutzern aus Pilotregionen geschaffen, in denen KYC noch nicht eingeführt wurde, wobei die Gewichte auf der Aktivität der vorhergehenden 6 Monate basieren. Die Vorteile umfassen die Minimierung der Abhängigkeit von einer einzigen Kontrollgruppe und die automatische Berücksichtigung saisonaler Muster durch eine lange Historie. Nachteile sind die hohen Anforderungen an die Datenmenge, die Komplexität der Gewichtungsspeicherung und die Sensibilität für Ausreißer in historischen Perioden.
Ausgewählte Lösung und Begründung
Es wurde ein hybrider Ansatz gewählt: PSM-DiD unter Verwendung von Nutzern, die aus technischen Gründen KYC um 2-3 Wochen verschoben haben, als Kontrollgruppe und zusätzlich Synthetic Control zur Validierung. Diese Lösung erlaubte es, die beobachtbaren Charakteristika (Alter, Gerät, historische Aktivität) über PSM auszubalancieren, während DiD die zeitlichen Effekte erfasste. Die synthetische Kontrolle bestätigte, dass die Ergebnisse nicht empfindlich auf die Wahl einer bestimmten Kontrollgruppe reagierten.
Endgültiges Ergebnis
Die Analyse zeigte, dass KYC die 7-Tage-Bindung in der ersten Woche um 18% senkt, aber den durchschnittlichen Umsatz um 22% erhöht, indem betrügerische Transaktionen ausgeschlossen werden. Der Nettoeffekt auf den 90-Tage-LTV stellte sich als neutral heraus (-2%, statistisch nicht signifikant). Basierend auf diesen Daten teilte das Produktteam den Verifizierungsprozess in drei Mikro-Schritte auf, was die Friktionen um 35% verringerte, ohne die Anti-Betrugs-Effizienz zu verlieren.
Wie geht man korrekt mit rechtem Zensur (right censoring) von Daten um, wenn man den langfristigen Effekt von KYC analysiert, wenn das Beobachtungsfenster begrenzt ist und die Kohorten die Verifizierung asynchron durchlaufen?
Kandidaten ignorieren oft, dass Nutzer, die KYC später durchlaufen haben, weniger Zeit haben, um Verhalten im Beobachtungsfenster zu zeigen, was zu einer Verzerrung führt. Es ist notwendig, Methoden der Überlebensanalyse (Survival Analysis) anzuwenden, wie das Cox-Analyse-Modell oder den Kaplan-Meier-Schätzer, die zensierte Beobachtungen berücksichtigen. Alternativ kann für Kennzahlen wie LTV eine Tobit-Regression oder Modelle zensierter Daten verwendet werden. Es ist auch wichtig, ein staggered adoption design in DiD mit korrekter Behandlung der "reinen" Kohorten (clear controls) anzuwenden, da ein standardmäßiger zweiphasiger DiD verzerrte Schätzungen bei stufenweiser Implementierung liefern würde.
Warum kann die Standardmethode des Propensity Score Matching (PSM) verzerrte Schätzungen im Kontext der verpflichtenden Verifizierung liefern und welche Modifikationen sind erforderlich, um die zeitliche Dynamik zu berücksichtigen?
Der Standard-PSM ignoriert die zeitliche Abhängigkeit und versteckte Verwirrungen, wie die Motivation des Nutzers oder die erwarteten Transaktionsvolumina. Im Kontext von KYC ist es entscheidend, Zeitabhängiges Propensity Score Matching zu verwenden, bei dem die Scores für jeden Zeitraum separat berechnet werden, oder Inverse Probability of Treatment Weighting (IPTW) mit zeitvariierenden Kovariaten. Es müssen auch die Bedingungen für die allgemeine Unterstützung (overlap condition) überprüft werden, um zu vermeiden, dass über die beobachtbaren Daten hinaus extrapoliert wird, und Coarsened Exact Matching (CEM) verwendet werden, um die Robustheit bei kleinen Stichprobengrößen zu erhöhen.
Wie unterscheidet man den echten Effekt der KYC-Durchführung vom Antizipationseffekt (anticipation effect) und überprüft die Erfüllung der Annahme paralleler Trends?
Um die Effekte zu trennen, sollte das Event Study Design mit Dummy-Variablen auf relativem Timing vor und nach dem Ereignis angewendet werden. Wenn die Koeffizienten der Lead-Variablen (Zeiträume vor KYC) statistisch signifikant von null abweichen, weist dies auf den Anticipationseffekt oder die Verletzung der parallelen Trends hin. Zur Überprüfung der Robustheit sollten Placebo-Tests mit einer Verschiebung des Implementierungsdatums auf frühere Zeiträume oder Falsifikationstests für Outcome-Variablen durchgeführt werden, die sich nicht geändert haben sollten. Im Falle einer Verletzung der Trends könnte Synthetic Difference-in-Differences (SDiD) angewendet werden, das die Trendunterschiede durch Re-Weighting korrigiert.