Traditioneel beoordeelden productteams de effectiviteit van onboarding door de retentie van gebruikers die de training hadden voltooid te vergelijken met degenen die deze hadden overgeslagen. Deze benadering leidde tot massale interpretatiefouten: de waargenomen correlatie tussen het doorlopen van de tutorial en de retentie weerspiegelt niet het causale effect van de training, maar de selectie van hoog gemotiveerde gebruikers. Met de ontwikkeling van Causal Inference in de industrie is het een standaard geworden om intention-to-treat (ITT) en treatment-on-the-treated (TOT) te onderscheiden, en natuurlijke experimenten te gebruiken wanneer klassieke randomisatie niet mogelijk is.
De belangrijkste moeilijkheid ligt in de endogeniteit van zelfselectie: de beslissing om de onboarding te doorlopen correleert met niet-waargenomen eigenschappen van de gebruiker (motivatie, geduld), die tegelijkertijd invloed uitoefenen op de toekomstige retentie. Een eenvoudige vergelijking van groepen leidt tot survivorship bias en een overschatting van het effect. Bovendien creëert de gefaseerde rollout per regio de mogelijkheid voor een quasi-experiment, maar de regio's verschillen op culturele factoren en basismetriek, wat controle over verstorende variabelen vereist.
Het is nodig om Two-Stage Least Squares (2SLS) toe te passen met de regionale invoeringsvlag als Instrumentele Variabele (IV). In de eerste fase wordt de kans op het doorlopen van de onboarding (naleving) gemodelleerd via de toebehoren aan een regio waar de functie is geïmplementeerd. In de tweede fase worden de voorspelde waarden gebruikt om het effect op de retentie te schatten. Voor het rekening houden met regionale heterogeniteit wordt Difference-in-Differences (DiD) toegepast met vaste effecten per regio en tijd. Bovendien wordt een Causal Forest opgebouwd om de Conditional Average Treatment Effect (CATE) te schatten en segmenten te identificeren waar onboarding de grootste toename laat zien. Het is belangrijk om de pre-trend van paralleliteit vóór de invoering te controleren en de exclusion restriction voor de strategie te verifiëren.
Het team van een mobiele taalleerapplicatie voerde een verplichte interactieve tutorial van 3 minuten in voordat gebruikers toegang kregen tot gratis inhoud. De pilot liet zien dat gebruikers die de onboarding hadden doorlopen, 7-daagse retentie hadden die 35% hoger was dan die van degenen die de app op het moment van de tutorial sloten. Het bedrijf wilde de functie opschalen naar alle gebruikers, maar de analist vermoedde dat er sprake was van survivorship bias.
Optie 1: Eenvoudige vergelijking (naïeve benadering). Vergelijking van de retentie tussen gebruikers die de onboarding hebben voltooid versus zij die deze hebben overgeslagen. Voordelen: onmiddellijke berekening, duidelijke uplift-metriek. Nadelen: Kritieke selectiebias; gebruikers die bereid zijn om 3 minuten te besteden aan het begin zijn al meer betrokken; de schatting is met 3-4 keer overschat; houdt geen rekening met regionale verschillen in tolerantie voor friction.
Optie 2: A/B-test met verplichte onboarding. Randomisatie op gebruikerniveau: groep A ziet de verplichte tutorial, groep B krijgt direct toegang tot de inhoud. Voordelen: Schone randomisatie sluit selectie uit. Nadelen: Non-compliance in groep A (een deel van de gebruikers sluit de app en komt niet terug) zorgt voor ongelijke uitval; ITT-analyse geeft een conservatieve schatting, maar beantwoordt de vraag niet over het effect voor degenen die de training daadwerkelijk hebben doorlopen; er kan sprake zijn van negatieve spillover in sociale netwerken.
Optie 3: Regression Discontinuity Design (RDD) in de tijd. Gebruik van het exacte moment van de functie-implementatie in de regio als cutoff. Voordelen: Hoge interne validiteit voor gebruikers "op de grens"; vereist geen controlegroep binnen de regio. Nadelen: Lokaal effect (LATE) kan niet worden gegeneraliseerd naar alle gebruikers; vereist een hoge gegevensdichtheid in de buurt van de cutoff; seizoensgebondenheid en de dag van de week van de lancering kunnen de resultaten vertekenen.
Gekozen oplossing: Combinatie van IV-approach met regionale rollout en Doubly Robust Estimation.
Regio's met geïmplementeerde onboarding werden gebruikt als instrument voor de daadwerkelijke doorloop van de tutorial (relevantieconditie gecontroleerd via correlatie 0.82). We hebben 2SLS toegepast om het effect specifiek voor compliers (degenen die de onboarding alleen zouden doorlopen als deze verplicht was) te schatten. Daarnaast werd een Synthetic Control opgebouwd voor elke behandelingsregio, gebruikmakend van een gewogen combinatie van controle-regio's met vergelijkbare pre-trends.
Eindresultaat: Het werkelijke causale effect was +8% voor 7-daagse retentie in plaats van +35% in de ruwe gegevens. Het bleek dat onboarding alleen effectief was voor gebruikers met low initial engagement (CATE = +15%), maar friction creëert voor power users (CATE = -3%). Er werd een adaptief systeem geïmplementeerd: onboarding werd alleen getoond aan gebruikers met een lage voorspelde betrokkenheidsscore op basis van de eerste 10 seconden van de sessie. Dit resulteerde in +12% wereldwijde retentie zonder verlies van power users.
Waarom geeft een A/B-test met verplichte onboarding een vertekende schatting, zelfs met randomisatie, en hoe moet je de resultaten correct interpreteren?
Antwoord: Probleem van non-compliance en differentiële uitval. Zelfs bij willekeurige toewijzing aan de testgroep met verplichte onboarding verlaat een deel van de gebruikers de app voor altijd (never-takers), terwijl er in de controlegroep geen dergelijke "straf" voor weigering is. Dit creëert asymmetrische survivorship bias. Voor een correcte beoordeling is het noodzakelijk om het Intent-to-Treat (ITT) effect te berekenen als het verschil tussen de groepen op basis van de toewijzing, en vervolgens de Wald estimator te gebruiken om de Complier Average Causal Effect (CACE) te verkrijgen: CACE = ITT / (aandeel van compliers). Het is belangrijk om te controleren of het aandeel van de compliers voldoende is (>20%), anders zal de schatting instabiel zijn (zwak instrumentprobleem).
Hoe diagnoseer en corrigeer je negatieve spillover effecten, wanneer gebruikers uit controle-regio's horen over de nieuwe onboarding en hun gedrag veranderen vóór de feitelijke lancering?
Antwoord: Dit schendt de SUTVA (Stable Unit Treatment Value Assumption). Voor diagnose worden event study grafieken van installaties in controle-regio's geanalyseerd op abnormale dalingen (chilling effect) voorafgaand aan de rollout. Als spillover wordt bevestigd, worden spatial Difference-in-Differences toegepast, waarbij alleen afgelegen regio's zonder sociale verbindingen als controle dienen, of er wordt een partial population experiment gebruikt met verwerking van een willekeurige steekproef van gebruikers binnen de regio. Als alternatief worden two-way fixed effects toegepast met interactieafstand tot de dichtstbijzijnde behandelingsregio als gecontroleerde variabele.
Waarom is het belangrijk om short-term friction en long-term value accumulation te onderscheiden bij het kiezen van een observatiehorizon, en welke methoden kunnen worden gebruikt om het langetermijneffect bij beperkte gegevens te beoordelen?
Antwoord: Onboarding creëert korte termijn friction, die mechanisch de day-0 retentie verlaagt, maar langetermijnwaarde opbouwt door een beter begrip van het product. Evaluatie in een kort venster (1-3 dagen) kan een negatief effect laten zien door de uitval van laaggemotiveerde gebruikers, die al een lage LTV zouden hebben. Voor het evalueren van langetermijneffecten bij beperkte gegevens wordt een Surrogate Index gebruikt: er wordt een model opgebouwd dat short-term metrics (diepte van de eerste sessie, aantal bekeken functies) verbindt met long-term outcomes (30-dagen retentie) op historische gegevens vóór de invoering. Vervolgens wordt het effect op de surrogate geschat, die het langetermijneffect proximeert. Het is belangrijk om de unconfoundedness van de surrogate te controleren via gevoeligheidsanalyse.