Contesto storico
Le prime strategie di retention utilizzavano l'invio di masse di sconti a tutti gli utenti con attività in calo. Questo portava a spese di marketing non mirate e alla creazione di un modello comportamentale di "aspettativa di sconto". Con l'avvento del Uplift Modeling e dei metodi Propensity Score negli anni 2010, le aziende hanno iniziato a targetizzare solo gli utenti con alta probabilità di abbandono. Tuttavia, questo ha generato problemi fondamentali di valutazione, poiché il gruppo di trattamento si auto-seleziona tramite il modello, infrangendo l'assunzione di randomizzazione necessaria per l'inferenza causale.
Definizione del problema
La chiave difficoltà risiede nel stabilire uno scenario controfattuale valido per gli utenti contrassegnati dal modello di previsione di abbandono come ad alto rischio. Questi utenti differiscono sistematicamente dalla popolazione generale: hanno un minore coinvolgimento, esperienze negative recenti o schemi di comportamento specifici. Un semplice confronto della loro retention con gli utenti a basso rischio o con la loro storia precedente all'intervento miscela l'effetto del trattamento con le differenze intrinseche. Inoltre, l'assenza di offerte di retention per gli utenti con massimo rischio di abbandono (gruppo di controllo) crea un inaccettabile rischio commerciale e perdita di fatturato, rendendo impossibile il classico A/B testing per motivi politici.
Soluzione dettagliata
Applicare il Regression Discontinuity Design (RDD) attorno al valore soglia del punteggio di rischio (ad esempio, 0.7) che attiva l'intervento. Gli utenti appena sopra e appena sotto la soglia sono statisticamente simili, eccetto per l'assegnazione del trattamento. Questo fornisce un effetto medio locale di trattamento (LATE) per gli utenti marginali. Per generalizzare a tutta la popolazione ad alto rischio, combinare RDD con Inverse Probability Weighting (IPW), utilizzando i punteggi di propensione stimati sui dati pre-intervento. Per gli utenti lontani dalla soglia, utilizzare Doubly Robust Estimation o Causal Forests per modellare effetti eterogenei. Per affrontare la contaminazione dei dati da campagne precedenti nella formazione, implementare la «shadow mode», dove il modello genera previsioni senza triggere per un piccolo holdout (5-10%), creando uno strumento per l'analisi dei Two-Stage Least Squares (2SLS). Infine, considerare la saturazione dei canali di comunicazione, utilizzando Difference-in-Differences (DiD) per confrontare le tendenze temporali tra i segmenti a rischio.
Un servizio mobile in abbonamento (app per la meditazione) ha implementato ChurnGuard — un sistema ML che lancia notifiche push personalizzate con uno sconto del 30% per gli utenti con una probabilità di abbandono predetta oltre 7 giorni > 0.75.
Opzione 1: Confronto semplice della retention tra chi ha ricevuto lo sconto (rischio alto) e chi non l'ha ricevuto (rischio basso)
Pro: Calcolo immediato con strumenti BI esistenti; non richiede infrastruttura sperimentale. Contro: Forte bias di auto-selezione — gli utenti ad alto rischio tendono naturalmente ad abbandonare più spesso; il confronto sottovaluta l'effetto o mostra persino una correlazione negativa (gli utenti trattati abbandonano ancora più frequentemente degli utenti non trattati a basso rischio).
Opzione 2: Esperimento controllato randomizzato, dove il 50% degli utenti ad alto rischio è casualmente privato dell'offerta di retention
Pro: Stima causale non distorta; chiara interpretazione dell'effetto medio di trattamento (ATE). Contro: I portatori di interessi aziendali hanno rifiutato per paura di perdere utenti preziosi; problemi etici legati all'ammissione intenzionale di abbandono in presenza d'intervento; problemi con dimensioni del campione per il segmento ad alto rischio.
Opzione 3: Regression Discontinuity Design usando la soglia 0.75 del modello più Synthetic Control Method per validare le serie temporali
Pro: Eticamente accettabile — gli utenti appena sotto la soglia ricevono un'esperienza standard; sfrutta la soglia algoritmica esistente come esperimento naturale; può essere implementato retrospettivamente sui dati storici. Contro: Valuta solo l'effetto locale (per gli utenti al limite); richiede attenta verifica delle assunzioni di continuità (assenza di manipolazioni sui punteggi); meno preciso rispetto a RCT a causa di una dimensione efficace del campione più ridotta nella fascia di tolleranza.
Soluzione scelta e giustificazione
Opzione 3 con una fascia di tolleranza di 0.05 attorno alla soglia, integrata con un'Analisi di Coorte confrontando gli utenti nella settimana prima e dopo il deploy del modello, corretta per stagionalità con Propensity Score Matching sulle feature comportamentali. Motivo della scelta: Ha bilanciato la rigorosità statistica con le limitazioni aziendali; ha permesso di misurare l'effetto senza escludere esplicitamente gli utenti ad alto rischio dal trattamento.
Risultato finale
È stata trovata una riduzione relativa dell'abbandono dell'18% in 7 giorni per gli utenti al limite (punteggio di rischio 0.75-0.80). Tuttavia, è emerso che per gli utenti con rischio >0.90, la retention diminuisce a causa della «fatica da allerta» da molteplici notifiche push di retention. È stato ottimizzato il limite di frequenza fino a un massimo di 2 notifiche push a settimana. L'effetto netto sul LTV è stato di +$1.2M in 3 mesi con un ROI del 340% sui costi degli sconti.
Perché il confronto della retention rate tra gli utenti che hanno ricevuto la campagna di retention e quelli che non l'hanno ricevuta (anche all'interno del segmento ad alto rischio) può sovrastimare o sottostimare il vero effetto dell'intervento?
Anche all'interno del segmento ad alto rischio, è importante il momento in cui un utente entra in questo segmento. Gli utenti che raggiungono la soglia di rischio prima nel ciclo di vita sono principiamente diversi da quelli che la raggiungono dopo. Senza considerare i Time-Varying Confounders (ad esempio, recenti malfunzionamenti dell'app o eventi stagionali che aumentano simultaneamente il rischio e rendono gli sconti più/meno efficaci), i semplici confronti soffrono di Survivorship Bias e Simpson's Paradox. L'approccio corretto richiede l'uso di Marginal Structural Models (MSM) con pesatura per probabilità inversa del trattamento per gestire covariate dipendenti dal tempo.
Come il problema del "data leakage" nel campione di addestramento del modello di abbandono distorce la valutazione dell'efficacia del sistema stesso di prevenzione dell'abbandono?
Se il modello di abbandono è stato addestrato su dati storici in cui alcuni utenti avevano già ricevuto campagne di retention, le etichette della variabile target sono contaminate. Il modello impara a identificare «utenti salvati da campagne precedenti», non «utenti che sarebbero naturalmente andati via». Questo crea un Feedback Loop, dove il modello funziona artificialmente bene nella validazione (prevedendo un basso abbandono per gli utenti trattati), ma non è in grado di identificare utenti davvero a rischio in produzione. Per risolvere, è necessario utilizzare solo dati pre-intervento per l'addestramento o applicare Importance Sampling per ri-pesare i dati di addestramento secondo la probabilità inversa di ricevere trattamenti passati, simulando efficacemente l'assenza di campagne nel passato.
Perché il test A/B standard con randomizzazione a livello utente può essere inapplicabile per valutare sistemi di prevenzione dell'abbandono, e quali dizioni sperimentali alternative dovrebbero essere utilizzate?
Il test A/B standard è spesso inapplicabile poiché l'assenza di trattamento nel gruppo di controllo viola il principio dell'Individual Equipoise (ammissione intenzionale di danno in presenza d'intervento) e soffre di Spillover Effects (utenti trattati possono condividere codici promozionali coi controlli). Invece, utilizzare Cluster Randomization (randomizzazione per aree geografiche o periodi temporali tramite Switchback Experiments) o Encouragement Designs, dove lo strumento è il diritto di partecipazione nel modello, piuttosto che il trattamento stesso. Un altro approccio è quello dei Partial Population Experiments, dove il modello opera in «shadow mode» per il gruppo di controllo (le previsioni vengono fatte, ma non vengono intraprese azioni), consentendo di confrontare il tasso di abbandono previsto e reale tramite Calibration Analysis per misurare il vero lift.