Il contesto storico dell'evoluzione dei prodotti digitali mostra un passaggio graduale da app native isolate a modelli ibridi di interazione. La Progressive Web App rappresenta una tecnologia che consente a un sito web di funzionare come un'app completa con accesso offline e notifiche push, sfumando storicamente il confine tra mobile web e native experience. I metodi classici di valutazione dell'efficacia di tali implementazioni, inclusi semplici analisi di coorte o A/B testing, affrontano limitazioni fondamentali in termini di impossibilità di isolare un gruppo di controllo dagli effetti SEO e dalla non realizzabilità della randomizzazione a livello utente senza compromettere l'UX.
La formulazione del problema richiede la soluzione di un compito multidimensionale di identificazione delle relazioni causali in condizioni di endogeneità della scelta della piattaforma. Gli utenti decidono autonomamente se utilizzare la PWA o l'app nativa, creando un self-selection bias correlato a competenze tecniche e coinvolgimento. Al contempo, il lancio della PWA genera traffico organico attraverso il miglioramento dei Core Web Vitals e l'indicizzazione del service worker, distorcendo il livello di traffico di base nelle coorti analizzate. La cannibalizzazione tra piattaforme si manifesta come una perdita di sessioni dall'app nativa alla PWA, richiedendo la separazione dell'effetto migrazione dal reale incremento dell'engagement.
La soluzione dettagliata si basa su un sintesi di Synthetic Control Method (SCM) e analisi differenziale delle differenze (Difference-in-Differences) con ponderazione proporzionale per propensione (Propensity Score Matching). Nella prima fase viene costruito un controllo sintetico da regioni geografiche o segmenti di utenti con lancio posticipato della PWA, consentendo di modellare la traiettoria controfattuale delle metriche senza intervento. Successivamente, viene applicata l'analisi Causal Impact per isolare effetti temporali con correzione per covariate, inclusa la stagionalità e le attività di marketing. Per valutare la cannibalizzazione si utilizza l'approccio delle variabili strumentali, dove lo strumento è rappresentato dalla disponibilità tecnica della PWA (versione del browser che supporta i service workers), fornendo una variazione quasi sperimentale indipendente dalle preferenze dell'utente. La retention cross-platform viene modellata attraverso survival analysis con rischi concorrenti, separando i rischi di uscita all'interno della piattaforma da quelli della migrazione interpiattaforma.
In uno dei più grandi marketplace di elettronica è emersa la necessità di lanciare la PWA per ridurre le barriere di ingresso dei nuovi utenti, ma esisteva un'ipotesi di business critica riguardo la potenziale cannibalizzazione degli utenti ad alto reddito dell'app nativa. Il team si trovava davanti alla scelta di metodologia di valutazione che avrebbe consentito di separare il vero incremento dalla ristrutturazione del pubblico esistente tra i canali senza condurre il classico A/B testing, impossibile a causa della specificità tecnica dell'installazione automatica della PWA tramite banner del browser.
Il primo approccio considerato prevedeva un semplice confronto delle metriche chiave (conversion rate, retention day 7) tra gli utenti che hanno visitato il sito prima e dopo il rilascio della PWA. I pro di questo approccio includevano la tempestività dei risultati e requisiti minimi per l'infrastruttura dei dati. I contro includevano una vulnerabilità critica alle fluttuazioni stagionali nella domanda di elettronica e l'impossibilità di separare l'effetto della PWA dalla campagna pubblicitaria in corso in televisione, rendendo i risultati statisticamente insignificativi e a rischio per il business.
Il secondo approccio prevedeva A/B testing geografico con rollout graduale tramite Google Optimize e segmentazione geografica per indirizzi IP, dove le regioni di test avevano accesso alla PWA, mentre quelle di controllo non lo avevano. I pro consistevano nella riproducibilità della logica sperimentale e comprensibilità per gli stakeholder. I contro si manifestavano nell'impossibilità di isolare l'effetto SEO, poiché il miglioramento dei Core Web Vitals si estendeva a tutta l'indicizzazione del dominio indipendentemente dalla geografia dell'utente, creando un spillover effect e contaminando il gruppo di controllo con traffico organico con selezione positiva.
Il terzo approccio, implementato infine, combinava il Synthetic Control Method con il Regression Discontinuity Design in base alla soglia della versione del browser mobile (Chrome 90+). Il team ha creato un controllo sintetico, pesando il comportamento degli utenti Safari e delle versioni obsolete di Chrome prima del lancio della PWA per il gruppo di test, il che ha consentito di modellare la retention controfattuale senza intervento. I pro includevano la validità interna del quasi esperimento e la possibilità di isolare la cannibalizzazione attraverso l'analisi delle intersezioni degli ID dispositivo tra le piattaforme. I contro richiedevano significative risorse computazionali per costruire i pesi sintetici e complessità di interpretazione per il team prodotto.
Il risultato è stata l'identificazione di un effetto incrementale netto di +8.3% per la retention day 30 per il web mobile dopo la correzione per la cannibalizzazione, che ha rappresentato -2.1% dell'attività dell'app nativa. L'effetto neutro sul LTV totale dell'utente ha permesso di prendere una decisione strategica sul rollout completo della PWA con ottimizzazione dei deeplink per minimizzare il frizionamento interpiattaforma.
Come distinguere la vera cannibalizzazione e l'effetto di complementarità tra PWA e app nativa, quando l'utente può utilizzare entrambe le piattaforme in un solo giorno?
La risposta richiede la comprensione del concetto di incrementality a livello di user-journey invece di un'analisi centrata sul dispositivo. È necessario costruire un modello di attribuzione multi-touch con finestre temporali, dove le sessioni sono codificate come sequenze di stati (Web → PWA → App), e l'effetto è valutato attraverso l'analisi del cambiamento del tempo totale trascorso nel prodotto (total time spent) e della frequenza di eventi chiave. Un punto chiave è l'uso dell'analisi surge per identificare la complementarità: se l'implementazione della PWA aumenta la frequenza delle sessioni native nell'arco di 24 ore (cross-platform triggering), ciò indica un effetto sinergico, non una cannibalizzazione. Gli analisti alle prime armi aggregano spesso le metriche in base all'ultimo canale di attribuzione, perdendo una granularità temporale critica.
Come correggere la valutazione dell'effetto in presenza di effetti di rete in un marketplace bilaterale, dove il lancio della PWA per un segmento di utenti influisce sull'esperienza di altri segmenti?
Qui è necessario applicare metodi di panel data con effetti fissi per isolare l'effetto diretto da spillover. SUTVA (Stable Unit Treatment Value Assumption) viene violato, quindi è necessaria la modellazione degli effetti dei pari attraverso modelli spaziali autoregressivi o two-stage least squares (2SLS), dove lo strumento è la disponibilità tecnica della PWA nella regione, e la variabile dipendente è l'attività degli utenti non utilizzatori della PWA nella stessa regione. La chiave è costruire una mappatura dell'esposizione, che determina l'intensità dell'interazione tra segmenti di mercato attraverso un grafo delle transazioni, consentendo una valutazione quantitativa degli effetti di rete indiretti e correggendo la valutazione diretta per l'ammontare delle esternalità.
Come tenere conto del self-selection bias nella adoption rate della PWA, quando i primi adottanti differiscono sistematicamente per engagement dall'utente medio, distorcendo la valutazione dell'effetto medio di trattamento (ATE)?
È fondamentale applicare la correzione di Heckman o il Inverse Probability Weighting (IPW) per correggere le caratteristiche osservabili e non osservabili. È necessario modellare il processo di auto-selezione attraverso un modello probit, dove la variabile dipendente è il fatto di installare la PWA, e i predittori sono le caratteristiche tecniche del dispositivo, la storia di interazione con il prodotto e le variabili demografiche. Il Inverse Mills ratio dalla prima equazione viene incluso nella seconda equazione degli esiti per correggere il bias. In alternativa, si applica il coarsened exact matching (CEM) per bilanciare le covariate tra le gruppi adottanti e non adottanti. Gli specialisti alle prime armi spesso ignorano questo bias, interpretando metriche alte per gli adottanti come effetto causale della tecnologia, mentre in realtà riflettono l'eterogeneità nella prontezza tecnologica del pubblico.