Quale metodo dovresti utilizzare per valutare l'effetto causale dell'implementazione della funzione di ricerca vocale (voice search) sulla profondità di navigazione del catalogo e sulla conversione in acquisto nell'app mobile, considerando che l'implementazione avviene gradualmente per regioni con diverse specificità linguistiche, si osserva un'auto-selezione in base alle caratteristiche tecniche del dispositivo e le metriche sono soggette a fluttuazioni stagionali della domanda?

Risposta alla domanda

Il contesto storico suggerisce che le interfacce vocali sono evolute da semplici sistemi a comando a soluzioni complete basate su NLP, ma la metodologia per la loro valutazione rimane non banale a causa dell'eterogeneità nell'adozione della tecnologia. Il problema risiede nel fatto che la funzione è disponibile solo su dispositivi con specifiche tecniche definite, creando uno spostamento sistematico nella selezione, mentre il rollout geografico viola il principio della distribuzione casuale. Per isolare il vero effetto è necessario utilizzare una combinazione di Difference-in-Differences con effetti fissi per regioni e tempo, integrata con il Synthetic Control Method per le regioni con schemi linguistici unici, oltre a Instrumental Variables per correggere l'endogeneità nell'uso della funzione.

Situazione reale

In un marketplace di elettronica, hanno lanciato la ricerca vocale inizialmente a Mosca e San Pietroburgo, pianificando una diffusione graduale nelle regioni. Il problema era che la funzione funzionava solo su iPhone XS e modelli successivi con iOS 15+ e sui flagship Android con supporto per ML on-device, creando uno spostamento nel reddito e nella consapevolezza tecnologica del pubblico. Inoltre, si osservava una chiara stagionalità: l'implementazione coincideva con la crescita della domanda pre-natalizia, distorcendo il confronto diretto "prima-dopo". Il team ha considerato tre approcci di valutazione.

La prima opzione prevedeva un semplice confronto delle metriche medie nelle regioni con e senza la funzione per lo stesso periodo temporale. I vantaggi di questo approccio sono stati la semplicità di implementazione e la rapidità di ottenimento dei risultati. Gli svantaggi: la mancanza critica di considerazione delle differenze sistematiche tra regioni (Mosca ha storicamente una conversione più alta) e l'impossibilità di separare l'effetto della funzione dal trend stagionale. Questo opzione è stata scartata a causa dell'alto rischio di conclusioni false positive.

La seconda opzione utilizzava il Propensity Score Matching per creare un gruppo di controllo di utenti senza ricerca vocale, ma con caratteristiche simili dei dispositivi e comportamenti. I vantaggi: tentativo di eliminare lo spostamento in base ai segni osservabili. Gli svantaggi: incapacità di considerare fattori non osservabili (ad esempio, la tendenza ad adottare precocemente le tecnologie), che influenzano sia il possesso di un dispositivo moderno sia la disponibilità a effettuare acquisti. Inoltre, il matching perde efficacia in presenza di effetti fissi regionali.

La terza opzione combinava Difference-in-Differences a livello regionale con Instrumental Variables a livello utente. Come strumento è stata utilizzata una bandiera di accessibilità tecnica della funzione sul dispositivo (dipendente dal modello dello smartphone e dalla versione del sistema operativo, ma non dalle preferenze dell'utente direttamente) per prevedere l'uso effettivo tramite Two-Stage Least Squares. Per le regioni con dialetti unici (Kazan, Novosibirsk) è stato applicato il Synthetic Control, pesando le regioni di controllo in base ai trend di conversione precedenti. Vantaggi: separazione dell'effetto di accessibilità dall'effetto di auto-selezione degli utenti e controllo dei trend regionali. Svantaggi: complessità nell'interpretare il Local Average Treatment Effect (LATE) e requisiti sull'assunzione di trend paralleli. Questa opzione è stata scelta come la più robusta.

Dall'analisi è emerso che la ricerca vocale offre un incremento della profondità di visualizzazione del 18% tra gli utenti con dispositivi compatibili, ma non è stato trovato un effetto statisticamente significativo sulla conversione in acquisto. Inoltre, nelle categorie con termini tecnici (componenti per computer) si è osservata una riduzione della conversione a causa di errori nel riconoscimento del lessico specifico. Questo ha permesso al team di correggere il road map: migliorare il riconoscimento dei termini tecnici prima della scalabilità e concentrare il marketing su categorie di prodotti "semplici" (elettrodomestici), dove la ricerca vocale ha mostrato i migliori risultati.

Cosa i candidati spesso trascurano

Come separare l'effetto a breve termine della novità (novelty effect) dai cambiamenti comportamentali sostenibili nella valutazione delle interfacce vocali?

I candidati spesso ignorano la dinamica temporale dell'adattamento. È necessario costruire un'analisi di coorte dal giorno della prima utilizzazione della funzione e monitorare il retention usage su un arco di 3-4 settimane. Se l'intensità d'uso diminuisce seguendo una curva di attenuazione esponenziale fino al livello di base, l'effetto è legato alla novità. Per una valutazione corretta dovrebbero essere utilizzati solo i periodi stabilizzati (steady state) o pesare le osservazioni in base alla vita della coorte. È anche importante controllare l'eterogeneità dell'effetto in base alla frequenza d'uso: gli utenti power possono dimostrare un comportamento sostenuto, mentre gli utenti occasionali sono soggetti all'effetto novità.

Come gestire correttamente i valori nulli (zeroes) nei dati, quando un utente ha attivato la ricerca vocale, ma non ha ottenuto risultati a causa di errori di riconoscimento?

La regressione lineare standard o il modello logistico non sono corretti qui a causa della distribuzione mista: una massa di zeri (tentativi falliti) e una distribuzione continua di esiti positivi. È necessario applicare un Two-part model (modello a ostacoli) o un Zero-Inflated Negative Binomial per metriche contabili (numero di visualizzazioni). La prima parte del modello valuta la probabilità di ricerca riuscita (equazione di selezione), la seconda l'intensità d'uso a condizione di successo (equazione del risultato). Ignorare questa struttura porta a una sottostima dell'effetto, poiché i tentativi falliti vengono erroneamente classificati come mancanza di interesse anziché come barriera tecnica.

Perché in questo caso non è possibile utilizzare un semplice confronto Intent-to-Treat (ITT) tra tutti gli utenti nella regione di implementazione contro la regione di controllo?

L'analisi ITT mescola l'effetto di disponibilità della funzione con l'effetto del suo effettivo utilizzo, sfocando la valutazione. Se solo il 10% del pubblico ha dispositivi compatibili e solo il 20% di essi prova la funzione, l'ITT mostrerà un effetto del 2% anche con un'efficacia del 100% per i veri utenti. Per le decisioni aziendali è cruciale l'effetto Treatment-on-Treated (TOT) o il Local Average Treatment Effect (LATE) ottenuto attraverso variabili strumentali. I candidati trascurano che la compliance (conformità all'assegnazione) qui non è al 100%, ed è necessario scalare la valutazione ITT inversamente proporzionale alla quota di compliance per ottenere il vero effetto su coloro che utilizzano effettivamente la funzione.