Il contesto storico del problema risale all'evoluzione dei contenuti generati dagli utenti nel e-commerce. All'inizio del commercio digitale, dominavano le descrizioni professionali, ma con l'emergere del Web 2.0 si è assistito a un passaggio verso il UGC (User Generated Content), che ha aumentato la fiducia ma ha creato problemi di sovraccarico informativo. Oggi gli utenti si trovano ad affrontare decine di recensioni su un prodotto, aumentando il carico cognitivo e il tempo di decisione. L'emergere di Large Language Models (LLM) ha permesso l'automatizzazione della sintesi, tuttavia la sostituzione della voce autentica del consumatore con un'interpretazione meccanica introduce incertezze nel legame causale tra le informazioni mostrate e il comportamento dell'utente.
La formulazione del problema è complicata da tre fattori che rendono impossibile il classico A/B testing. In primo luogo, il rollout graduale per categorie crea un'adozione staggard, dove i gruppi di controllo nel tempo diventano testimoni, compromettendo la stabilità del confronto. In secondo luogo, la qualità della sintesi AI è endogena: le categorie con un alto volume di recensioni ricevono badge precisi, mentre quelle con un basso volume hanno badge distorti, il che è correlato alla popolarità del prodotto come confonditore nascosto. In terzo luogo, esiste il rischio di deception effect: se l'utente scopre una discrepanza tra il badge e il prodotto reale, la fiducia nella piattaforma diminuirà, influenzando la fidelizzazione a lungo termine, misurabile solo tramite un'analisi di coorte.
Una soluzione dettagliata richiede una combinazione di metodi quasi sperimentali. Lo strumento principale è il Staggered Difference-in-Differences (DiD) con effetti fissi per categoria e effetti temporali, permettendo di cogliere l'effetto in condizioni di introduzione graduale. Per tenere conto dell'endogenicità della qualità di generazione si applica il Causal Forest, che modella l'eterogeneità dell'impatto a seconda del volume dei dati di addestramento. È fondamentale condurre Placebo test su categorie senza variazioni per convalidare le tendenze parallele e utilizzare Survival Analysis per monitorare la dinamica dei resi nel tempo, separando l'effetto a breve termine sulla conversione dall'effetto a lungo termine sulla fiducia.
Il marketplace "DomashniyUyut", specializzato in mobili e decorazioni, ha affrontato un calo critico dell'engagement sulle pagine prodotto, con il 68% degli utenti che non arrivavano alla sezione delle recensioni testuali, perdendo importanti informazioni sulla qualità dell'assemblaggio e dei materiali. Il team di prodotto ha proposto una soluzione innovativa: sostituire i commenti estesi con badge visivi generati dall'IA con la sintesi dei punti chiave, tuttavia gli stakeholder temevano una degradazione nascosta delle metriche di fiducia e un aumento dei resi a causa delle possibili "allucinazioni" del modello. Gli analisti dovevano misurare l'effetto causale netto dell'implementazione in assenza della possibilità di condurre un classico test diviso tra utenti.
La prima opzione prevedeva un classico A/B testing con randomizzazione a livello utente tramite hash di user_id. I pro di questo approccio includevano un'identificazione causale rigorosa e la semplicità di elaborazione statistica attraverso un normale t-test o bootstrap. I contro si sono rivelati critici per il prodotto: gli utenti condividevano attivamente screenshot dei prodotti sui social media, creando contaminazione intergruppo, e la variazione nella visualizzazione dello stesso prodotto tra diversi utenti interrompeva la coerenza dell'UX e portava dissonanza cognitiva.
La seconda opzione si basava sul Synthetic Control Method, dove per ogni categoria che introduceva i badge AI si sarebbe creato un controllo sintetico ponderato da categorie non cambiate con tendenze storiche simili nella conversione e nella stagionalità. I principali vantaggi risiedevano nella naturale percezione da parte degli utenti e nell'assenza della necessità di dividere il traffico, preservando l'integrità dell'esperienza utente. Tuttavia, le sostanziali limitazioni includevano l'impossibilità di costruire un controllo affidabile per categorie uniche come i "frigoriferi intelligenti" senza analoghi diretti, nonché il rischio di distorsione in caso di shock globali che influenzano tutte le categorie contemporaneamente.
La soluzione ottimale è stata la combinazione di Staggered Difference-in-Differences con Two-Way Fixed Effects (TWFE) e Causal Forest per analizzare l'eterogeneità dell'effetto in base al volume dei dati di partenza. Questo approccio ha permesso di utilizzare l'ordine naturale dell'implementazione graduale (prima l'elettronica di massa, poi i mobili) come fonte di variazione esogena, controllando gli effetti fissi categoriali e temporali. Un fattore critico nella scelta è stata la possibilità di modellare l'impatto variabile per categorie ad alta richiesta con sintesi accurate e nicchie con "allucinazioni" degli LLM, che ha conferito un vantaggio strategico nella decisione di scalare.
L'implementazione finale ha rivelato un'eterogeneità ben definita: nelle categorie con più di 50 recensioni, la conversione è aumentata del 12% grazie alla riduzione del carico cognitivo, mentre i resi sono diminuiti del 3% grazie alla trasmissione accurata delle caratteristiche chiave. Al contrario, nelle categorie di nicchia con meno di 10 recensioni si è osservato un aumento dei resi dell'8% a causa della discrepanza tra i badge generati e la qualità reale del prodotto, portando alla decisione di disattivare completamente le sintesi AI per segmenti con insufficiente volume di dati. Di conseguenza, la piattaforma ha mantenuto un effetto neutro sul GMV complessivo, ma ha notevolmente migliorato la qualità dell'esperienza utente e ridotto i costi operativi per la gestione dei resi nelle categorie ad alto flusso.
Endogenicità della qualità di generazione come confonditore
Spesso i candidati interpretano l'implementazione dei badge come un effetto binario, ignorando che l'efficacia della sintesi LLM è una funzione continua del volume delle recensioni di partenza, e non una costante. In realtà, le categorie con alta conversione attraggono inizialmente più recensioni, creando una causalità inversa: popolarità → volume di dati → qualità AI → aumento osservato della conversione, erroneamente attribuito solo ai badge visivi. Un approccio corretto richiede l'uso di variabili strumentali, come l'età del prodotto come strumento per il volume delle recensioni, o l'applicazione di Regression Discontinuity in base alla soglia del numero di recensioni per isolare l'effetto netto della qualità di generazione dall'effetto della popolarità della categoria.
Effetti spillover intercategorici e sostituzione dell'attenzione
I candidati raramente considerano che gli utenti confrontano i prodotti tra categorie all'interno di una stessa sessione, creando effetti spillover intercategorici (cross-category spillovers). Se nella categoria "Smartphone" compaiono badge AI attraenti, mentre in "Custodie" ci sono blocchi testuali tradizionali, ciò crea un’asimmetria informativa che devia la domanda nella categoria in test non per un miglioramento dell'UX, ma per una sostituzione dell'attenzione (attention substitution). Per una valutazione corretta è necessario includere nella modellazione gli effetti intercategorici tramite Spatial Econometrics o analizzare la variazione della quota nel carrello (share of wallet) della categoria nell'ordine generale dell'utente, e non solo la conversione intracategoriale.
Effetto dinamico di esposizione e curva di apprendimento
Gli analisti principi fissano un effetto statico in una finestra di osservazione a breve termine, trascurando che la percezione dei contenuti AI cambia nel tempo con l'accumulo dell'esperienza dell'utente. I primi utenti percepiscono i badge come aggregazioni obiettive, ma dopo il primo reso di un prodotto con un badge ingannevole si genera AI skepticism, e l'effetto positivo svanisce o si inverte in negativo. Per identificare questo schema è necessaria un'Event Study con ritardi e variabili guida (leads and lags), così come la segmentazione in base all'"età" dell'utente rispetto al primo contatto con i contenuti AI, che consente di costruire una curva di apprendimento e prevedere la stabilità a lungo termine dell'effetto.