La personalización del contenido se ha convertido en una parte integral de las modernas plataformas de comercio electrónico desde mediados de 2010, cuando Amazon y Netflix demostraron la viabilidad económica de invertir en sistemas de recomendación. Los enfoques clásicos para evaluar la efectividad implican la realización de experimentos controlados, sin embargo, en la infraestructura real a menudo hay limitaciones técnicas que hacen que las pruebas estándar de A/B sean imposibles sin degradar el rendimiento.
La tarea del analista es aislar el efecto verdadero de la implementación de un sistema de recomendación basado en ML en métricas clave del producto en ausencia de un grupo de control. En este contexto, es necesario tener en cuenta tres factores distorsionadores: el retraso temporal en el entrenamiento del modelo para usuarios fríos (problema de cold start), un aumento temporal en la actividad debido a cambios en la interfaz (efecto de novedad), así como diferencias sistemáticas entre las cohortes de nuevos y usuarios recurrentes, lo que genera sesgo de selección.
El enfoque óptimo es una combinación del método de diferencias en diferencias (Difference-in-Differences, DiD) y el análisis de control sintético (Synthetic Control Method). Como grupo de control se utiliza una cohorte de nuevos usuarios que se registraron después de la implementación del cambio, ajustada por la diferencia en las características base a través del propensity scoring. Para tener en cuenta el cold start, se estratifica el análisis según la antigüedad de los usuarios con un modelado separado de la curva de aprendizaje del algoritmo. El efecto de novedad se aísla a través del análisis de la dinámica de las métricas en los primeros 14 días después del lanzamiento, seguido de una comparación con un período de estabilización. Además, se aplica el enfoque de triple diferencia, que utiliza regiones geográficas con diferentes velocidades de implementación como un experimento natural.
En un gran mercado de moda, estaba prevista la sustitución de la página de inicio estática con una selección manual de tendencias por un feed dinámico generado por un modelo de ML basado en filtrado colaborativo. El equipo técnico informó que, debido a la configuración de Edge Cache en Cloudflare, no era posible garantizar la separación del tráfico a nivel de usuario sin una degradación significativa del rendimiento del sistema y una violación del SLA respecto al tiempo de respuesta. El lanzamiento debía producirse de manera sincrónica para todos los usuarios en la temporada alta (noviembre), lo que complicaba aún más la evaluación debido al Black Friday y al aumento previo a las festividades, distorsionando los patrones históricos de comportamiento.
El primer enfoque supuso el uso de un simple análisis de antes y después con un ajuste por la estacionalidad de años anteriores a través de índices. Este método tenía una alta simplicidad operativa y no requería una infraestructura de datos complicada; sin embargo, sufría críticamente de la suposición de invariabilidad de la tendencia base entre períodos. En un mercado de comercio electrónico en crecimiento, esto llevaba a una sobreestimación del efecto del 40-60% debido a factores macroeconómicos y la inflación de la demanda.
La segunda opción incluía la construcción de un control sintético en función del comportamiento de los usuarios de la aplicación móvil, donde la personalización se había implementado anteriormente y funcionaba de manera estable. Este método permitía tener en cuenta las especificidades de las métricas del producto y las fluctuaciones estacionales a través de una combinación ponderada de datos históricos. Sin embargo, requería una fuerte suposición de tendencias paralelas entre la web y el móvil, que no se cumplía debido a la diferente demografía de las audiencias y las diferencias en los escenarios de uso (la web se utilizaba para búsquedas profundas, la aplicación para compras rápidas).
El tercer enfoque proponía utilizar un modelo de diferencia cuasi-experimental (DiD), comparando la dinámica de métricas entre usuarios con una rica historia y novatos que experimentan el cold start. Este método permitía aislar el efecto del propio sistema de recomendaciones del efecto del entrenamiento del modelo, utilizando la interacción entre el tiempo y el tipo de usuario como fuente de variación. La limitación clave era la necesidad de suponer la ausencia de choques sistemáticos que afectaran a ambos grupos de manera diferente, lo que requería un cuidadoso chequeo de las tendencias paralelas en el período pre-intervención.
Se eligió un enfoque híbrido, combinando DiD con post-estratificación por cohortes y ajuste por la curva de aprendizaje del algoritmo. Esta solución permitió controlar tanto las heterogeneidades individuales entre segmentos de usuarios como las tendencias temporales a nivel de mercado. Un factor clave fue la posibilidad de utilizar la variación natural en la velocidad de adaptación: los usuarios experimentados recibían de inmediato recomendaciones relevantes, mientras que los nuevos necesitaban 5-7 sesiones para acumular señales, lo que creaba un "control natural" para evaluar el efecto limpio del sistema sin distorsiones del efecto de novedad.
El análisis reveló que el efecto verdadero de la personalización es del +8.3% en la tasa de conversión a compra y +12% en el ticket medio, pero solo a partir del día 21 después de la primera visita del usuario. En las primeras dos semanas, se observó una paradoja de caída del 3% en la conversión de nuevos usuarios debido al modelo de cold start, que fue compensada por un aumento de actividad de clientes habituales (+15%). Sin tener en cuenta la estructura temporal de los datos, el negocio podría haber revertido el cambio erróneamente, sin esperar la estabilización de las métricas, lo que podría haber llevado a una pérdida de ingresos anuales pronosticados de 240 millones de rublos.
¿Cómo tener en cuenta correctamente el período de formación del modelo en ausencia de una división clara entre conjunto de entrenamiento y conjunto de prueba en producción?
Los candidatos a menudo ignoran que los modelos de ML en producción se encuentran en un estado de aprendizaje en línea continuo (online learning), donde los hiperparámetros se adaptan a datos en tiempo real. El enfoque correcto incluye modelar la curva de aprendizaje a través de la evaluación de la calidad de las recomendaciones (NDCG, MAP) como una variable mediadora intermedia. Es necesario construir un modelo de dos etapas, donde primero se evalúa el efecto del tiempo sobre la calidad de las recomendaciones, y luego el efecto de la calidad en las métricas empresariales, utilizando variables instrumentales para resolver la endogeneidad. Sin esto, el analista confundirá el efecto de mejora del algoritmo con el efecto de acumulación de datos sobre el usuario, lo que llevará a conclusiones incorrectas sobre el horizonte óptimo de evaluación.
¿Por qué en cuasi-experimentos con personalización es crítico verificar la suposición de tendencias paralelas no solo antes, sino también después de la intervención?
La práctica estándar de verificación de la suposición de tendencias paralelas en DiD se limita al período pre-intervención, sin embargo, en sistemas con personalización existe el riesgo de divergencia de tendencias después de la implementación debido a la diferente elasticidad de la demanda en segmentos. Por ejemplo, los usuarios de alto valor pueden acelerar el crecimiento de sus compras bajo la influencia de la personalización, mientras que los usuarios que han abandonado continuarán disminuyendo su actividad de manera lineal. Los candidatos deben utilizar el método de estudio de eventos con efectos dinámicos (dynamic DiD) para visualizar desviaciones en las tendencias en el periodo posterior y aplicar correcciones por efectos de tratamiento heterogéneos a través de modelos con efectos fijos de usuario y tiempo.
¿Cómo evitar el paradoja de Simpson al agregar resultados por segmentos con diferente tasa de conversión base y diferente grado de susceptibilidad a la personalización?
Un error típico es calcular un efecto promedio ponderado a través de toda la audiencia sin tener en cuenta los desplazamientos compositivos en la estructura de tráfico. Si la personalización se implementa durante un período de aumento en la cuota de nuevos usuarios (con una baja tasa de conversión base y un alto aumento relativo de recomendaciones), el efecto agregado puede ser negativo incluso en cada segmento presenta un efecto positivo. Es necesario aplicar estratificación seguida de un promedio estandarizado (standardized mean treatment effect) o utilizar estimación doblemente robusta, que combina el modelo de propensity scoring con el modelo de resultado, garantizando robustez frente a errores de especificación.