Contexto histórico de la evolución de productos digitales muestra una transición gradual de aplicaciones nativas aisladas a modelos híbridos de interacción. Progressive Web App representa una tecnología que permite que un sitio web funcione como una aplicación completa con acceso offline y notificaciones push, lo que históricamente ha difuminado la frontera entre el mobile web y la experiencia nativa. Los métodos clásicos de evaluación de la efectividad de tales implementaciones, incluyendo análisis de cohortes simples o A/B testing, enfrentan limitaciones fundamentales en cuanto a la imposibilidad de aislar un grupo de control de los efectos SEO y la inviabilidad técnica de la aleatorización a nivel de usuario sin perjudicar la experiencia de usuario (UX).
La formulación del problema requiere resolver una tarea multidimensional de identificación de relaciones causales en condiciones de endogeneidad de la autoelección de la plataforma. Los usuarios deciden de manera independiente si usar la PWA o la aplicación nativa, lo que genera un self-selection bias, correlacionado con la alfabetización técnica y el compromiso. Al mismo tiempo, el lanzamiento de la PWA genera tráfico orgánico a través de la mejora de los Core Web Vitals y la indexación del service worker, distorsionando el nivel base de tráfico en las cohortes analizadas. La canibalización entre plataformas se manifiesta como una pérdida de sesiones de la aplicación nativa a la PWA, lo que requiere separar el efecto de migración del verdadero aumento en el compromiso.
La solución detallada se basa en la síntesis del Synthetic Control Method (SCM) y el análisis de diferencias-en-diferencias (Difference-in-Differences) con ponderación proporcional por propensión (Propensity Score Matching). En la primera etapa, se construye un control sintético a partir de regiones geográficas o segmentos de usuarios con el lanzamiento diferido de la PWA, permitiendo modelar la trayectoria contrafactual de las métricas sin interferencia. Luego se aplica el análisis de Causal Impact para aislar los efectos temporales ajustados por covariables, incluyendo estacionalidad y actividades de marketing. Para evaluar la canibalización se utiliza un instrumental variables approach, donde la disponibilidad técnica de la PWA (versión del navegador que soporta service workers) actúa como instrumento, asegurando una variación cuasi-experimental independiente de las preferencias del usuario. La retención entre plataformas se modela a través de un survival analysis con riesgos competidores, que separa los riesgos de pérdida dentro de la plataforma de la migración interplataforma.
En el mayor marketplace de electrónica surgió la necesidad de lanzar una PWA para reducir las barreras de entrada de nuevos usuarios, sin embargo, existía una crítica hipótesis de negocio sobre la posible canibalización de usuarios de alta renta de la aplicación nativa. El equipo se enfrentó a la elección de metodología de evaluación que permitiera separar el verdadero incremento de la redistribución de la audiencia existente entre canales sin realizar A/B testing clásico, que era inviable debido a la especificidad técnica de la instalación automática de la PWA a través de banners de navegador.
La primera opción considerada implicaba el uso de una comparación simple de métricas clave (conversion rate, retention day 7) entre los usuarios que visitaron el sitio antes y después del lanzamiento de la PWA. Ventajas de este enfoque incluían la rapidez en la obtención de resultados y los requisitos mínimos de infraestructura de datos. Desventajas radicaban en una crítica vulnerabilidad a las fluctuaciones estacionales en la demanda de electrónica y la imposibilidad de separar el efecto de la PWA de la campaña publicitaria en televisión que se lanzaba paralelamente, lo que hacía que los resultados fueran estadísticamente insignificantes y arriesgados desde el punto de vista del negocio.
La segunda opción incluía A/B testing geográfico con un rollout gradual a través de Google Optimize y segmentación geográfica por direcciones IP, donde a las regiones de prueba se les daba acceso a la PWA y a las de control no. Ventajas incluían la reproducibilidad de la lógica experimental y la claridad para los stakeholders. Desventajas se manifestaron en la imposibilidad de aislar el efecto SEO, ya que la mejora en los Core Web Vitals se distribuía en la indexación de todo el dominio independientemente de la geografía del usuario, creando un spillover efecto y contaminando el grupo de control con tráfico orgánico de selección positiva.
La tercera opción, finalmente implementada, combinaba el Synthetic Control Method con un Regression Discontinuity Design basado en el umbral de la versión del navegador móvil (Chrome 90+). El equipo creó un control sintético, ponderando el comportamiento de usuarios de Safari y versiones antiguas de Chrome antes del lanzamiento de la PWA para el grupo de prueba, lo que permitió modelar la retención contrafactual sin intervención. Ventajas incluían la validez interna del cuasiexperimento y la posibilidad de aislar la canibalización a través del análisis de intersección de los device IDs entre plataformas. Desventajas requerían recursos computacionales significativos para construir los pesos sintéticos y complejidades de interpretación para el equipo de producto.
El resultado fue la identificación de un efecto incremental neto de +8.3% en la retención a los 30 días para el web móvil después de ajustar por la canibalización, que fue de -2.1% de la actividad de la aplicación nativa. El efecto neutral en el LTV total del usuario permitió tomar la decisión estratégica de un rollout completo de la PWA con optimización de deeplinks para minimizar la fricción interplataforma.
¿Cómo diferenciar la verdadera canibalización del efecto de complementariedad entre la PWA y la aplicación nativa, cuando el usuario puede usar ambas plataformas en un solo día?
La respuesta requiere comprender el concepto de incrementalidad a nivel de user-journey en lugar de un análisis centrado en el dispositivo. Se debe construir un modelo de atribución multicanal con ventanas temporales, donde las sesiones se codifican como secuencias de estados (Web → PWA → App), y el efecto se evalúa a través del análisis del cambio en el tiempo total en el producto (total time spent) y la frecuencia de eventos clave. Un matiz clave es el uso de surge analysis para identificar la complementariedad: si la introducción de la PWA incrementa la frecuencia de sesiones nativas dentro de 24 horas (cross-platform triggering), esto indica un efecto sinérgico, no canibalización. Los analistas principiantes a menudo agregan métricas por el último canal de atribución, perdiendo una granularidad temporal crítica.
¿Cómo ajustar la evaluación del efecto ante la presencia de efectos de red en un marketplace bilateral, donde el lanzamiento de la PWA en un segmento de usuarios afecta la experiencia de otros segmentos?
Aquí es necesario aplicar métodos de datos de panel con efectos fijos para aislar el efecto directo de los spillovers. SUTVA (Stable Unit Treatment Value Assumption) se viola, por lo que se requiere modelar peer effects a través de modelos autorregresivos espaciales o two-stage least squares (2SLS), donde la disponibilidad técnica de la PWA en la región actúa como instrumento y la variable dependiente es la actividad de no usuarios de la PWA en la misma región. El matiz radica en construir un exposure mapping, que determina la intensidad de la interacción entre segmentos del mercado a través de un grafo de transacciones, lo que permite evaluar cuantitativamente los indirect network effects y ajustar la evaluación directa por la magnitud de las externalidades.
¿Cómo tener en cuenta el self-selection bias en la tasa de adopción de la PWA, cuando los early adopters se diferencian sistemáticamente en el engagement del usuario promedio, distorsionando la estimación del efecto medio del tratamiento (ATE)?
Es críticamente importante aplicar Heckman correction o Inverse Probability Weighting (IPW) para ajustar por características observables y no observables. Se debe modelar el proceso de autoelección a través de un modelo probit, donde la variable dependiente es el hecho de instalar la PWA y los predictores son las características técnicas del dispositivo, la historia de interacción con el producto y variables demográficas. Inverse Mills ratio del primer ecuación se incluye en la segunda ecuación de resultados para ajustar el bias. Alternativamente, se aplica coarsened exact matching (CEM) para equilibrar covariables entre grupos de adopters y non-adopters. Los especialistas principiantes a menudo ignoran este bias, interpretando métricas altas de adopters como efecto causal de la tecnología, cuando en realidad reflejan la heterogeneidad en la disposición tecnológica de la audiencia.