Contexte historique de l'évolution des produits numériques montre une transition progressive des applications natives isolées vers des modèles hybrides d'interaction. La Progressive Web App représente une technologie permettant à un site Web de fonctionner comme une application complète avec accès hors ligne et notifications push, ce qui a historiquement floué la frontière entre le web mobile et l'expérience native. Les méthodes classiques d'évaluation de l'efficacité de telles implantations, y compris les analyses de cohortes simples ou les A/B tests, rencontrent des limitations fondamentales, telles que l'impossibilité d'isoler le groupe témoin des effets SEO et la non-possibilité de randomisation au niveau utilisateur sans altérer l'UX.
La formulation du problème nécessite de résoudre une tâche multidimensionnelle d'identification des liens de causalité dans des conditions d'endogénéité de l'auto-sélection de la plateforme. Les utilisateurs décident eux-mêmes d'utiliser la PWA ou l'application native, ce qui crée un biais d'auto-sélection, corrélant avec la compétence technique et l'engagement. Parallèlement, le lancement de la PWA génère du trafic organique via l'amélioration des Core Web Vitals et l'indexation du service worker, déformant le niveau de trafic de base dans les cohortes analysées. La cannibalisation entre les plateformes se manifeste par un reflux de sessions de l'application native vers la PWA, ce qui nécessite de séparer l'effet de migration du véritable accroissement de l'engagement.
La solution détaillée repose sur une synthèse de la Synthetic Control Method (SCM) et de l'analyse des différences en différences (Difference-in-Differences) avec un appariement par score de propension (Propensity Score Matching). Dans un premier temps, un contrôle synthétique est construit à partir des régions géographiques ou des segments d'utilisateurs avec lancement différé de la PWA, permettant de modéliser la trajectoire contrefactuelle des métriques sans interférence. Ensuite, une analyse d'impact causal est appliquée pour isoler les effets temporels avec ajustement sur les covariables, y compris la saisonnalité et les activités marketing. Pour évaluer la cannibalisation, une approche par variables instrumentales est utilisée, où l'accessibilité technique de la PWA (version de navigateur supportant les service workers) sert d'instrument, assurant une variation quasi-expérimentale indépendante des préférences utilisateur. La fidélisation multiplateforme est modélisée à travers une analyse de survie avec des risques concurrents, séparant les risques de perte au sein de la plateforme des migrations inter-plateformes.
Dans le plus grand marché électronique, il y avait un besoin de lancer une PWA pour réduire les barrières d'entrée pour les nouveaux utilisateurs, mais une hypothèse commerciale critique existait sur la cannibalisation potentielle des utilisateurs à fort revenu de l'application native. L'équipe était confrontée à un choix de méthodologie d'évaluation qui permettrait de séparer le véritable incrément de la redistribution de l'audience existante entre les canaux sans réaliser de classic A/B testing, impossible en raison de la spécificité technique de l'installation automatique de la PWA via des bannières de navigateur.
La première option considérée impliquait l'utilisation d'une simple comparaison des métriques clés (taux de conversion, fidélisation au jour 7) entre les utilisateurs qui ont visité le site avant et après le lancement de la PWA. Les avantages de cette approche comprenaient la rapidité des résultats et des exigences minimales pour l'infrastructure de données. Les inconvénients résidaient dans la vulnérabilité critique aux fluctuations saisonnières de la demande pour l'électronique et l'impossibilité de séparer l'effet de la PWA de la campagne publicitaire lancée simultanément à la télévision, rendant les résultats statistiquement non significatifs et risqués pour l'entreprise.
La deuxième option impliquait un A/B testing géographique avec un déploiement progressif via Google Optimize et un segment géographique basé sur des adresses IP, où les régions test disposaient d'un accès à la PWA, tandis que les groupes de contrôle n'en avaient pas. Les avantages résidaient dans la reproductibilité de la logique expérimentale et la clarté pour les parties prenantes. Les inconvénients se sont manifestés par l'impossibilité d'isoler l'effet SEO, car l'amélioration des Core Web Vitals s'étendait à l'indexation de l'ensemble du domaine, indépendamment de la géographie de l'utilisateur, créant un effet de débordement et contaminant le groupe témoin avec un trafic organique à sélection positive.
La troisième option, finalement mise en œuvre, a combiné la Synthetic Control Method avec Regression Discontinuity Design selon le seuil de la version du navigateur mobile (Chrome 90+). L'équipe a créé un contrôle synthétique en pondérant le comportement des utilisateurs de Safari et des versions obsolètes de Chrome avant le lancement de la PWA pour le groupe test, ce qui a permis de modéliser la fidélisation contrefactuelle sans interférence. Les avantages comprenaient la validité interne de l'expérience quasi-expérimentale et la possibilité d'isoler la cannibalisation via l'analyse des intersections des ID de dispositifs entre les plateformes. Les inconvénients nécessitaient d'importantes ressources de calcul pour construire des poids synthétiques et la complexité d'interprétation pour l'équipe produit.
Le résultat a été l'identification d'un effet net incrémental de +8,3% sur la fidélisation au jour 30 pour le web mobile après ajustement pour la cannibalisation, qui était de -2,1% de l'activité de l'application native. Un effet neutre sur le LTV total de l'utilisateur a permis de prendre une décision stratégique sur le déploiement complet de la PWA avec optimisation des liens profonds pour minimiser les frictions multiplateformes.
Comment distinguer la véritable cannibalisation et l'effet de complémentarité entre la PWA et l'application native, lorsque l'utilisateur peut utiliser les deux plateformes au cours d'une même journée ?
La réponse nécessite de comprendre le concept d'incrémentalité au niveau du parcours client plutôt qu'une analyse centrée sur le dispositif. Il est nécessaire de construire un modèle d'attribution multi-touch avec des fenêtres temporelles, où les sessions sont codées comme des séquences d'états (Web → PWA → App), et l'effet est évalué par une analyse des changements dans le temps total passé dans le produit (total time spent) et la fréquence des événements clés. Un point clé est l'utilisation de l'analyse de pic pour identifier la complémentarité : si l'implémentation de la PWA augmente la fréquence des sessions natives au cours de 24 heures (triggers multiplateformes), cela indique un effet synergique, plutôt qu'une cannibalisation. Les analystes débutants agrègent souvent les métriques par le dernier canal d'attribution, perdant une granularité temporelle critique.
Comment ajuster l'évaluation de l'effet en présence d'effets de réseau dans un marché à double sens, où le lancement de la PWA dans un segment d'utilisateurs influence l'expérience d'autres segments ?
Ici, il est nécessaire d'appliquer des méthodes de données de panel avec des effets fixes pour isoler l'effet direct des débordements. SUTVA (Supposition de valeur de traitement stable d'unités) est violée, donc la modélisation des effets de pair est requise à travers des modèles autorégressifs spatiaux ou les moindres carrés à deux étapes (2SLS), où l'instrument est l'accessibilité technique de la PWA dans la région, et la variable dépendante est l'activité des non-utilisateurs de la PWA dans la même région. Le point essentiel réside dans la construction de la cartographie d'exposition, déterminant l'intensité de l'interaction entre les segments de marché via un graphique de transactions, permettant d'évaluer quantitativement les effets de réseau indirects et d'ajuster l'évaluation directe pour tenir compte des effets externes.
Comment prendre en compte le biais d'auto-sélection dans le taux d'adoption de la PWA, lorsque les premiers utilisateurs diffèrent systématiquement par engagement de l'utilisateur moyen, biaisant l'évaluation de l'effet de traitement moyen (ATE) ?
Il est crucial d'appliquer la correction de Heckman ou le Inverse Probability Weighting (IPW) pour ajuster les caractéristiques observables et non observables. Il est nécessaire de modéliser le processus d'auto-sélection à travers un modèle probit, où la variable dépendante est le fait d'installer la PWA, et les prédicteurs sont les caractéristiques techniques de l'appareil, l'historique d'interaction avec le produit et les variables démographiques. Le ratio de Mills inverse de la première équation est inclus dans la seconde équation des résultats pour corriger le biais. Alternativement, la correspondance exacte grossière (CEM) est appliquée pour équilibrer les covariables entre les groupes des adopteurs et des non-adopteurs. Les spécialistes débutants ignorent souvent ce biais, interprétant les métriques élevées des adopteurs comme un effet causal de la technologie, alors qu'en réalité, elles reflètent l'hétérogénéité de la préparation technologique du public.