Analyse systèmeAnalyste produit

Quelle méthode doit-on utiliser pour évaluer quantitativement l'effet causal de l'implémentation de la fonction de partage du paiement (split payment) entre plusieurs utilisateurs dans un panier d'e-commerce sur le ticket moyen et la conversion, si l'implémentation se fait progressivement par catégories de produits, qu'il existe une endogénéité liée aux liens sociaux (les groupes d'amis corrèlent au niveau de la solvabilité), et que la hausse observée du ticket peut être attribuée à la fois à un vrai effet de la fonction et à une auto-sélection de grosses commandes ?

Réussissez les entretiens avec l'assistant IA Hintsage

Réponse à la question

Contexte historique : La fonction de partage du paiement (split payment) a traditionnellement dominé les secteurs du voyage et des services B2B, mais son adoption massive dans l'e-commerce classique (électronique, mode) n'a commencé que récemment avec l'augmentation des paiements mobiles. La principale complexité analytique réside dans le fait que les utilisateurs s'auto-sélectionnent dans des clusters sociaux (groupes de jeunes, familles), où la décision d'achat est prise collectivement, ce qui crée une interférence entre les groupes de test et de contrôle et rend la standard A/B testing invalide.

Problématique : Il est nécessaire d'isoler l'effet causal net du partage du paiement sur les métriques d'économie unitaire, en le séparant de (1) les fluctuations saisonnières de la demande pour les produits coûteux, (2) la tendance naturelle à la hausse du ticket moyen dans les jeunes cohortes, (3) l'endogénéité des liens sociaux (les amis riches invitent leurs amis riches), et (4) le déploiement progressif par catégories, qui déforme les coupes temporelles.

Solution détaillée : L'approche optimale consiste en une combinaison de Difference-in-Differences (DiD) avec randomisation en clusters au niveau du « graphe social » (et non de l'utilisateur), complétée par Fuzzy Regression Discontinuity Design (RDD) selon le prix seuil d'activation de la fonction (par exemple, 30 000 ₽). Pour corriger l'endogénéité des liens sociaux, l'approche IV (Instrumental Variables) est utilisée, où l'instrument est le numéro ordinal de la catégorie dans le plan de déploiement (variation exogène) antérieure à l'utilisation effective de la fonction. Pour évaluer l'hétérogénéité de l'effet par segments, un Causal Forest est utilisé, permettant de mettre en évidence les effets moyens conditionnels (CATE) pour différents clusters d'utilisateurs. Les métriques sont évaluées en deux modes : Intent-to-Treat (ITT) — effet de la présence du bouton, et Treatment-on-the-Treated (TOT) — effet de l'utilisation effective, ce qui nécessite un traitement correct des non-conformités par Two-Stage Least Squares (2SLS).

Situation de la vie réelle

Contexte : Un grand marché électronique lance la fonction « Partager le panier » pour des achats supérieurs à 50 000 ₽, permettant à deux utilisateurs de partager le paiement à parts égales. Le pilote est lancé dans la catégorie « Smartphones », et une extension est prévue pour les « Ordinateurs portables ». Après le premier mois, le service commercial constate une augmentation de 25 % du ticket moyen dans la catégorie test, mais l'analyste soupçonne que 70 % des utilisateurs de la fonction sont des étudiants de 18 à 22 ans, qui ont historiquement eu un faible ARPU, mais qui dans le pilote ont commencé à acheter des iPhones ensemble, créant un effet de « regroupement en commun ».

Solution 1 : Comparaison simple Before/After (t-test sur les moyennes). Avantages : Mise en œuvre instantanée, ne nécessite pas d'infrastructure complexe. Inconvénients : Ignore complètement la saisonnalité (le début de l'année scolaire augmente la demande pour les gadgets), les tendances générales de croissance du commerce mobile et l'auto-sélection des commandes coûteuses à hauteur du seuil de 50 000 ₽. Le résultat est biaisé à la hausse de 15 à 18 points de pourcentage.

Solution 2 : Difference-in-Differences avec la catégorie « Accessoires » comme contrôle. Avantages : Élimine les tendances temporelles globales, interprétation simple. Inconvénients : Violation de l'hypothèse sur les tendances parallèles — la catégorie des smartphones a une élasticité de la demande différente et une dynamique tarifaire différente de celle des accessoires. De plus, il existe un effet de débordement : les utilisateurs peuvent acheter un smartphone en commun, mais une coque — déjà sans partage de paiement dans la catégorie de contrôle, ce qui pollue le groupe de contrôle.

Solution 3 : Regression Discontinuity Design (RDD) strictement selon le seuil de 50 000 ₽. Avantages : Utilise un seuil exogène pour la quasi-expérience, évalue l'effet local (LATE) pour les commandes à proximité du seuil. Inconvénients : Ne se généralise pas à toute la gamme de prix, ignore les commandes à 80 000 ₽ (là, l'effet peut différer). De plus, la caractéristique floue — les utilisateurs peuvent manipuler le prix (ajouter un accessoire), pour répondre aux conditions.

Solution choisie et justification : Approche hybride mise en œuvre : Fuzzy RDD pour les commandes dans la fourchette de 45 000 à 55 000 ₽ (identification nette au seuil) + DiD pour la tendance globale avec l'utilisation de la Synthetic Control Method (SCM) — création d'un contrôle artificiel pondéré à partir d'autres catégories, répétant la dynamique des smartphones avant l'implémentation. Pour les effets sociaux, une classification par device ID (identification des appareils utilisés par le groupe de personnes) est appliquée comme proxy pour les liens sociaux.

Résultat final : L'effet incrémental véritable était de +8,4 % au ticket moyen (au lieu des +25 % observés), tandis que la conversion dans le segment des 18-25 ans a augmenté de 12 %, mais la fréquence des achats a diminué de 5 % au trimestre suivant (effet de « report » des achats jusqu'à la constitution d'un groupe). La fonction a été déployée uniquement dans les catégories avec un ticket de 40 000 à 70 000 ₽, où l'effet est statistiquement significatif.

Ce que les candidats oublient souvent

1. Problème d'interférence (pollution) à travers les graphes sociaux : un utilisateur du groupe de contrôle peut être invité par un ami du groupe de test pour un achat conjoint.

Réponse : Dans un A/B-test classique, l'hypothèse Stable Unit Treatment Value Assumption (SUTVA) est supposée — indépendance des unités. Dans le cas du split payment, cela est violé, car le traitement (présence du bouton) d'un utilisateur influence le comportement d'un autre (invitation). La solution correcte est la randomisation en cluster (cluster randomization) au niveau des composants sociaux (graphes d'amitié), ou l'analyse des effets de réseau via exposure mapping, où l'exposition est définie comme la part d'amis ayant accès à la fonction. Alternativement, l'utilisation de bipartite graph clustering pour la séparation du graphe en clusters isolés avant l'expérience.

2. Différence entre les effets ITT (Intent-to-Treat) et TOT (Treatment-on-the-Treated) dans des conditions de faible pénétration de la fonction.

Réponse : De nombreux analystes évaluent à tort l'effet pour tous ceux qui ont vu le bouton (ITT) comme l'effet pour ceux qui l'ont utilisé (TOT). Si seulement 10 % des personnes ayant vu le bouton cliquent sur « Partager », alors l'ITT sous-estime l'effet véritable de 10 fois. Pour évaluer le TOT, une approche IV est nécessaire, où l'instrument $Z$ — le fait que le bouton est affiché (randomisé), et la variable endogène $D$ — le fait d'utilisation. L'évaluation par 2SLS donnera l'effet de traitement moyen local (LATE) pour les conformistes — ceux qui utiliseraient la fonction seulement si elle était disponible. Cela est critique pour le cas d'affaires : l'effet pour les « enclin à partager » est de 3 à 4 fois supérieur à l'effet moyen.

3. Cannibalisation à long terme et biais de prévision : le partage de paiement peut ne pas créer une nouvelle demande, mais seulement redistribuer les futurs achats individuels vers une collective actuelle.

Réponse : Les candidats se concentrent souvent uniquement sur les métriques de transaction immédiate. Une analyse de cohorte avec un horizon de 90 jours ou plus est nécessaire, comparant la fréquence des achats (purchase frequency) des utilisateurs ayant utilisé le partage de paiement, contre un contrôle apparié. Cela nécessite la construction de propensity score matching (PSM) basé sur les caractéristiques pré-traitement (historique des tickets, saisonnalité). Il est également important de vérifier le compositional shift — le assortiment s'est-il déplacé vers des produits à forte marge mais à faible répétition d'achat (par exemple, des consoles plutôt que des jeux), ce qui crée l'illusion d'une augmentation du ticket avec une diminution du LTV.