質問の背景
大規模な製品は常にコンテンツの新しい入り口を導入しています — パーソナライズされたブロック、AIレコメンデーション、または代替ナビゲーションパターンです。カニバリゼーションの分析がなければ、チームは新機能の成功を誤って帰属させる可能性がありますが、実際にはユーザーが画面間で移動しただけで、全体の収益は増加していません。
問題
新しいブロックがなければ発生しなかった新しい取引からのインクリメンタルな効果を、古いカテゴリから新しいブロックへの取引の移動であるカニバリゼーションから分離する必要があります。ユーザー単位での標準的なA/Bテストでは、この問題を解決できません。なぜなら、ユーザーは同時に両方のチャネルを見ることができ、その選択が内生性を生むからです。
解決策
Geo-experimentと合成対照法またはセッションごとのクラスタ化ランダム化を使用します。地理的地域をテストとコントロールにランダムに割り当て、プラットフォーム全体のGMVの変化を測定するだけでなく、ナビゲーションカテゴリごとに分解して測定します。Difference-in-Differences法を適用し、カテゴリをパネルデータとして使用して、カニバリゼーションによる収益を全体の増加から引きます。
問題の説明
eコマースのモバイルアプリで、新しい「あなたにおすすめ」ブロックがTensorFlowランキングモデルに基づいて導入されました。1か月後、カテゴリのクリックメトリクスは25%減少し、全体のGMVはわずか5%増加しました。プロダクトチームは、これはカニバリゼーションなのか、それともユーザーの道筋の真の最適化なのか論争しました。5%のうち、どれが真の増加で、どれが既存の需要の移動であるかを特定する必要がありました。
考慮した解決策
第一の解決策：全体のGMVの「前/後」簡単比較。このアプローチは、新しいブロックがなければ数値は変わらないと仮定しています。長所：最大のスピード、実験インフラが不要です。短所：季節性、マーケティングキャンペーン、オーガニック成長トレンドを無視し、15-20%の過大評価をもたらします。
第二の解決策：Splittingサービスを介して50/50のスプリットでuser_idレベルの古典的A/Bテスト。ここでは、コントロールグループにブロックを隠すと、GMVの差が真の効果を示すと仮定します。長所：実装の簡潔さ、習慣的な統計です。短所：テスト内のユーザーは依然として検索やカテゴリから商品を見つけることができ、テストグループ内で直接的なカニバリゼーションを生じさせ、ブロックを持たないコントロールグループはカテゴリの比較に使用できるデータが少なくなります。
第三の解決策：合成対照法（SCM）を用いた地理実験。GMVの類似した動態を持つ20都市を選び、10都市をテストに（ブロックが含まれる）、残りの10都市をコントロールに（ブロックが表示されない）ランダム化しました。コントロールに対しては、テスト都市の「前」期間に最大限近い都市の加重合計を構築しました。長所：集計市場レベルでの効果を測定でき、都市内のカテゴリ間のカニバリゼーションを自然に考慮します。短所：大規模なサンプル（都市）が必要で、地域キャンペーンに敏感であり、第二種の誤差の計算が難しいです。
選ばれた解決策とその理由
第三の選択肢—合成対照法を用いた地理実験に決定しました。A/Bテストを通じて1ユーザー内のカニバリゼーションを測定できないことが重要な要因でした。コントロールグループでもブロックがないため、「反事実的」なトランザクションの運命を見ることができません。地理レベルでは、カテゴリ全体の購入構造がどのように変化するかを確認できます。
結果
5%の全体のGMV増加のうち、3.2%がカニバリゼーション（カテゴリのロングテールからブロックのトップ3商品への移行）であり、真のインクリメンタルな効果はわずか1.8%でした。このデータに基づいて、ランキングアルゴリズムを調整し、人気商品のペナルティを追加した結果、純増加は4.1%に上昇しました。
質問1：新しいブロックのクリックとカテゴリのクリックの減少との相関をユーザーセッションレベルで単純に見ることはできないのはなぜですか？
答えは自己選択の内生性にあります。新しいブロックをクリックするユーザーは、カテゴリに進むユーザーとは異なる意図の構造（購入したい意図の高い vs. ブラウジング）を持っています。直接的な相関はシンプソンの逆転効果を引き起こす可能性があります：集計されたデータではブロックがトラフィックを「盗んだ」ように見える場合でも、高い意図を持つコホートレベルでは、彼らはただ早く購入するだろうことがわかります。Causal ForestやPropensity Score Matchingを使用して、ブロックの曝露「前」の同様の行動履歴を持つユーザーを比較する必要があります。
質問2：カニバリゼーション実験の最小有意効果（MDE）を、あるカテゴリでは負の効果があり、別のカテゴリでは正の効果がある場合、どのように計算しますか？
ここで候補者は、平均効果の標準的な式を適用して誤ります。カニバリゼーションのケースでは、カテゴリ間の分散が増加します。なぜなら、我々は失うカテゴリと勝つカテゴリの不均衡を扱っているからです。ランダムエフェクトカテゴリを持つ線形混合モデルを使用し、相対的リスク補償係数を持つカニバリゼーションされたカテゴリでのGMVの加重下降を引いた総GMVのためのパワーを計算する必要があります。
質問3：製品内のカニバリゼーションを実験的に測定することと、ソーシャルネットワーク内の干渉の問題を解決することとの根本的な違いは何ですか？
製品分析におけるカニバリゼーションは、ある主体（ユーザー）内の「需要の流出」の一形態であり、ユニット間の干渉としてモデル化されることは稀です。ソーシャルネットワーク（例えばFacebook）における干渉は、ソーシャルグラフを介したユーザー間のスピルオーバーです。カニバリゼーションに対処するために、時間または行動の種類に基づくクラスタリングを使用し、グラフランダム化ではありません。ここでのトリートメント割り当ては、新しいUIへの曝露であり、ユーザー間のコミュニケーションではないため、Ego-cluster randomizationのような手法は適用できません。その代わりに、ユーザーセグメントレベルのSwitchback experimentsを使用します。