従来、プロダクトチームはオンボーディングの効果を学習を完了したユーザーのリテンションとそれをスキップしたユーザーのリテンションを比較することで評価していました。このアプローチは、チュートリアルの通過とリテンションとの間の観察された相関が学習の因果効果ではなく、高動機付けられたユーザーの選択を反映しているため、重大な解釈の誤りを引き起こしました。**因果推論（Causal Inference）の進展により、業界では治療の意図（Intention-to-treat, ITT）と治療された対象（Treatment-on-the-treated, TOT）**を区別し、古典的ランダム化が不可能な場合には自然実験を利用することが標準となりました。
主要な難しさは、自己選択の**内生性（endogeneity）です：オンボーディングを受けるという決定は、ユーザーの観察できない特性（動機、忍耐力）と相関しており、これらは同時に将来のリテンションにも影響を与えます。単純なグループ比較は生存バイアス（survivorship bias）**を引き起こし、効果の過大評価につながります。さらに、地域ごとの段階的なロールアウトは準実験を行う機会を提供しますが、地域は文化的要因や基本的指標が異なるため、**混乱変数（confounding variables）**を制御する必要があります。
地域の導入フラグを**計器変数（Instrumental Variable, IV）として用いた二段階最小二乗法（Two-Stage Least Squares, 2SLS）を適用する必要があります。第一段階では、機能が開始された地域に属することによってオンボーディングを受ける確率（コンプライアンス）をモデル化します。第二段階では、予測された値を使用してリテンションへの効果を評価します。地域の異質性を考慮するために、地域と時間に固定効果を持つ差分の差分法（Difference-in-Differences, DiD）を適用します。さらに、オンボーディングが最大の利益をもたらすセグメントを特定するために因果フォレスト（Causal Forest）を構築します。導入前の前の傾向（pre-trend）の平行性を制御し、計器の除外制約（exclusion restriction）**を確認することが重要です。
言語学習用のモバイルアプリチームは、無料コンテンツにアクセスする前に3分間の必須インタラクティブチュートリアルを導入しました。パイロットテストでは、オンボーディングを受けたユーザーは、チュートリアルの段階でアプリを閉じたユーザーよりも7日間のリテンションが35%高いことが示されました。ビジネスはすべてのユーザーに機能を拡張したいと考えましたが、アナリストは生存バイアスの可能性を疑いました。
オプション1：単純比較（naive approach）. 完了したオンボーディングのユーザーとスキップしたユーザー間のリテンションを比較します。長所：即時計算、明確な増加メトリクス。短所：選択の重大なバイアス（selection bias）；3分をかける意欲のあるユーザーはすでにより関与している；評価が3-4倍に過大評価されている；地域による摩擦への耐性の違いを考慮していない。
オプション2：強制オンボーディングのA/Bテスト. ユーザー単位のランダム化：グループAは必須チュートリアルを見、グループBはすぐにコンテンツを見ます。長所：クリーンなランダム化は選択を排除します。短所：グループAの非コンプライアンス（Non-compliance）（一部のユーザーがアプリを閉じて戻らない）により非対称的な離脱が生じ、ITT分析は保守的な評価を提供しますが、実際に学習を受けたユーザーへの効果の質問には答えません；ソーシャルネットワークにおける**負のスピルオーバー（negative spillover）**の可能性があります。
オプション3：時間に基づく回帰不連続デザイン（RDD）. 機能の地域内の正確な開始時刻をカットオフポイントとして使用します。長所：境界上のユーザーに対して高い内部妥当性；地域内の対照群を必要としません。短所：ローカル効果（LATE）はすべてのユーザーに一般化できず；カットオフ近辺でのデータ密度が高く必要；季節性や開始曜日は結果を歪める可能性があります。
選択した解決策：地域のロールアウトとダブリーロバスト推定（Doubly Robust Estimation）を用いたIVアプローチの組み合わせ。
オンボーディングが開始された地域は、チュートリアルを実際に受けたことのある人々にとっての道具として使用されました（関連条件は0.82の相関を通じて検証されました）。コンプライアー（オンボーディングを受け入れるユーザー）のみの影響を評価するために2SLSを適用しました。さらに、各処理地域の**合成コントロール（Synthetic Control）**を構築し、似たような前の傾向を持つ対照地域の加重組み合わせを使用しました。
最終的な結果：真の因果効果は生データの+35%ではなく7日間のリテンションに+8%でした。オンボーディングは低初期エンゲージメントのユーザーにのみ効果的であり（CATE = +15%）、パワーユーザーには摩擦を生み出すことが判明しました（CATE = -3%）。適応型システムが実装され、オンボーディングはセッションの最初の10秒間に基づいて予測されたエンゲージメントスコアが低いユーザーのみに表示されました。これにより、パワーユーザーを失うことなく、グローバルリテンションが+12%増加しました。
なぜ強制オンボーディングのA/Bテストがランダム化のもとでもバイアスのかかった評価を提供し、結果を正しく解釈する方法は？
答え：問題は**非コンプライアンス（non-compliance）と差別的離脱（differential attrition）です。義務的なオンボーディングを受けるためにテスト群にランダムに割り当てられたにもかかわらず、一部のユーザーは永遠に去ってしまいます（never-takers）。対照群にはそのような「罰」はありません。これにより非対称的な生存バイアスが生じます。正確に評価するためには、割り当て時のグループ間の違いとして治療の意図（Intent-to-Treat, ITT）効果を計算し、その後ワルド推定量（Wald estimator）を使用してコンプライアー平均因果効果（Complier Average Causal Effect, CACE）**を得る必要があります：CACE = ITT / （コンプライアーの割合）。コンプライアーの割合が十分であることを確認することが重要です（>20%）、そうでないと評価が不安定になります（弱い計器問題）。
新しいオンボーディングについて、対照地域のユーザーが知っている場合、実際の開始前に行動を変えることで負のスピルオーバー効果を診断し修正する方法は？
答え：これは**SUTVA（Stable Unit Treatment Value Assumption）の違反です。診断のために、ロールアウト前に対照地域でのインストールの異常な減少（chilling effect）を示すイベントスタディ（event study）グラフを分析します。スピルオーバーが確認された場合、社会的関係のない遠方の地域を対照とした空間的差分の差分法（spatial Difference-in-Differences）を適用するか、地域内のユーザーのランダムサブサンプルを処理する部分集団実験（partial population experiment）を使用します。代替的に、最近接地域との距離の相互作用を制御変数として用いた二方向固定効果（two-way fixed effects）**を適用します。
観察のホライズンを選択する際に短期的な摩擦と長期的な価値蓄積を区別することが重要な理由と、限られたデータにおける長期的効果を評価する方法は？
答え：オンボーディングは短期的な摩擦を生み出し、day-0のリテンションを機械的に低下させますが、製品の理解を深めることで長期的な価値を蓄積します。短いウィンドウ（1-3日）での評価は、低いLTVを持つユーザーの流出による否定的な影響を示す可能性があります。限定されたデータでの長期的な効果を評価するためには、**代理指標（Surrogate Index）を使用します：短期的な指標（最初のセッションの深さ、表示された機能の数）と長期的な結果（30日間のリテンション）を過去のデータから結びつけるモデルを構築します。次に、代理指標に対する効果を評価し、長期的な効果を近似します。代理指標の無混入性（unconfoundedness）**を感度分析で確認することが重要です。