ランダム化なしで効果を測定するには、まずPropensity Score Matching（PSM）を通じて合成コントロールを構築し、その後にDifference-in-Differences（DiD）法を適用する必要があります。最初に、過去のデータ（活動、人口統計、保持）に基づいてバッジを取得する確率（ロジスティック回帰）を評価し、「治療群」を類似の「コントロール群」と照合します。その後、これらのグループ間でのターゲット指標（関与の深さ）の変動を比較し、バッジの効果を成長の一般的なトレンドから分離します。
並行トレンドの仮定を確認することが重要です。event-study分析を通じて：遅延とリードを含む回帰を構築し、導入前の係数が有意でないことを確認します。感度を高めるために、CUPEDを使用してPythonまたはRで実験前の共変量による分散を減少させます。最終的なATT（Average Treatment Effect on the Treated）の評価は、ゲーム化の純粋な効果のバイアスのない量を提供します。
「EduTech」は、ユーザーがコースに対してレビューを投稿するとデジタルバッジを獲得するインセンティブプログラムを開始しました。レガシー・バックエンドの技術的制約により、観客をランダムに分割することができなかったため、アナリストは強い自己選択が存在する中で「関与の深さ」指標（週あたりの平均表示レッスン数）への影響を測定することに直面しました；最もアクティブな学生がレビューを残すため、明らかなバイアスが生じました。
問題解決には4つのアプローチが考えられました。
導入後の平均の単純比較：バッジを受け取ったユーザーと受け取らなかったユーザーの間。主な利点は、データの複雑な準備なしにSQLでの計算の速さです。重要な欠点は、自己選択を完全に無視していることです：アクティブなユーザーはすでに成長が早く（成熟効果）、これが効果の過大評価と無効な結論を引き起こします。
バッジを持つグループの「前後」分析：群間の相違を排除し、同じユーザーを対象とした対になったt検定を使用するという利点があります。しかし、バッジの効果を全体的な活動の季節的成長（学年度の始まり）や同時に変化するレコメンデーションアルゴリズムから分離することはできず、結論は信頼できません。
共変量を制御するOLS回帰：過去の活動に関する変数を追加することにより、これをstatsmodelsで迅速に実現し、理解しやすい係数を提供します。しかし、この方法は依存関係の厳密な線形性を必要とし、外れ値に敏感であり、時間の経過に伴うユーザーの個別的な発展トレンドを考慮しないため、評価が歪む可能性があります。
PSM + Difference-in-Differences（選択された解決策）：BigQueryでPropensity Score Matchingを実施し、導入前の予測因子（ログイン頻度、受講したコース）を使用したロジスティック回帰を行いました。次に、ユーザーと週の固定効果を用いたDiDを適用しました。利点は、観察可能な特性による選別バイアスの最小化と、平行性を維持したままの時間的トレンドの除去です。欠点は、高い計算の複雑さと平行トレンドの仮定の重要性があり、event-studyグラフを通じた検証が必要です。
この解決策は、観察データのみの範囲で最もバイアスのない評価を提供できる能力により選ばれました。分析の結果、バッジは関与を12%向上させるが、使用歴3か月未満のユーザーに限られることがわかりました。「ベテラン」にとっては効果は統計的に有意ではなくなり、製品チームは付与ルールを見直し、オンボーディングに焦点を当てることができました。
DiDの平行トレンドの仮定が破られていないことを確認するには、実験がない場合はどうすればよいですか？
候補者はしばしばグラフの視覚的な比較にとどまり、公式のチェックを見逃します。event-study回帰を構築し、処理前後の各期間のダミー変数を含める必要があります。「前」の期間の係数が統計的に有意である場合（p値 < 0.05）、仮定は破られています。この場合、CUPEDを使用して事前トレンドを修正するか、Synthetic Control Methodを使用して介入前の処理グループのトレンドに最も近いトレンドを持つコントロールグループを構築することができます。
なぜPropensity Score Matchingは隠れた特性からの内生性の問題を解決しないのですか（観察不可能な選択）？
PSMは観察可能な共変量（年齢、活動）を調整するだけですが、隠れた動機（例えば、「学習への愛」）が存在し、それを定量化するのが難しい場合、バイアスは残ります。解決のためには、バッジの取得確率には相関があるが、関与に直接影響を与えない属性（例：最寄りのオフラインセンターまでの地理的距離）に関する道具変数（IV）が必要です。代替案は、バッジ取得のしきい値が厳しい場合（例：3つのレビューちょうど）にRegression Discontinuity Design（RDD）を使用することです。
ゲーム化におけるSUTVA（Stable Unit Treatment Value Assumption）の違反をどのように処理しますか？効果が社会的グラフを介して「感染」する場合はどうしますか？
友人がバッジを見るとうまくレビューを書き始める場合、標準的なDiDは直接効果と間接効果を混合してしまい、バイアスのある評価を提供します。解決策は、友達のグループ内でのクラスター標準エラーを使用するか、コントロールグループから「治療群」と関連するユーザーを排除する二段階抽出を行うことです。また、Pythonでのmediation analysis（causalmlやmediationライブラリ）を通じてスピローバー効果を明示的に評価し、全体の効果を直接（ユーザー自身に対する）および間接（友人に対する）に分割して、真の効果の過小評価を避けるためのアプローチをとることができます。