歴史的背景
フィンテック製品において、本人確認（KYC）は規制上の要件であり、ユーザー体験において重要な摩擦を生む。従来の評価手法はランダム化コントロールを必要とし、大規模導入の場合は法的および倫理的理由から不可能である。歴史的に、アナリストは自己選択の内生性や市場の外部ショックを考慮しない単純なコホートレポートに依存してきた。
問題の設定
KYCの実施による純粋な効果を、ユーザーの自然減少、季節的な活動の変動、および初日での確認を行うユーザーと手続きを遅らせるユーザーとの基礎特性の違いから隔離する必要がある。この問題は、遅れて導入したユーザーが動機や金融行動において体系的に異なる可能性があるため、サバイバルバイアス（survivorship bias）を引き起こすことにより複雑化する。
詳細な解決策
Difference-in-Differences (DiD) と Propensity Score Matching (PSM) の組み合わせを適用し、遅延してKYCを受けるユーザーのコントロールグループを構築する。Synthetic Control Method をロバストネスチェックとして利用し、未到達のセグメント（例えば、規制要件が遅れる地域のユーザー）からの重み付けされた組み合わせを作成する。季節性を考慮するために、時間固定効果（month-of-year fixed effects）を含め、Event Study Designを用いて並行トレンドの仮定を検証する。
会社は3月に18歳以上の全ユーザーに対して必須の二要素確認を導入し、税シーズンと重なった。ビジネスはアクティビティの減少を観察したが、KYCの影響を季節的な低下や競合によるプッシュ通知の大量送信から切り離すことはできなかった。アナリストは、導入後60日の30日間の保持とARPUの純粋な影響を評価する必要があった。
オプション1: 導入前後のメトリックの単純比較（Pre-Post Analysis）
アナリストはKYC前の1か月の平均保持を計算し、導入後の指標と比較する。このアプローチの利点は、複雑なモデルを必要とせず、最も簡単で迅速な回答を得られることにある。しかし、欠点は季節性（3月と4月）、外部競合活動、自社の成長または減少傾向を無視することにあり、評価の偏りを最大40%引き起こす可能性がある。
オプション2: 若年層（16-17歳）をコントロールに使用した単純なDiD
チームは、ターゲットグループ（18歳以上）の変化をKYCの影響を受けないグループの変化と比較することを提案する。この利点は、市場の全体的なトレンドや季節性を考慮することである。一方、欠点は重要であり、ティーンエイジャーと成人は基本的に異なる金融行動を持ち、並行トレンドの仮定を侵害するうえに、異なるコホートは異なるライフサイクル効果にさらされる。
オプション3: 時間遅延のある合成コントロール
KYCがまだ導入されていないパイロット地域のユーザーからの重み付けされた組み合わせとして人工的なコントロールグループを作成する。この方法の利点は、1つのコントロールグループへの依存を最小化し、長期的な歴史を通じて自動的に季節的パターンを考慮できることである。欠点は、データの量に対する要求が高いこと、重みの解釈が難しいこと、歴史的期間における外れ値への感受性である。
選択された解決策とその根拠
ハイブリッドアプローチが選択された：PSM-DiDを使用し、技術的な理由でKYCを2-3週間延期したユーザーをコントロールグループとして使用し、さらにSynthetic Controlでの検証を行う。この解決策により、PSMを通じて観察される特性（年齢、デバイス、過去の活動）をバランスさせ、DiDが時間の効果を捉えることができた。合成コントロールは、結果が特定のコントロールグループの選択に敏感でないことを確認した。
最終結果
分析により、KYCは初週の7日間保持率を18%低下させたが、詐欺トランザクションを除外することにより、平均チケットが22%増加した。90日間のLTVに対する純効果は中立的であった（-2%、統計的に有意ではない）。これらのデータに基づき、プロダクトチームは本人確認プロセスを3つのマイクロステップに分割し、詐欺防止の効果を失うことなく摩擦を35%削減した。
観察ウィンドウが制限され、コホートが非同期でKYCを受ける場合、KYCの長期的効果を分析する際に右センサーリング（right censoring）のデータをどのように適切に処理するか？
候補者はしばしば、KYCを後で受けたユーザーは観察ウィンドウ内での行動を示す時間が少ないため、バイアスが生じることを無視する。生存分析（Survival Analysis）の手法を適用する必要があり、例えばCox比例ハザードモデルやKaplan-Meier推定量を使用して、検閲された観察を考慮する。代替として、LTVのような指標にはTobit回帰やセンサデータのモデルを使用することができる。また、DiDには適切な「クリーン」コホート（clean controls）を持つstaggered adoption designを適用することも重要であり、標準の二期間DiDは段階的導入によってバイアスのある評価を生成する。
標準的な傾向スコアマッチング（PSM）手法がKYCの強制的な導入においてバイアスのある評価を提供する理由と、時間の動的を考慮した修正が必要な理由は？
標準的なPSMは時間への依存関係と、ユーザーの動機や期待される取引量などの隠れた交絡要因を無視する。KYCの文脈では、時間依存的傾向スコアマッチングを使用することが重要であり、各期間のスコアが個別に計算されるか、**逆確率治療重み付け（IPTW）の時間変動共変量を利用する必要がある。また、観察可能なデータを超えた外挿を避けるため、一般的なサポート条件（overlap condition）を確認し、サンプルサイズが小さい場合の頑健性を高めるためにCoarsened Exact Matching (CEM)**を使用する必要がある。
KYCを通過する真の効果を期待効果（anticipation effect）から区別し、並行トレンドの仮定を検証するには？
効果を区別するためには、事象分析設計（Event Study Design）を適用し、事象の前後の相対時間（relative time）に基づくダミー変数を使用する必要がある。リード変数（KYC前の期間）に係数が統計的に有意な場合、それは期待効果または並行トレンドの違反を示唆する。ロバスト性を確認するためには、より早い期間に導入日をシフトさせたプラセボテストや、変化しないはずの結果変数に対する**偽テスト（Falsification tests）**を使用するべきである。トレンドの違反がある場合、**Synthetic Difference-in-Differences (SDiD)**を適用し、レバレッジを通じてトレンドの不一致を修正する。