歴史的に、マーケティングキャンペーンは平均処置効果（ATE）によって評価されてきましたが、Causal MLの発展は、個別治療効果（ITE）を予測するアップリフトモデルを生み出しました。ここでの古典的A/Bテストは逆説的です：モデルの学習にはすべてのセグメントにおけるtreatedとcontrolのデータが必要ですが、モデルを評価するためには適用する必要があり、そうするとコントロールグループが壊れてしまいます。これは探索と活用のジレンマ（exploration-exploitation）を生み出します。
ユーザーがテストグループの行動がネットワーク効果や共通リソース（例えば、プロモコードの枯渇）を介してコントロールに影響を与える場合、クロス汚染（contamination）の問題が複雑化します。モデルを同時に学習し、均等分布またはキャンペーンがない場合に対するインクリメンタル効果を隔離する方法が必要です。
解決策はTwo-Stageアプローチに基づいています。第一段階は、ランダマイズ（トラフィックの20-30%）を使ったexplorationで、バイアスのないデータを収集し、モデルを学習します（X-learnerまたはR-learnerを使用）し、CATE（条件付き平均処置効果）を評価します。第二段階は、Thompson SamplingまたはContextual Banditsを介してトラフィックをモデルに徐々に移行させるexploitationで、これによりレグレット（regret）を最小限に抑えます。効果を隔離するために、地理的クラスタによるランダマイゼーション（Cluster-based Randomization）または時間的ランダマイゼーション（Switchbackテスト）を使用し、後に**Synthetic Control Method (SCM)を介して評価します。品質メトリックは、Qini係数またはArea Under the Uplift Curve (AUUC)で、選択バイアスを除去するためにInverse Propensity Weighting (IPW)**で補正します。
問題は、パーソナライズされたプロモコードキャンペーンの開始時にマーケットプレイスで発生しました。プロダクトマネージャーは、アップリフトモデルを使用して、"persuadables"（プロモコードでのみ購入する人）に割引を送信し、"sure things"や"lost causes"を回避したいと考えていました。モデルの教育にはすべてのセグメントでプロモコードを受け取らなかった人々のデータが必要でしたが、プロモコードなしで50%のオーディエンスを保持することは収益を致命的に低下させました。
第一の選択肢は、全体の10%のユーザーを完全に制御したHold-out Randomizationです。このアプローチの利点：ATEの純粋な評価と対比を用いたモデルの正確な学習の可能性。欠点：相当な機会費用、大きな倫理的問題（透明な基準なしに価格による差別）とコントロールグループのサイズが小さいためにモデルの収束が遅い。
第二の選択肢は、トラフィックのシェアを徐々に増加させるThompson Samplingです。ここでの"バンディットの手"はターゲティング策略（アップリフトモデル対ランダム）です。利点：探索と活用の最適な比率、季節性への適応、経済的損失の最小化。欠点：初期段階での解釈の複雑さ、文脈の選定が不運な場合における局所最適解に陥るリスク、および統計的有意性のための大規模トラフィックの必要性。
第三の選択肢はGeo-based Synthetic Controlです。ランダマイゼーションは地域ごとに行われ、テスト地域ではアップリフトモデルが適用され、コントロール地域では古いシステムが使用されました。評価にはSCMを使用し、テストする前のコントロール地域による加重組み合わせを生成します。利点：個々のランダマイゼーションから効果を隔離し、集約されたデータで作業し、都市間のクロス汚染がない。欠点：時間に対する地域の安定性、少数の地理的単位での外れ値への感受性、そして多くの場合季節性の高い期間に違反する平行トレンドの仮定。
選択したのは、オフラインバリデーションのためのGeo-cluster Randomizationと、テストクラスター内のオンライン最適化のためのThompson Samplingの組み合わせです。根拠：地理的ランダマイゼーションがクロス汚染を排除した（異なる都市のユーザーはあまり相互作用しない）、さらにSynthetic Controlにより50/50スプリットを避けることができました。テスト地域内のThompson Samplingは、地域の嗜好にモデルを迅速に適応させることができました。
結果：アップリフトモデルがインクリメンタルコンバージョンに+12%の真の効果を隔離でき、プロモコードのコストを35%削減できました。Synthetic Controlは、モデルがなかった場合、テスト地域のトレンドは合成コントロールのダイナミクスと94%（RMSPE）の精度で一致することを示し、評価の妥当性が確認されました。
**プロモコードを受け取った人と受け取っていない人のコンバージョンを単純に比較してはいけない理由（観察データを用い、Propensity Score Matchingを使用しても）**は何ですか？
回答：自己選択バイアスと未観察の交絡因子です。高いアップリフトスコアを持つユーザーは、観察されない特性（例：最近の給与の受け取りまたは特定のアイテムの検索）によって体系的に異なる場合があります。**Propensity Score Matching (PSM)**は観察される共変量のみを補正しますが、プロモコードの受け取りやコンバージョンに影響を与える隠れた変数が存在する場合、評価はバイアスされます。例えば、多くのセッションを持つアクティブなユーザーは「persuadables」と誤って分類されるかもしれませんが、彼らは割引なしでも購入します。新しい専門家にとって重要なのは、予測されたアップリフトと実際のコンバージョン間の相関は因果効果に等しくないということです—隔離にはランダマイゼーションや計量経済学的手法（IV）が必要です。
時間的依存性（time-varying confounders）が長期学習期間中のアップリフトモデルの評価にどのように影響を与え、どのように対処するか？
回答：長期的な学習において、テンポラル交絡が発生します：ユーザーの行動が変化（季節性、製品のアップデート）し、explorationフェーズのデータがexploitationの時点で古くなります。古典的なアップリフトモデルは定常性（stationarity）を前提としており、これは稀です。解決策は、古いデータのためのadaptive experimentationとdecaying weightsの使用、またはオンライン学習アルゴリズム（例：Bayesian Updating）です。また、モデルの特徴やパフォーマンスのconcept driftをモニタリングするためにPopulation Stability Index (PSI)が必要です。新しいアナリストはしばしば四半期データでモデルを学習し、半年後に適用する際に、オーディエンスの行動の偏り（例えば、競合他社の出現による）を確認せず、これが実行後のnegative upliftにつながることがあります。
AUUC（Area Under Uplift Curve）のメトリックが2つの異なるアップリフトモデルを比較する際に誤解を招く可能性があり、どの代替策を使用すべきか？
回答：AUUCは、人口における予測されたアップリフトの分布に依存し、尺度不変ではありません。あるモデルがすべての人に対して控えめに小さなアップリフトを予測し、別のモデルが高い分散を伴って攻撃的に予測すると、それらの曲線は交差し、AUUCが不明確な結果を示す可能性があります。さらに、AUUCはビジネス制約（プロモコードの予算）を無視します。代替策は、固定予算のもとでのcost-sensitive Qini coefficientまたはExpected Responseです。新しい専門家にとって重要なのは、AUUCで優れたモデルが必ずしも優れたビジネスメトリックではないということです。Policy Evaluationを用いて戦略をシミュレートし、ユーザーを予測されたアップリフトに基づいてランク付けし、トップK%（予算に従って）を取り、実際の増加と反事実的シナリオをDoubly Robust Estimationまたは**Inverse Probability Weighting (IPW)**を介して比較する必要があります。