コンテンツのパーソナライズは、2010年代中頃から、AmazonやNetflixがレコメンデーションシステムへの投資の経済的妥当性を証明して以来、現代のeコマースプラットフォームの不可欠な部分となっています。効果を評価するための古典的なアプローチは、制御された実験を実施することを前提としていますが、実際のインフラストラクチャでは、パフォーマンスの低下なしに標準的なA/Bテストを不可能にする技術的制約が頻繁に見られます。
アナリストの課題は、対照グループなしにMLレコメンデーションシステムの導入が主要な製品メトリクスに与える真の効果を特定することです。この際、3つの歪み因子を考慮する必要があります：冷たいユーザー向けのモデル学習のタイムラグ（cold start problem）、インターフェースの変更による一時的な活動の急増（novelty effect）、新規ユーザーと再来ユーザーのコホート間の系統的な違いがselection biasを生むことです。
最適なアプローチは、差の差（Difference-in-Differences, DiD）法と合成コントロール分析（Synthetic Control Method）の組み合わせです。対照グループとしては、変更導入後に登録された新規ユーザーのコホートが使用され、propensity scoringを通じて基本的な特徴の違いが調整されます。cold startを考慮するために、分析はユーザーの在籍期間ごとに層別化され、学習曲線アルゴリズムの別々のモデリングが行われます。新奇性の効果は、リリース後の最初の14日間のメトリクスの動態分析を通じて隔離され、安定した期間との比較が行われます。また、導入スピードの異なる地理的地域を自然実験として利用するトリプル差アプローチも適用されます。
大手ファッションマーケットプレイスでは、手動でトレンドを選定した静的ホームページを、協調フィルタリングに基づくMLモデルによって生成された動的なフィードに置き換える計画がありました。技術チームは、CloudflareでのEdge Cacheの設定により、ユーザー単位でのトラフィックの分割がシステムのパフォーマンスに重大な悪影響を与え、SLAの応答時間が損なわれるため不可能であると報告しました。リリースは全ユーザーに対してピークシーズン（11月）に一斉に行われる予定であり、ブラックフライデーや年末の混雑によって過去の行動パターンが歪むため、評価がさらに複雑になりました。
最初のアプローチは、季節性を過去の年のインデックスを通じて調整した単純なbefore-after分析を使用することでした。この方法は高い運用の簡単さを持ち、複雑なデータインフラを必要としませんでしたが、期間の間に基礎トレンドが不変であるという仮定に深刻に依存していました。eコマース市場が拡大する状況では、これはマクロ経済的要因や需要のインフレにより効果が40-60%過大評価される結果をもたらしました。
第2のオプションは、レコメンデーションが以前に導入され、安定して機能しているモバイルアプリのユーザー行動に基づいて合成コントロールを構築するものでした。この方法は、製品メトリクスの特性や季節的な変動を考慮することを可能にしましたが、ウェブとモバイルの間の平行トレンドに関する強い仮定が必要であり、デモグラフィックやユーザーシナリオの違いによりその仮定は満たされませんでした（ウェブは深い検索に使用され、アプリは急速な購入に使用されました）。
第3のアプローチは、kвазиэкспериментальная разностнаяモデル（DiD）を使用し、豊富な履歴を持つユーザーとcold startを経験している新規ユーザーの間でメトリクスの動態を比較するものでした。この方法は、時間とユーザータイプのインタラクションを変動源として利用し、レコメンデーションシステム自体の効果をモデル学習の効果から隔離することを可能にしました。主要な制約は、両グループに異なる方法で影響を与える体系的なショックがないという仮定を必要とすることでした。このため、介入前の期間におけるparallel trendsの慎重な検証が必要です。
ハイブリッドアプローチが選ばれ、DiDとコホートに基づく層別化、アルゴリズムのlearning curveに対する調整が組み合わされました。この解決策により、ユーザーセグメント間の個々の不均質性と市場レベルでの時間的トレンドの両方を制御することができました。重要な要素は、適応速度の自然な変動を利用する可能性でした。経験豊富なユーザーはすぐに関連するレコメンデーションを受け取るのに対し、新しいユーザーは信号を蓄積するために5-7セッションを必要としました。これにより、novelty effectの歪みなしでシステムの純粋な効果を評価するための「自然な対照」が生まれました。
分析の結果、パーソナライズの真の効果は、購入転換率に+8.3%、平均チェックに+12%とされましたが、これはユーザーの最初の訪問から21日目以降にのみ発生しました。最初の2週間は、新規ユーザーにおけるcold startモデルの影響で3%の転換率の逆説的な減少が見られましたが、常連客の活動の急増（+15%）によって相殺されました。データの時間構造を考慮しなかった場合、ビジネスは誤って変更をロールバックし、メトリクスが安定するのを待たずに、推定年収240百万ルーブルを失うことになる可能性がありました。
生産環境においてトレーニングデータとテストデータの明確な分割がない場合、モデルの学習期間をどのように正しく考慮しますか？
候補者はしばしば、MLモデルが生産環境で連続的なオンライン学習（online learning）の状態にあることを無視します。このため、ハイパーパラメータはリアルタイムのストリーミングデータに適応します。正しいアプローチは、レコメンデーションの質（NDCG、MAP）を中間変数メディエーターとして評価することで学習曲線をモデル化することです。最初にレコメンデーションの質に対する時間の効果を評価し、その後、質がビジネスメトリクスに与える効果を評価する二段階モデルを構築する必要があります。内因性を解決するために計量経済学的手法を用います。これがないと、アナリストはアルゴリズム改善の効果をユーザーに関するデータの蓄積の効果と混同し、評価の最適なホライズンについて不正確な結論を導く可能性があります。
パーソナライズされたkвазиэксперименткахにおいて、介入の前だけではなく後の平行トレンド（parallel trends）の仮定を確認することがなぜ重要ですか？
DiDにおけるparallel trends assumptionの標準的な検証は、介入前の期間に限られますが、パーソナライズされたシステムでは、逆説的に導入後のトレンドのダイバーシティのリスクがあります。たとえば、高価値のユーザーはパーソナライズの影響を受けて購入の成長を加速する可能性がありますが、離脱したユーザーは活動のリニアな減少を続けるかもしれません。候補者は、動的効果を持つイベントスタディ法（dynamic DiD）を使用し、ポスト期間のトレンドの偏差を視覚化し、ユーザーと時間の固定効果モデルを通じてheterogeneous treatment effectsの修正を適用する必要があります。
異なる基礎転換率とパーソナライズに対する感受性の異なるセグメントの結果を集約する場合、シンプソンの逆説を回避するにはどうすればよいですか？
一般的な誤りは、トラフィック構成のシフトを考慮せずに全オーディエンスに対して加重平均効果を計算することです。パーソナライズが新規ユーザーのシェアが上昇する期間に導入されると（基礎転換率は低く、レコメンデーションによる相対的な増加が高い）、集約効果は、各セグメントでの正の効果があっても、負の効果となることがあります。stratificationを適用し、その後標準化された平均治療効果（standardized mean treatment effect）を用いるか、propensity scoreモデルと結果モデルを組み合わせたdoubly robust estimationを使用して、仕様の誤りに対する堅牢性を確保する必要があります。