歴史的背景。 従来のエドテックプラットフォームは、長い間、すべてのユーザーに対して固定された難しさの静的学習経路を使用していました。機械学習の発展とリアルタイムデータ処理の可能性により、学生の個々の認知能力に適応する動的なシステムが登場しました。しかし、こうしたシステムの効果を評価する際には根本的な方法論上の問題が発生します。ユーザー体験を損なうことなく、同じユーザーに適応型と静的コースの両方を同時に示すことができないからです。
問題の設定。 伝統的なA/Bテストはここでは適用できません。なぜなら、適応アルゴリズムはリアルタイムのインタラクションデータに基づいて機能し、静的グループにユーザーを固定することで製品のロジックが損なわれ、最適でない教育体験を提供するという倫理的リスクが生じるからです。また、強い内生性も存在します。異なる初期知識レベルのユーザーは、適応に対して非対称に反応します（あるユーザーは簡単に、別のユーザーは難しくする必要があるため）、これにより異質な影響を評価する方法が求められます。
詳細な解決策。 最適なアプローチは、適応アルゴリズムの導入閾値に基づく回帰不連続デザイン（RDD）と、導入時期の異なるユーザーコホートに対する差分の差分（DiD）の組み合わせです。まず、もしアルゴリズムが一定の問題の誤答率（例えば、>30%の連続誤答）に達したときに発動する場合、適応前後のユーザーを比較してシャープRDDを使用できます。次に、維持率への長期的な効果を評価するために、適応システムにアクセスできない過去のコホートのユーザーを使用して、合成対照法を採用して、現在のテストグループの行動を模倣します。さらに、初期スキルセグメントにおける効果の異質性を定量化するために因果フォレストやメタラーナーを使用します。データはSQLのウィンドウ関数を使用してセッションを追跡し、統計分析はPythonのcausalml、pymc（ベイズ的不確実性評価）およびsklearn（プロキシ変数の構築）を用いて行います。
プログラミングオンラインスクール「CodeStart」では、適応トラッキングアルゴリズムが導入され、前のタスクの解決速度やエラーパターンに基づいて、Pythonのタスクを自動的に簡素化または複雑化していました。プロダクトマネージャーは、これが現在の修了率45%を目標60%に向上させるかどうかを評価することを要求しましたが、分析チームはコントロールグループのアルゴリズムをオフにすると教育の2日目で大量の離脱が発生し、比較が不適切になることに直面しました。
評価の問題に対する3つの解決策を検討しました。
オプション1：完全にアルゴリズムを無効化したA/Bテストを50%のトラフィックで実施。 このアプローチの利点は、結果の解釈が簡単で、グループ間のメトリックを直接比較できる点です。欠点は、コントロールグループのユーザーが過度に難しいか、逆にあまりにも簡単な課題によって失望し、大量の離脱が発生するリスクが高くなるため、生存バイアスや質の高い教育への平等なアクセスの倫理基準を損なう可能性があります。
オプション2：コントロールグループなしで導入前の歴史データの分析（pre-post analysis）。 利点は、受講者を改善から排除する必要がなく、迅速な結果が得られる点です。欠点は、季節性や広告チャネルのトラフィック質の変動、マクロ経済的イベントなどの外部要因からアルゴリズム効果を分離できないため、評価結果が不確実で客観性に欠けることです。
オプション3：適応開始の閾値に基づく回帰不連続デザインの使用と計量経済学的手法。 このオプションが選ばれた理由は、アルゴリズムがモジュールにおける誤り率25%を超えると自動で発動されるため、自然な実験が作成されたからです。24%と26%の誤りを持つユーザーを比較しました。これらは観察された特性においてほぼ同一なグループであり、適応の状態が異なります。長期評価のため、過去のコホートから似た初期スキルの分布を持つ合成コントロールを構築し、傾向スコアマッチングを活用しました。
最終的な結果は、適応アルゴリズムが中程度の初期スキルを持つユーザーに対して、コースの修了率を18ポイント上昇させ（45%から53%）、一方でシステムが不適切に教材を簡素化したことから上級学生に対しては逆効果をもたらすことが明らかになりました（-5%）。このデータに基づいて、上級ユーザーへの難易度の修正因子を導入し、総合コンバージョン率を58%に引き上げました。
アルゴリズムが常に学習（オンライン学習）しており、その予測が時間とともに変化し、静的評価が無効になる場合、どのように対処するべきか？
回答。トンプソンサンプリングやコンテキストバンディットを導入段階の実験設計の一部として使用する必要があります。固定された影響の代わりに、効果の確率分布がモデル化され、新しい観測ごとに更新されます。評価には、歴史データ収集過程でアルゴリズムのポリシーが変化したことによるバイアスを補正するために、オフポリシー評価手法（逆傾向重み付け（IPW）や二重にロバストな推定量）が使用されます。決定ごとにモデルのバージョンとパラメータをClickHouseなどのストレージにログとして記録し、アルゴリズムのバージョンに基づいて分析を層化することが重要です。
アルゴリズムがオンとオフの2つのグループ間の平均を比較する際に、標準的なt検定がバイアスのかかった評価を提供する理由と、その修正方法は？
回答。問題は、ネットワーク効果と、SUTVA（安定単位治療価値仮定）の仮定が破られていることにあります。ユーザーがフォーラム、グループプロジェクト、チャットを通じて相互作用する場合、コントロールグループは社会的学習と経験の共有を通じて影響を「感染」します。これを修正するためには、クラスランダム化（個々のユーザーではなくクラス/ストリームのレベルでのランダム化）や曝露マッピングを使用して、コースの適応バージョンに接触する確率をモデル化します。代替手段として、**2段階最小二乗法（2SLS）**を使用し、適応開始の閾値のような計量変数を用いて、局所的平均効果（LATE）を隔離します。
適応の真の効果を新規性効果（novelty effect）から区別するには、ユーザーがインターフェイスの変更によってより積極的にインタラクションを行っているだけでなく、課題の選択の質が向上したことによるものとするにはどうすればよいか？
回答。様々な導入日時でのコホート分析を行い、時間を通じた効果の時間的ダイナミクスを追跡する必要があります。もしエンゲージメントメトリックが使用開始から2〜3週間後にベースラインに戻る場合、それはクラシックな新規性効果です。分離には、分割回帰（中断時系列）や、アルゴリズムが「適応している」と見せかけて実際にはランダムまたは固定されたコンテンツを示す保持グループとの比較が用いられます（プラセボテスト）。また、プラットフォームでの時間といったプロキシメトリックだけでなく、最終試験や実践プロジェクトの結果のようなハードメトリックも重要で、これらは短期的な動機の変動にそれほど影響されず、実際の教材習得を反映しています。