eコマースの進化は、2008年にAmazon Subscribe & Saveが導入されたことで、衝動買いから計画的消費へのシフトが始まりました。小売業者は、繰り返しの注文における認知的負荷の軽減による保持の方が、攻撃的な割引よりも効果的であることを認識しました。2015年には、ミルクやおむつの購入間隔を分析する機械学習による補充予測を備えたスマートリストが登場しました。しかし、初期の効果評価は根本的な問題に直面していました。リストを作成するユーザーは元々、計画的な習慣と忠誠心が高く、'冷たい'オーディエンスとの直接比較は因果関係の観点から正確ではありませんでした。
主な難しさは自己選択のエンドジェニティにあります。リストの作成は偶然の影響ではなく、ユーザーが支出を最適化するための意図的な行動の結果です。これにより、'治療'（リストの存在）は観察されていない特性（整理整頓、家族のサイズ、消費の規則性）と相関する選択偏りが生じます。さらに、時間のダイナミクスも介入します：腐敗しやすい商品のリストによる効果（週間補充）は、季節商品（クリスマス装飾）の効果とは異なり、ML推奨は自発的なカートの追加を食い合い、総売上の分析を歪める可能性があります。
最適なアプローチは、Difference-in-Differences（DiD）とPropensity Score Matching（PSM）およびFixed Effectsの組み合わせによる季節性の制御です。最初のステップでは、Causal Forestを使用して商品カテゴリーごとの効果の異質性を評価し、リストが実際に頻度を増加させるセグメントを特定します。因果関係を孤立させるために、リスト機能が利用可能になる以前の注文数の閾値によるRegression Discontinuity Design（RDD）を適用し、準実験的な条件を作ります（例：3回目の注文後にリスト機能利用可能）。地域ごとの段階的な導入の場合は、テスト地域の動態を模倣するために、制御地域の重み付けされた組み合わせを構築するSynthetic Control Methodを使用します。カニバリゼーションを考慮するために、リストユーザーのメトリクスだけでなく、リスト経由で計画的な注文に流れてくる自発的なセッションの割合（Diversion Ratio）を分析します。
コンテキスト: ハイパーマーケット「エダバンザイ」が、購入履歴と有効期限のAI分析に基づく自動補充リストである「スマート冷蔵庫」機能を開始しました。目標は、家庭用品と食品の再購入時の摩擦を減少させ、20％の注文頻度の向上を達成することでした。
解決策の選択肢 1: リストのあるユーザーとないユーザーの直接比較（Before-After）
分析チームは、最初の週にリストを作成した10,000人のユーザーの平均注文額と注文頻度を、リストのないランダムユーザーの対照グループと比較することを提案しました。このアプローチの利点は、実装のシンプルさと結果の迅速な取得です。欠点は、選択バイアスが致命的であること: リスト作成者は、毎週注文する子供のいる家族であり、対照グループには単発注文のランダムな訪問者が含まれていました。観察された35％の増加は、機能の効果ではなく、自己選択のアーティファクトでした。
解決策の選択肢 2: ボタンの可視性を持つ強制的A/Bテスト
製品チームは、50％のユーザーに「リストを作成」ボタンを明るい緑色で表示し、残りの50％には灰色でメニューに隠すことで、浸透率に差を生み出すことを提案しました。利点は、機能の可用性の純粋な効果を評価できることです。欠点は、倫理的およびUXリスクがあること: 忠実なユーザーに有用な機能を隠すことは、彼らのエクスペリエンスを低下させ、リスト作成の低い転換率（テストでの2％ vs 15％）は、統計テストのパワーを不十分にし、習慣化による長期的な効果を評価できなくさせました。
解決策の選択肢 3: 活動の閾値による回帰不連続設計（選ばれた解決策）
アナリストは、60日間で3回の注文の閾値を使用した回帰不連続性の手法を選択しました。これにより、この閾値に到達したユーザーは自動的にML推奨付きの「スマート冷蔵庫」にアクセスできるようになり、2回の注文のユーザーはアクセスできなくなります。これにより、閾値近くでの局所ランダム化的条件が作成されます。利点は、カットオフの周辺における自己選択のバイアスを最小限に抑えることです（2回および3回の注文を持つユーザーは、観察できる特性において統計的に区別できません）。欠点は、結果の一般化可能性が「境界ユーザー」に制限され、全体のデータベースには適用されないこと。そして、閾値周辺での共変量の分布の連続性を検証する必要があります。
最終的な結果: 分析により、注文頻度の真の増加は12％（見かけ上の35％に対して）であり、一般家庭用化学製品および紙製品のカテゴリーでのみ平均注文額は8％増加しました。腐敗しやすい商品の効果は、有効期限の物理的制約のためにも統計的に有意ではありませんでした。発見されたのは、収益の30％の増加がリストによるカニバリゼーションであり、自発的な購入が計画的なものに移行した結果でした。このデータに基づき、会社はMLモデルを調整し、推奨から衝動的なカテゴリー（スナック、ポテトチップス）を除外しました。これにより全体の収益の成長が維持され、ユーザーの満足度が向上しました。なぜなら「スマート冷蔵庫」は有害な習慣を「提案」しなくなったからです。
なぜユーザーのメトリクスをただ比較することができないのか、通常のt-testや線形回帰で?
答えは、エンドジェニティおよび自己選択の偏りに関する根本的な問題にあります。構造化されたリストの作成に時間をかけるユーザーは、観察されていない特性において、ランダムな訪問者と系統的に異なります。彼らは計画的消費が高く、家族のサイズが大きく、生活の定時性が高いです。OLS回帰は、人口統計を制御しても、潜在的な変数としての「計画文化」を捉えることができません。これにより、機能の効果が過大評価され、ユーザーの元々の高い関与が高いメトリクスを説明します。正確な評価のためには、計量経済学的な手法（IV）や準実験的なデザイン（RDD, DiD）またはマッチングを伴う二重差分（PSM-DiD）のような手法を使用する必要があります。
計画型ユーザーの効果とリストの機能による真の効果をどのように区別するか、集中的および広範囲な影響のフィールド分析において?
intensive margin（すでに計画的に購入している人々の間での頻度の増加）とextensive margin（衝動的な買い手を計画的消費に引き込む）の区別が必要です。これには、効果をサブグループで評価できるCausal ForestまたはHeterogeneous Treatment Effects分析を使用します。重要な洞察は、作成されたリストの数に対するダミー変数を用いた順序ロジスティック回帰の使用です。もし機能が機能しているなら、0から1リストへの移行時にメトリクスが有意に増加します（extensive margin）が、5から6リストへの移行時はわずかな変化にとどまります（intensive margin、自己選択が支配的）。また、基礎リスクを制御することで、次の注文までの時間（time-to-event）をCox Proportional Hazards Modelを通じて分析することが重要で、自然な規則性と人工的なシステムからの提案とを区別できます。
リストによる計画された購入とカートへの自発的追加との間のカニバリゼーションをどのように正確に考慮するか、リストが単に一つのチャネルから別のチャネルに売上を移転させ、GMV全体の成長を伴わない場合?
候補者は、diversion ratioおよびカートの構成分析の必要性をしばしば無視します。triple-differenceモデル（DiDに追加の測定を含む）を構築し、リストを持つユーザーのカート構成の変化を導入前後で、対照群と比較します。また、財布のシェア（category share）-一般的に自発的に購入されるカテゴリーの割合（スナック、お菓子）を追跡することが重要です。もしリストを持つユーザーで衝動的カテゴリーの割合が減少し、対照群で増加しているなら、それがカニバル化のシグナルです。この定量的評価には、チャネル間の代替弾力性を評価するAlmost Ideal Demand System（AIDS）またはRotterdam Modelを使用します。これらの分析がないと、会社はリスト機能の開発に誤って投資し、ビジネスレベルでのインクリメンタル効果をゼロにしか再現できない可能性があります。