eコマースにおける従来の価格設定手法は、送料無料の閾値変更を評価するために長い間、単純な相関分析や短期間のA/Bテストに依存してきました。しかし、因果推論の理論の進展により、全体のユーザーベースに対する配送ポリシーの急激な変更は、自己選択の内生性と時間的ダイナミクスの問題を引き起こすことが明らかになりました。現代の製品分析は、例えば、マクロ経済政策の評価のために開発された**Synthetic Control Method (SCM)やBayesian Structural Time Series (BSTS)**のような準実験的方法を適用することを要求しますが、これらは高いボラティリティを持つデジタル製品に成功裏に適応されています。
送料無料の閾値の引き上げは、局所平均処理効果（LATE）の特定に関する複雑な問題を引き起こします。購入意欲の高いユーザーは行動を変化させ（閾値まで購入を増やす）、一方で限界的なユーザーは購入を延期するか競合他社に流出します。古典的な事前・事後分析は、季節性、インフレの影響、競争キャンペーンのために偏った評価を提供します。さらに、ユーザーが時間を合わせて購入をまとめることにより、実際の需要の増加に関連しない平均注文額の人工的な急増を引き起こす**時間的代替効果（intertemporal substitution）**が観察され、応答の時間的構造のモデリングが必要です。
最適なアプローチは、集約されたユーザーコホートのレベルでのSynthetic Control Methodと、限界的な消費者に対するローカルエフェクトを評価するためのRegression Discontinuity Design (RDD)の組み合わせです。SCMでは、治療介入前のターゲットグループのトレンドを模倣する類似の歴史的ダイナミクスを持つ地理的地域またはセグメントの重み付き組み合わせが構築され、Abadie-Diamond-Hainmuellerの重み最適化アルゴリズムを使用します。RDDでは、閾値に近い狭い範囲の取引を分析し（Imbens-Kalyanaramanアルゴリズムによる最適バンド幅）、純粋なインセンティブ効果を隔離します。さらに、BSTSに基づくCausalImpactが動的な合成トレンドからの偏差を評価するために使用され、統計的有意性は歴史データに基づいて**permutation test (placebo tests)**を介して計算されます。
大手ファッションマーケットプレイスは、ロシア全土のオーディエンス向けに送料無料の閾値を1500₽から2500₽に引き上げる決定を下しました。プロダクトチームは、最初の2週間で平均注文額が22％増加したことを記録しましたが、CFOはこの効果の持続性に疑問を持ち、価値あるユーザーの流出と、将来の販売が商品の遅延購入を介して食い合うことを懸念しました。アナリストは、真の因果効果を季節的なセールのノイズや、同時に配送料キャンペーンを開始している競合の行動変化から分離する必要がありました。
最初の検討されたオプションは、変更前の30日間と変更後の30日間のメトリクスを単純に比較し、tテストを使用してアップリフトをパーセンテージで計算することでした。利点： 1日での迅速な実行と、統計学に深く関与せずにトップマネジメントにとっての理解しやすさ。欠点： 季節的上昇トレンドの完全無視（春季コレクションの開始）、外部ショック（競合の広告キャンペーン）へのコントロール不全、カートの蓄積による動的効果を評価できないことから、効果が40-60％過大評価されることになります。
2番目のオプションは、閾値の変更がない地域（例えば、物流上の制約がある遠隔地）を対照群として使用するGeographic Difference-in-Differencesです。利点： 自然な変動と固定効果を通じて価格感度の地域差を捉える能力。欠点： 都市間のユーザー移動による平行トレンドの仮定の重大な違反および首都と地域間の競争環境の重要な差異により、対照群が系統的に比較不可能になります。
3番目のオプションは、購入頻度と平均注文額に基づいて形成されたユーザーコホートレベルでのSynthetic Control Methodで、変更前の12か月間のデータに基づいて構築されます。利点： 季節性、曜日、トレンドを考慮した最適な重み付けのセット"ドナー"セグメントの作成や、前治療期間でのフィット品質の視覚的検証の可能性。欠点： 長いデータ履歴が必要（最低10-15期間）、構造的変化（regime switch）への感度、ビジネスに対する重みの解釈が難しいこと。
選択された解決策は、収益に対する全体的な効果を評価するためのSCMと、2300-2700₽の範囲での限界的ユーザーの効果を評価するための2次のローカル多項式を持つRDDの組み合わせでした。これにより、"ドッピング"（カートの増加）効果と"流出"（チャーン）効果を分離し、BSTSを介して季節性を正しく考慮することができ、CausalImpactに統合されました。
最終的な結果は、観察された平均注文額の22％の増加が約倍増していることを示しました：真の増分効果は11％で、6％が需要の時間的シフト（intertemporal substitution）にあり、5％が実際のカートサイズの増加に起因していました。この分析は、配送料に敏感なユーザーのセグメント（ユーザーベースの15％）を特定し、8％の増加の流出と12％の減少の注文頻度を示しました。これにより、低い平均注文額で高い返品頻度の歴史を持つセグメントに対して1990₽のハイブリッド閾値を導入し、保持への悪影響を和らげることができました。
ユーザーが戦略的にコンバージョンを延期する際、カートの蓄積（cart pooling）効果と購入の時間的代替を動的な配送閾値評価に正しく考慮するにはどうすればよいですか？
回答：決定を下す時間構造をサバイバル分析（比例リスクモデルのコックスモデル）を介してモデル化する必要があります。重要なメトリックは、ポイントのコンバージョンではなく、現在のカートの合計と閾値までの距離に応じた購入のハザードレートの変化です。さらに、追加購入によって閾値に達したユーザーのコホートを分析し、14日間内に商品の返品が増加する割合（返品による食い合わせ）を評価し、これはGMVメトリクスを歪め、モデル内でreturn rateの調整が必要です。
なぜ標準の信頼区間（confidence intervals）がSynthetic Control Methodに不適切で、どのようにしてこの方法論における因果効果の統計的有意性を評価すべきですか？
回答：SCMの評価は、ドナーの単位の重み付けプロセスとサンプルの有限性に関連する推論的不確実性に影響され、観察の独立性に関する古典的な頻度統計の仮定が破られます。正しいアプローチは、**permutation test (placebo test)**であり、同じSCMアルゴリズムをプール内の各ドナー単位に適用（"彼らが治療を受けたふりをする"）し、プラセボ効果の経験的分布を生成します。効果は統計的に有意と見なされるのは、治療単位のpost/pre-RMSPE比がプラセボ分布の95パーセンタイルを超える場合、Abadie、Diamond、Hainmueller（2010、2015）の研究で形式化されています。
Causal ImpactまたはSynthetic Controlを使用する際に、配送閾値の変更の効果をトラフィックの質の同時変更や競争活動と区別するにはどうすればよいですか？
回答：モデルにcovariates（介入の影響を受けない予測因子）を含めることが非常に重要ですが、ターゲットメトリクスと相関する必要があります。例えば、競合他社のWebサイトの訪問数（SimilarWebやパネルデータを介して）、地域におけるeコマース市場の総ボリューム、またはオーガニックトラフィックのCTRなどです。CausalImpactの基礎となるBSTSのベイジアン構造では、これらの変数が回帰因子として状態空間モデルに入り、一般的なショックを隔離します。また、介入前に予測因子と結果間のGranger因果性を検証し、"影響の"日付を歴史的期間にずらして偽のオーバーシュートを確認するためにplacebo-in-timeテストを使用する必要があります。