歴史的コンテキスト。 2010年代以降、デジタル分析のゴールドスタンダードとなったA/Bテストの方法論は、ビジネスモデルの大幅な変更がすべてのユーザーベースに同時に影響を与える状況では効果が薄れます。このような状況下で、プロダクトアナリストは経済学の社会科学における政策評価のために開発された準実験的方法、Difference-in-Differences、Synthetic Control Method、およびPropensity Score Matchingに目を向けます。これらのアプローチは、内因的な自己選択と無作為化がない中で因果効果を分離することを可能にします。
問題の提示。 サブスクリプションオプションの導入は、サブスクリプションに移行する忠実なユーザーが製品を高頻度で利用するという根本的な自己選択の問題に直面します。サブスクリプションユーザーと単発購入者のLTVを単純に比較すると、行動パターンの基本的な違いを無視しているため、偏った評価が得られます。マクロ経済ショックや季節性も追加の歪みを引き起こし、ビジネスモデルに関係なく、特定の特徴の導入時と購買力に影響を与えます。
詳細な解決策。 最適戦略は、サブスクリプションの導入前後でのコホートの観察特徴のバランスをとるためにPropensity Score Matchingを組み合わせ、時間的トレンドをコントロールするためにDifference-in-Differencesを使用します。サブスクリプションの確率スコアの構築には、ロジスティック回帰の代わりにGradient Boostingを使用し、行動的特徴間の非線形相互作用を考慮します。マクロ経済の変動は、時間的期間に対する固定効果やGoogle Trendsインデックスをコントロール変数として吸収し、季節性は主モデルの適用前にSTL分解を通じて除去します。
オンライン教育プラットフォームは、別々のコースをカタログから購入するオプションと並行して「無制限サブスクリプション」プランを開始しました。ビジネスは、ユーザーが高価な単発購入の代わりに安価なサブスクリプションに移行することを懸念し、収益が減少する可能性があると恐れていました。リリースは経済的不安定性の開始と重なり、歴史データとの純粋な比較をさらに困難にし、外的ショックの分離が求められました。
選択肢1：サブスクリプションユーザーと非サブスクリプションユーザーの直接比較。 現在のサブスクリプションユーザーのデータを収集し、彼らのLTVを同じ年齢の過去の単発購入者と比較します。メリット：非常に迅速な実施が可能で、ビジネスにとって直感的。デメリット：サブスクリプションユーザーへの動機づけられたユーザーの自己選択と、基本的な需要を低下させる外部の経済危機を完全に無視しており、サブスクリプションの効果を過大評価する。
選択肢2：コホート分析の前後比較。ただしコントロールなし。 導入の3か月前に参加したユーザーのコホートのLTVを導入後のコホートと比較し、差をサブスクリプションの効果とします。メリット：計算が簡単で、propensityのモデリングが不要。デメリット：サブスクリプションの影響を危機や季節的なクリスマスセールの急増から切り離すことができず、偏った評価を得る。
選択肢3：PSM + DiD + Synthentic Controlの組み合わせアプローチ。 導入前のコホートに基づいてサブスクリプションのpropensityモデルを構築し、実際のサブスクリプションユーザーの双子を見つけ、次に時間的な対照でマクロ経済のショックからサブスクリプションの効果を分離するためにDiD with synthetic controlを適用します。メリット：時間的対照を通じてマクロ経済ショックからサブスクリプションの効果を分離し、特徴のバランスを取ることで自己選択の偏りを排除。デメリット：平行トレンドに関する強い仮定を必要とし、非技術的ステークホルダーには解釈が計算的に難しい。
選択肢3が選ばれ、Causal Forestを使用してセグメントごとの効果の異質性を評価しました。この方法は、危機や自己選択のノイズから実際の増分効果を分離する唯一の方法であるため、戦略的なサブスクリプションターゲットの決定に必要な精度を提供しました。
最終的な結果は、サブスクリプションが3つ以上のコースを購入したユーザーのLTVを40％増加させる一方で、単発の購入者には15％減少させることを示しました。サブスクリプションへのアクセスのための活動しきい値を導入するという推奨が、最初の四半期に減少せずに+12%のポートフォリオ収益をもたらすA/Bテストゲーティングを通じて実現されました。
DiDにおける平行トレンドの仮定を検証する方法、処理時間がユーザー間で変動する場合（staggered adoption）は？
プレースボーテストを実施し、歴史的な期間に「治療」を人工的にずらして、前処理の時代に有意な効果がないことを確認することが必要です。イベントスタディプロットを構築して、イベント前後の係数の動きを視覚化することが非常に重要です。候補者は、SUTVA（Stable Unit Treatment Value Assumption）の違反を無視することが多く、あるユーザーのサブスクリプションが他のユーザーの行動に学習効果や単発購入のカニバリゼーションを通じて影響を与える可能性があるため、地理やコホートのレベルで標準誤差をクラスタリングする必要があります。
Propensity Scoreに対する標準的なロジスティック回帰が高次元のプロダクトデータで失敗する理由と、その代替は何ですか？
従来のロジスティック回帰は、数百の行動的特徴が存在する際に次元の呪いに苦しみ、自己選択を予測するのに重要な特徴間の非線形相互作用を捉えることができません。Generalized Random Forestを使用してpropensityを評価するか、機能的な形式に関する仮定なしに主要な指標のバランスを保証するCoarsened Exact Matching (CEM)を使用するべきです。入門者のアナリストは、マッチング後のすべての主要な共変量の値が0.1未満である必要があるStandardized Mean Differences (SMD)を通じてcovariate balanceをチェックする必要があることを見落としがちです。
LTV分析における右の検閲（right-censoring）を正しく処理する方法は、サブスクリプションのコホートが「フレッシュ」であり、完全なライフサイクルを経ていない場合はどうなりますか？
実現した収益を単純に比較してはなりません。なぜなら、新しいサブスクリプションユーザーはすべての可能な支払を行う時間がないからです。離脱の強度を評価するためにKaplan-Meier生存曲線やCox比例ハザードモデルを適用し、将来のキャッシュフローを割引する必要があります。重要なエラーは、サブスクリプションと単発購入者間のchurn patternsの違いを無視することであり、これにより初期の数ヶ月間は「ハネムーン期間」の効果によってサブスクリプションのLTVが過大評価される結果となります。