歴史的文脈は、freemiumモデルが静的制限（クラウドの固定5GBなど）から、Machine Learningに基づく動的適応制限に進化することに遡ります。このような介入の効果を評価するための伝統的なアプローチは、根本的な内因性の問題に直面します。システムは高いコンバージョンの予測傾向を持つユーザーに制限を意図的に適用し、強い選別の偏りを生じさせます。初期の相関分析手法は、confounding by indicationを無視していたため、200〜300%の効果の過大評価を引き起こしました。
問題の設定は、ユーザーの潜在的なモチベーションに依存するリミットの割り当てが発生する状況での**Local Average Treatment Effect (LATE)**の測定を要求します。モデルはコンバージョンの確率$P(conv|X)$を予測し、$P > \tau$のときに制限を割り当てます。これにより、観察可能な特性と非観察可能な特性において比較できないグループが形成されます。制限のあるユーザーとないユーザーの直接的な比較は、treatedグループが元々「ホット」であり、支払いの意欲があるため、overestimationを引き起こします。
詳細な解決策は、スコアリングモデルの閾値$\tau$におけるRegression Discontinuity Design (RDD)に基づいています。閾値の近く（バンド幅$h$）では、制限の割り当てが準ランダムであり、$P = \tau - \epsilon$と$P = \tau + \epsilon$のユーザーは統計的に区別できません。スコアリングスコアに対する結果の連続回帰を構築し、$\tau$でのジャンプ（飛び上がり）を評価します。精度を高めるために、効果の異質性を評価するためにCausal Forestが使用され、段階的な実施ではDifference-in-Discontinuitiesが時間的傾向を制御するために使用されます。代替として、Random Forestを通じて推定スコアを評価するInverse Propensity Weighting (IPW)の使用も可能ですが、これはunconfoundednessという条件を必要とし、完全には満たされないことがよくあります。
問題
B2B SaaS製品について、無料アカウントに対してアクティブなプロジェクト数の動的制限を導入しました。MLモデルは50以上の行動特性を分析し、コンバージョン確率が0.75を超える場合に新しいプロジェクトの作成をブロックしました。プロダクトチームは「制限された」ユーザーのコンバージョンが40%増加しているのを観察しましたが、制限の効果をモチベーションのあるユーザーから切り離すことはできませんでした。また、テストのために完全に制限を解除することは不可能で、これは実験で月に$200KのMRRを失うことを意味しました。
オプション1: 履歴データとの単純比較
現在の制限付きユーザーのコンバージョンを、機能導入前の2ヶ月前のコホートと比較します。利点: インフラに最小限のコストがかかり、技術的な変更なしで迅速な評価が可能。欠点: 季節変動（年末の活動の低下）、全体的なコンバージョンの成長トレンド（製品が成熟しつつある）、新規性の効果を完全に無視し、選択バイアスにより35-40%の過大評価をもたらします。
オプション2: クラシックなA/BテストとMLモデルの無効化
15%のユーザーに制限の割り当てをランダムに無効化し、スコアに関係なく無制限に製品を使用できるようにします。利点: 因果関係の黄金基準で、**Average Treatment Effect (ATE)**の直接的な測定。欠点: Cレベルからは、コントロールグループでコンバージョンへのトリガーを受け取らない「ホット」ユーザーを失うリスクのために、厳しく拒否されます。大きな機会費用と倫理的な対立（なぜ一部の人にはすべてを許可し、他の人には許可しないのか）を生じさせます。
オプション3: ハイブリッドアプローチによるRegression Discontinuity Design
スコアリングの自然な閾値（0.75）を飛び上がりポイントとして使用し、コンバージョン確率が0.74と0.76のユーザーを局所的にランダム化されたグループとして比較します（±0.05のウィンドウで約5000ユーザー）。導入が1ヶ月遅れている地域に対してSynthetic Control Methodを補完します。利点: 95%のユーザーに対するビジネス論理を保持し、「限界」ユーザーに対するローカル効果の無偏見な評価（LATE）を提供し、収益を損なうことなく自然の変動を利用できます。欠点: 閾値近くでの観察数が2000以上と大規模サンプルを必要とし、$P(conv) \approx 0.75$のサブグループにのみ適用される点であり、閾値操作に敏感（分布の密度に対するMcCrary testが必要）です。
選択された解決策と結果
最適なウィンドウ幅をCalonico-Cattaneo-Titiunik (CCT bandwidth)メソッドに基づいてRDDとして選択し、負の効果を持つサブポピュレーションを探すためにCausal Forestを補充しました。分析により、厳しい制限が「中程度」のユーザーに対してコンバージョンを+12%向上させる一方で、パワーユーザーにはリテンションを-8%低下させることが明らかになりました（高エンゲージメントだがスコアは閾値をわずかに下回っています）。これに基づき、パワーユーザーには柔らかい制限（警告のみ）、中程度のユーザーには厳しい制限（ハードキャップ）を導入しました。最終的な結果: コンバージョンが8%増加し、30日間のリテンションは基準の96%を維持し、主要ユーザーの流出なしで四半期ごとに追加の$450KのARRをもたらしました。
制限自体の効果と有料バージョンの「リマインダー効果」をどのように区別しますか？
候補者はしばしばコンバージョンの増加を純粋な財政的制限の結果として解釈し、制限通知自体がマーケティングの接点として機能することを無視します。孤立させるためには、制限機能によるブロックなしでプレミアム情報を通知する「ソフト」通知を持つ追加のコントロールグループが必要です。また、制限の表示とコンバージョン間の時間を分析することも重要です。もしコンバージョンが即座（1時間以内）に発生する場合、これはおそらくreminder effectであり、3〜7日の後、制限を超えようとする複数の試行があった場合、これは実際の制限の効果です。また、リマインダーの強度のランダム変動として通知表示の技術的遅延を見なし、2SLS回帰を適用することでinstrumental variableを使用できます。
チーム製品（Notion, Figma）において、1ユーザーの制限が同僚のコラボレーションにどのようなネットワーク効果を持っていますか？
B2B SaaSでは、1人のチームメンバーの制限がspillover effectsを生む: 同僚は資源を1つのアカウントにまとめるか、競合に移行するかです。従来のRDDはこれらの外部効果を無視し、SUTVA (Stable Unit Treatment Value Assumption)を破ります。解決策は、チーム/ワークスペースレベルでのcluster-RDDを使用し、トリートメントをチーム内の「制限された」ユーザーの割合で決定するか、ネットワークグラフ上の制限された隣人の数を道具として使用した**two-stage least squares (2SLS)**を利用します。異なる制限ステータスのユーザー間のネットワーク活動を分析し、homophily仮説を検証するために、ネットワーク接近行列を測定することが重要です。
特定の機能制限の真の効果と、価値の低い機能への使用のシフト（substitution bias）をいかに区別しますか？
機能Aに制限があるユーザーは、機能Bに移行することができ（例えば、表計算からテキストドキュメント）、これは高いリテンションの幻想を生むが、実際にはproduct stickinessとfeature adoption depthが劣化します。測定するには、機能使用の多様性を測定するShannon entropyの分析またはcompositional data analysis (CODA)が必要です。エントロピーが制限後に下降する場合、製品内でのカニバリズムが発生しています。最適なポリシーは、ただコンバージョンを最大化するのではなく、使用パターンの変化を考慮に入れたexpected LTVを最大化する必要があり、これはMarkov Decision Process (MDP)またはcontextual banditを通じて、機能の採用深度とengagement velocityを考慮に入れた報酬関数を持つモデル化を必要とします。