歴史的背景：ソーシャルプルーフの概念は1980年代のロバート・チャルディーニの研究に遡りますが、デジタル製品におけるリアルタイム通知の大規模導入は、WebSocket接続とKafkaに類似したストリーミングプラットフォームの発展により2015年に始まりました。ここでは、従来のA/Bテストの方法がネットワーク効果（SUTVA違反）のためにしばしばバイアスのかかった評価をもたらします。つまり、1人のユーザーの結果が他のオンラインユーザーの存在に依存しています。初期の評価方法は、ウィジェットが表示されているセッションと表示されていないセッションを単純に比較することに限られており、サンプルの内因性の問題を引き起こしていました。
問題：影響を評価する際には、介入の真の影響をオーディエンス密度という内因性変数から分離する必要があります。通知のあるセッションとないセッションを単純に比較すると、選択バイアスが生じます。ピーク時にコンバージョンが高く、システムがその時点で通知を多く生成します。さらに、ユーザーがモバイルアプリとデスクトップ間で移動することで、処置群とコントロール群の境界が曖昧になります。
解決策：最適なアプローチは、時間帯と商品カテゴリにおける二重固定効果を使った差分の差分（Difference-in-Differences, DiD）評価であり、オーディエンス密度のための計器変数（IVアプローチ）で補完されます。ツールとしては、気象条件の外的ショックやオンラインアクティビティに影響を与える地域のインターネットダウンタイムが使われますが、コンバージョンには直接関連していません。代替として、処理機能を持たない類似の商品や地域から構成されたコントロールグループを作成するSynthetic Control Methodも適用されます。
電子製品のマーケットプレイスでは、「現在この商品を15人が見ています」というウィジェットをClickHouseストリーミングからのリアルデータで導入する計画がありました。問題は、プロダクトチームがピーク時に18%のコンバージョンの増加を記録していたものの、通知の効果と夕方の自然な高需要を分離できなかったことです。さらに、夜間にはウィジェットがゼロまたは古いデータを表示し、信頼を低下させる可能性のある「空の部屋」効果が観察されました。
最初に考慮されたオプションは、地理的セグメンテーションを用いた従来のA/Bテストでした。利点：実施の簡単さと明確な解釈。欠点：異なる都市のユーザーが異なる品揃えと基本的なコンバージョンを見るため、ネットワーク効果が曖昧になり、小規模都市ではユーザーの密度が低いため「現在0人が見ています」と表示され、ネガティブなソーシャルプルーフを生む可能性がありました。
2番目のオプションは、特定地域での機能開始時の中断回帰（Regression Discontinuity Design, RDD）です。利点：カットオフ時の明確な因果同定とグラフでの視覚的確認が可能。欠点：新規性効果（novelty effect）を持続的な効果から分離できない。また、時間帯ごとの段階的導入が処理の境界を曖昧にし、RDDの重要な仮定に反する可能性があります。
3番目のオプションは、リアルタイムの商品をコントロールグループとして使用した準実験（DiD）です。利点：固定効果を通じて季節的トレンドを考慮し、基本トラフィックのレベルによる効果のヘテロジニティを評価できます。欠点：並行トレンドの仮定（parallel trends assumption）が必要で、これはリードとラグを用いたEvent Study仕様を通じて確認されます。
結論として、気象データに基づくDiDおよび計器変数の解決策が選ばれました：雨天の地域では予期しないオンラインアクティビティが増加し（計器の関連性を満たす）、電話を購入したいという欲求には直接影響を与えません（排除の制約）。分析の結果、ウィジェットの真の効果は、SKUごとに30人以上のオンラインユーザーがいる場合に+9%のコンバージョンであることが示されました；密度が低いと、古いデータや「空」のデータの表示により効果は-4%となります。
これらの結果に基づき、低トラフィック時にはソーシャルプルーフをオフにする適応アルゴリズムが導入されました。その結果、表示ルールが最適化され、システムは常時表示から条件付きに移行し、プラットフォーム全体の平均コンバージョンが7%向上し、「夜間」ユーザーセグメントからの離脱が12%低下しました。インフラストラクチャのコストは非アクティブ品目のストリーム処理をオフにすることで15%削減されました。
機構の効果（intensive margin）と機能の存在の全体的な効果（extensive margin）をどのように分ける？
候補者はしばしばreduced form評価（システムの有無）と、機構の評価（処置内の密度の変化が結果にどのように影響するか）を混同します。正しいアプローチは、二段階評価（Two-Stage Least Squares, 2SLS）です。ここで、最初のステージで通知の実際の表示頻度を計器（天候）で予測し、次に予測された頻度からコンバージョンを評価します。これにより、通知の純粋な効果を、逆の因果関係を持つ「群集効果」（herding behavior）と分離することができます：高いコンバージョンはより多くのビューを引き寄せ、より多くの通知を生成します。
セグメントの密度や時間帯によるヘテロジニティ分析における多重テスト修正が重要な理由は？
アナリストはしばしば機能の最適な導入しきい値を探し、10人、20人、50人のユーザーで効果をテストし、最大のアップリフトを持つしきい値を選びます。これにより、データマイニングと質の高いタイプIエラーの問題が生じます。ファミリーごとの誤り率についてボンフェローニまたはベンジャミニ・ホクバーグ手法の修正を適用すること、または分析前計画（pre-analysis plan）を用いて仮説を分析前に固定する必要があります。でないと、「最適な」しきい値は単なるランダムなデータの外れ値になります。
ユーザーの予算制約と共通のインベントリを通じたコントロールグループへのネガティブスピルオーバーをどのように考慮する？
マーケットプレイスにおけるソーシャルプルーフでは、需要を引き寄せる効果があります：ウィジェットが処置商品の購入を加速すると、コントロールグループのコンバージョンは予算の枯渇や注意の逸脱により低下する可能性があります。候補者は一般均衡効果を無視します。修正には、ユーザーセッションレベルでの集計データに基づく評価（aggregate treatment effects）または、ユーザーの注意の限界を考慮した市場均衡モデルを使用する必要があります。