過去10年間のeコマースの進化は、静的なカタログからソーシャルメディアから借用されたインタラクティブなフォーマットに移行しました。ストーリーズフォーマットは、元々SnapchatとInstagramによって普及され、マーケットプレイスにおいては商品の選択における認知負荷を軽減するための短い視覚的ナラティブとして適応されました。しかし、従来のA/BテストのUI要素とは異なり、一時的なコンテンツの効果の評価には、テストグループの友人のストーリーズを見てしまうといった交差汚染（contamination）の問題があります。
純粋な効果の隔離は、内因性の3つの要因によって困難です。一つ目に、ブランドは質の高いビデオコンテンツを制作する能力によって自己選択され（大手企業が最初にローンチされる）、生存バイアスを生じさせます。二つ目に、フォロワーのネットワーク効果がスピルオーバー効果を引き起こし、テストからコントロールへと影響が「漏れ」ます。三つ目に、Gen Zユーザーは45歳以上のオーディエンスに比べてストーリーズへのエンゲージメントが3〜4倍高く、分析の層化が求められます。
最適な方法論は、段階的差分の差（DiD）を用いた空間的・時間的バリエーションです。この場合、商品カテゴリが異なる時点で導入される影響のクラスターとして機能します。ネットワーク汚染をコントロールするために、除外戦略が使用されます：異なるカテゴリのブランドに重複してフォローしているユーザー（テストとコントロール）を除外します。ブランドの自己選択バイアスを修正するために、導入前のエンゲージメントとオーディエンスサイズの歴史的メトリクスに基づいて傾向スコアマッチング（PSM）が使用されます。分散はCUPED（事前実験データを使用したコントロール実験）を通じて減少し、効果の異質性は因果森林を使用して評価され、異なる年齢セグメントに対する条件付き平均効果（CATE）が明らかにされます。
大手ファッションマーケットプレイスでは、「スポーツウェア」カテゴリーのブランド向けにストーリーズを導入する計画がありました（テストグループ）と、「ビジネスウェア」カテゴリーにおいて従来の商品のカードを維持（コントロール）することが検討されました。問題は、NikeとAdidas（テスト）のフォロワー数が従来のブランド（コントロール）よりも大幅に多く、40%のユーザーが両方のカテゴリーのブランドを同時にフォローしており、強い汚染を生じていたことです。7日間の保持（D7 retention）とストーリーズを視聴した後の48時間以内の購入コンバージョンの効果を評価する必要がありました。
オプション1：テストカテゴリーの単純なビフォー・アフター比較
アナリストは、スポーツカテゴリーのメトリクスをストーリーズのローンチ前後の1ヶ月で比較することを提案しました。アプローチの利点には即時に結果が得られることと複雑なインフラの必要がないことが含まれます。一方、欠点は重篤であり、フォーマットの効果を、1月のスポーツウェアの季節的な需要の増加（New Year Resolution effect）や、同時に新機能と共に開始されたブランドのマーケティングキャンペーンから切り離すことができないことです。
オプション2：ユーザー間のクラシックなA/Bテスト（50/50スプリット）
このオプションでは、ユーザーをカテゴリーに関係なくランダムにストーリーズの表示に分けることを想定していました。利点は実験デザインの純粋さと解釈の簡便さにありました。欠点は、（コンテンツはブランドが作成したもので、プラットフォームではないため）技術的に不可能であること、および、あるブランドのフォロワーの一部からコンテンツを隠すことが収益化モデルを破壊し、広告主からの苦情を引き起こすという倫理的制約にありました。
オプション3：ネットワークリンクのフィルタリングと合成コントロールのマッチングを伴う段階的DiD
導入の時間的バリエーションを活用することが決定され（スポーツカテゴリー - 1週目、ストリートウェア - 3週目、従来型 - 6週目）、まだ機能を持っていないカテゴリの重み付けされた組み合わせに基づく合成コントロールを構築します。汚染を排除するために、フォローの重複が全体の15%を超えるユーザーを除外しました（この閾値はソーシャルグラフ分析によって決定されました）。CUPEDは歴史的D7 retentionの修正に適用されました。
選択された解決策：
チームは、年齢に基づくセグメンテーションのために因果森林を追加したオプション3を選択しました。これにより、純粋な効果を隔離できるだけでなく、ストーリーズが誰に最も効果的であるかを理解することができました。選択の重要な要因は、ビジネスプロセスを維持できる可能性でした（すべてのフォロワーがコンテンツを視聴できる）、同時に妥当な因果評価を得ることができました。
最終的な結果：
分析は、18〜25歳のセグメントに対してD7 retentionが8.4%の統計的に有意な増加を示したことを明らかにしました（p < 0.01）。しかし、45歳以上のセグメントには効果がありませんでした。ただし、negative spilloverが発見されました：セッション中に5つ以上のストーリーズを見たユーザーは、購入へのコンバージョンが3%減少しました（過剰露出効果）。これらのデータに基づいて、プロダクトチームは年齢によるストーリーズの表示頻度を調整するアルゴリズムを導入し、ユーザー体験を損なうことなく、テストカテゴリーのGMVを4.2%向上させました。
なぜ、特定のブランドのストーリーズの過剰が同じセッション内の他のブランドのコンテンツへの感受性を低下させるnegative spillover効果を適切に考慮すべきか？
候補者はしばしばPositive Network Effectsにのみ焦点を当て、過剰露出を無視しています。正しいアプローチは、ユーザーではなくセッションレベルでの分析が必要です：セッションを「高ストーリーズ密度」（>3のユニークブランド）と「低密度」に分け、treatmentとコンテンツ密度の影響（interaction term）を評価します。係数が負で有意であれば、これはフォーマット内での注意のカニバリゼーションを示しています。また、時間的ダイナミクスを検証する必要があります：ユーザーはフォーマットに対して「耐性」（ad stock）を生産するか、導入週ごとの効果解析を通じてです。
なぜ、ストーリーズフォーマットの効果をコンテンツの質から分離すべきか、質の高いプロダクションバリューのブランドが導入の初期波で自己選択されるとき？
従来のDiDは問題を解決できません。ブランドの特性は基準メトリクスのレベルと相関しています。**計器変数（IV）**の使用が必要です：道具としては、ストーリーズが利用可能になるブランドのフォロワー数の閾値（例：>100kフォロワー）が使用されます。これにより、閾値周辺にランダムバリエーションが生まれ（回帰不連続デザイン、RDD）、99kと101kのフォロワーを持つブランドを比較することが可能になります。これにより、フォーマットの純粋な効果を分離し、クリエイティブの質の効果を排除できます。
なぜ、クリック率（CTR）やビュー率（VTR）などの標準メトリクスは、一時的なコンテンツの長期的な効果を評価するには不十分であり、どのメトリクスを使用すべきか？
候補者は即時エンゲージメントに焦点を当て、遅延購入の帰属を見逃します。ストーリーズは24時間で消失しますが、ユーザーの記憶に「マーク」を残します（メンタル可用性）。適切な評価にはサロゲートインデックスの構築が必要です：長期的LTVの代理として、7日間のアプリのオープン頻度、購入なしのウィッシュリストへの追加などの中間メトリクスを利用します。長期因果効果のアプローチを通じて二段階評価を適用します：最初に、中間メトリクスと最終的なLTVとの関係を歴史的データでモデル化し、その関係を実験データに適用します。これにより、ユーザーがストーリーズを見てから1週間後に購入する「遅延コンバージョン」効果を捉えることが可能です。