歴史的に、製品分析におけるAR機能の評価アプローチは、相関分析やテクノロジーをサポートするユーザーとしないユーザーの間の単純な平均比較に依存していました。この方法論的フレームワークは2018年まで支配的でしたが、小売の研究者たちはデバイスの価格カテゴリーに対するオーディエンスのセグメンテーションにおける系統的な違いを考慮していませんでした。ARKitまたはARCoreを搭載したフラッグシップスマートフォンの所有者は、統計的に有意に収入、技術適応性、そして高マージン商品の衝動的購入志向が異なります。
したがって、直接の比較は40％までの自己選択バイアスを生じ、機能の効果をユーザーグループ間の既存の違いから分離することが不可能になります。クラシックなA/Bテストも不可能です。なぜなら、互換性のないデバイスで強制的にARを有効にすると、技術的な障害、アプリのクラッシュ、歪んだユーザー体験を引き起こし、SUTVA（安定したユニット治療価仮定）の基本原則を侵害し、反応の悪化を招くからです。
最適な解決策には、デバイスの技術仕様の閾値周辺で回帰不連続デザイン（RDD）を適用する必要があります。例えば、二次市場において類似した価格のiPhone XとiPhone 8+を比較しますが、ARに必要なTrueDepthカメラの有無で重要な違いがあります。商品カテゴリーごとの段階的導入を考慮するために、シーズナリティとアソートメントの違いを制御しつつ、**差分の差分（DiD）法を固定効果（二方向固定効果）と組み合わせます。最後に、デバイスの価格セグメントと購入履歴に基づいた傾向スコアマッチング（PSM）**を適用してRDDの局所的ゾーン内の残存する異質性を調整し、**逆確率加重（IPW）**を通じて局所的平均効果（LATE）を母集団に外挿します。
2023年秋、大規模なファッションマーケットプレイスで顔追跡技術を使用したサングラスのAR試着機能が導入されました。この機能はiPhone X+とGoogle ARCore搭載のフラッグシップAndroidデバイスでのみ機能し、予算が限られたデバイスを持つ60％のユーザーを自動的に除外しました。事前分析レポートでは、ARにアクセスできるユーザーは購入率が3.5倍高く、商品の返品率が30％低いことが示されましたが、チームは生存バイアスが強いのではないかと疑念を持っていました：高価な電話を持つユーザーは新機能に関係なく、歴史的により高い平均購入額とロイヤリティを示していました。
最初に考慮されたオプションは、ARにアクセスできるグループ間でのt-testまたはMann-Whitney Uテストによる単純な平均比較でした。このアプローチの利点は、即時計算、データに対する最小限の要求、ビジネスステークホルダーに対する結果の直感的な理解でした。欠点は致命的でした：収入と技術的認知に関する破滅的な内生性が、機能の効果をユーザーセグメント間の既存の違いから切り離すことを不可能にしました。
第二のオプションは、観察期間中に互換性のあるデバイスにアップグレードしたユーザーの前後のコホート分析です。利点は、サブジェクト内比較を通じて個々の異質性を制御できることにあり、測定不可能なユーザー特性によるバイアスが排除されました。欠点は、新奇効果、シーズナリティ（電話の更新が12月と9月のピークに相関し、異なる購入パターンに影響を与える）などの影響が強いこと、また、アップグレードの時期による自己選択（動機付けられたユーザーは頻繁に電話を変更する）を含みます。
第三のオプションは、iPhone Xのモデル閾値（A11 Bionicチップ）の周囲で回帰不連続デザインを適用し、iPhone 8+とiPhone Xのユーザーを比較することです。これらのユーザーは、社会的・人口統計的特性と二次市場の価格カテゴリにおいて統計的に差異がないが、TrueDepthカメラの有無でのみ異なる。此法の利点には、閾値周囲のローカルゾーンにおける疑似ランダム分布の生成が含まれており、有効な因果評価（LATE）を実現できます。欠点には、外的妥当性の制限（結果は古いフラッグシップと新しいフラッグシップの購入の間で揺動する「周辺」ユーザーにのみ適用可能）と、共変量の連続性仮定のチェックとポイントマニピュレーションの不在が必要です。
選ばれたのは、デバイスの閾値でのマージナルユーザーにおける機能の純粋な効果を評価するためのRDDと、商品カテゴリーごとの段階的導入を考慮した差分の差分の組み合わせ解決策でした（最初はプレミアムブランド、次にマスマーケット）。閾値から全体の母集団への結果の外挿には、デバイスの価格分布と人口統計特性に基づいた**逆確率加重（IPW）**が適用されました。最終的な結果は、真の効果がコンバージョンに+8％、返品に-12％と示されました。一方、調整なしの単純分析は+35％と-28％の歪んだ値を示し、機能のスケーリングに関するビジネス決定を重要に変更し、過剰な投資期待を避けることを可能にしました。
ARを使用しているユーザーがソーシャルメディアやメッセンジャーでバーチャル試着写真を共有し、互換性のないデバイスを持つ連絡先に対する購入決定に影響を与えるとき、ネットワーク効果（スピルオーバー効果）をどのように適切に処理すべきか？
候補者はしばしば、グループの孤立を仮定してSUTVAの違反を無視します。実際、友人がInstagram Storiesを通じてメガネの試着を見て購入すると、それは対照群を汚染します。適正なアプローチは、二段階最小二乗法（2SLS）の適用であり、特定のモデルのリリース日が「送信者」のARの有無にのみ影響を与えるが「受信者」には直接影響を与えない操作変数を使用します。代替として、ユーザー間の社会的関係の強度をモデル化し、モデルにtreatment × exposureの相互作用を導入するエクスポージャーマッピングを使用し、ARの直接効果とウイルス効果を定量的に評価可能にします。
なぜIntent-to-Treat（ITT）法が、技術的に可能であってもAR機能を無理やりA/Bテストに強制的に導入し、Local Average Treatment Effect（LATE）を計算する試みよりも優れているのか？
この質問は実験の倫理とコンプライアンス制約の理解を検証します。互換性のないデバイスでのクラウドレンダリングを通じたARの強制的な実装は、高遅延に伴う人工的なUXを生み出し、ユーザーの大量離脱（churn）を引き起こし、「害を与えない」原則に違反します。これはコンプライアンスへの選択的参加を生じさせます：ユーザーはすぐに機能をオフにするか、アプリを削除し、効果の評価が不可能になり、コンプライアンスにバイアスが生じます。正しいアプローチは奨励設計です：強制的な有効化の代わりに、ARを試してみる提案のバナーを無作為に表示します（互換性のあるデバイスを持つユーザーのみに限る）。その後、IV回帰（操作変数は提案のランダム化）を通じて、実際に機能を利用したユーザー（準拠者）に対するLATEを得ることで、リスクのない技術的サボタージュのリスクなしに保守的だが因果的にきれいな評価を提供します。
ARモデルが30％の商品のみに作成されている場合、カタログカバレッジの偏りをどのように考慮すべきか？主にプレミアムセグメントで、これによりSKUの利用可能性を評価する際に平均購入件数やLTVにバイアスがかかる。
候補者はしばしば一般化可能性や切断バイアスの問題を忘れ、ARが利用可能なプレミアムセグメントと利用できないマスマーケットを比較します。サンプルを調整しない場合、高い購入額をARの効果に帰属させる誤りを犯しますが、実際には異なる価格セグメント間の違いを測定しているのです。解決策には、まず商品の観察可能な特性（価格、ブランド、カテゴリー、シーズナリティ）に基づいてARモデルの存在確率（傾向スコア）をモデル化します。その後、ARが使用されているサンプルを全体的に代表的にするために、これらの確率に反比例して観察を重み付けします。加えて、ARがないカテゴリとARのあるカテゴリの加重線形結合を作成し、欠落しているカテゴリの反実仮想的行動を模倣する合成コントロール法を利用し、ビジネス全体のレベルでの効果を評価します。