电子商务的历史发展经历了从孤立商品卡片到复杂决策支持工具的过程。在2010年代，比较特征功能的出现是对产品种类增加和用户认知过载的回应，然而经典的相关性指标在比较使用和高客单价之间常常遇到内生性的问题：这项功能主要被已经有购买意图的用户所使用。
测量问题的复杂性体现在三个方面：用户参与度的自我选择（selection bias），按类别的阶段性推出，破坏了同步性（staggered adoption），以及类别内的网络效应，即比较将需求从一个SKU吸引到另一个SKU。如果不控制这些因素，分析师将得到偏差的评估，过高估计活跃用户的效果，而忽视未使用该功能用户的外部效应。
详细的解决方案需要结合工具变量（Instrumental Variables, IV）和差异中的差异（Difference-in-Differences, DiD）。工具的使用是准随机的比较按钮可见性，例如通过A/B测试UI元素的放置或屏幕分辨率等外生因素来影响显示。这有助于隔离与用户意图无关的变异。为了控制时间趋势，应用了具有不同开始时间的DiD（staggered DiD），比较已经启用功能的类别与尚未受影响的类别，并对cohort fixed effects进行调整。关键指标为局部平均处理效应（Local Average Treatment Effect, LATE）——对“同意者”（compliers）的效果，即那些仅仅因为按钮可见而使用比较的人，这提供了一个保守但因果上清晰的评估。
背景：一家大型电子产品市场推出了“按特征比较”功能，针对智能手机和笔记本电脑。一个月后，分析表明，打开比较的用户平均客单价高出40%，但在购买前浏览的页面数是普通用户的4倍。
解决方案1：直接比较组（t-test）。分析师简单对比用户的平均指标，标记“使用比较”与“未使用”在SQL中。优点：只需一个查询，结果几分钟即可得到。缺点：完全忽略自我选择；高参与度是在使用该功能之前，而不是使用的结果；评估结果偏高。
解决方案2：时间前后分析。比较功能推出前后的全平台指标。优点：易于解释，显示整体趋势。缺点：季节性（推出与新iPhone发布重合）、市场营销活动和整体业务增长完全掩盖了真实效果；无法区分功能的影响与外部冲击。
解决方案3：回归不连续（Regression Discontinuity, RD）。使用阈值规则：比较按钮仅在查看了三件同类商品后出现。优点：急剧的阈值（cutoff）在阈值附近创造了准实验性的变异。缺点：用户通过打开空的标签页来操纵行为以达到阈值；模糊性（fuzziness）破坏了RD的假设。
解决方案4：使用UI测试的工具变量。独立进行A/B测试，测试按钮的可见性（亮度、大小），不改变功能性，但影响点击概率。这个测试作为**二阶段最小二乘法（Two-Stage Least Squares, 2SLS）**回归的工具。优点：随机化确保工具的外生性；测量的效果正是针对那些因按钮可见性“被迫”比较的用户。缺点：需要大样本以提高工具的力量（first-stage F-statistic > 10）；解释LATE对业务的影响较复杂。
选择的解决方案与理由：结合解决方案4（主要）和解决方案2（稳健性检查）。IV评估为边际用户提供因果效应，而DiD则证实了类别的无全球偏差。这种方法有助于分离功能的效果与用户天生活动的影响。
最终结果：真实的增量效果在AOV上为+8%（而观察到的为+40%），决策时间在统计上没有显著变化。该功能被保留，但推荐算法进行了调整，以避免对低历史参与度的用户展示比较按钮，这减少了服务器负担而没有损失收入。
如何在分析多个替代选择时正确处理会话内的相关性？
当用户比较商品时，他对每个SKU的决策在同一会话内是相关的，这违反了独立观察的假设（i.i.d.）。标准误差的估计会被低估，这会导致对效果显著性的错误正向结论。为修正这一点，需要在用户或会话级别使用聚类标准误差（clustered standard errors），或应用分层线性建模（hierarchical linear modeling, HLM）。这在处理面板数据时尤其关键，因为一个用户生成多个比较，忽视聚类可能使得t统计量提高2-3倍。
如何测量对不在比较样本中的商品的负面外部效应（negative spillover）？
比较功能可能会侵蚀那些未被添加到比较列表中的商品的销售，但这些商品是相近的替代品。候选者常常只关注购物车中的SKU水平，忽视了类别的整体均衡。为评估这些效应，需要在类别层面进行汇总指标分析（category-level DiD）并控制库存水平（inventory levels）。如果比较将特定模型的需求转移，导致其缺货，那么所观察到的在比较集中的竞争者的销售增长可能是缺货的假象，而不是用户的偏好。
如何将功能的实施效果与用户学习（learning-by-doing）和新颖性（novelty effect）的效果分离？
发现新功能的用户同时积累了与平台的使用经验，这会单独影响转化率。初学者分析师常常将早期采用者的指标增长解释为产品的纯效应。为了分离这些效果，需要包括用户任期固定效应（user tenure fixed effects）或限制样本为历史会话数量相同的用户。作为替代方案，采用群体分析（cohort analysis），比较首日即能使用功能的新用户与“启动前”群体的指标，以日历时间进行校正，从而隔离经验的影响与比较工具的影响。