问题的历史背景可以追溯到电子商务中用户内容的演变。数字商业的早期，以专业描述为主，但随着Web 2.0的发展，出现了UGC（用户生成内容），这提高了信任度，但也带来了信息过载的问题。现代用户面对商品的数十条评论，增加了认知负担和决策时间。大型语言模型（LLM）的出现使得自动化摘要成为可能，但用机器翻译替代真实用户的声音，会在显示的信息与用户行为之间引入不确定性。
问题的复杂性体现在三个因素使得经典的A/B测试变得不可行。首先，按类别逐步推出创建了分阶段采纳，控制组会随着时间变化为测试组，这破坏了比较的稳定性。其次，AI摘要的质量是内生的：高评论量的类别获得准确的徽章，而低评论量的类别获得扭曲的徽章，这与商品的流行程度作为隐含混杂因素相关。第三，存在欺骗效应的风险：如果用户发现徽章与实际商品不符，平台的信任度将下降，这影响长期留存，这只能通过 cohort 分析来衡量。
解决方案需要采用一系列准实验方法。主要工具是采用分阶段差异中的差异（DiD）与固定的类别效应和时间效应，这样能在逐步实施的条件下捕捉效果。为了考虑生成质量的内生性，应用因果森林，模拟基于原始数据量的影响异质性。进行对照测试在没有变化的类别上进行验证平行趋势至关重要，同时使用生存分析来跟踪随时间变化的退货动态，将短期转换效果与长期信任效果分开。
专注于家具和装饰的市场“家庭舒适”面临着产品页面参与度的严重下降，68%的用户未能滑动到文本评论区域，错过了有关组装和材料质量的重要数据。产品团队提出了一种创新解决方案——用视觉AI徽章替换展开的评论，以总结关键要点，然而利益相关者担心指标信任度会下降以及由于模型的“幻觉”而导致退货率上升。分析师面临的任务是，在缺乏进行经典用户拆分测试的可能性下，衡量实施的净因果影响。
第一种方案是通过user_id的哈希进行用户级别的经典A/B测试。这种方法的优点包括严格的因果识别和通过标准t检验或自助法进行统计处理的简便性。缺点在于对产品的影响是致命的：用户积极地在社交媒体上分享产品截图，造成组间污染，而不同用户对同一产品的不同显示则破坏了用户体验的一致性，造成了认知失调。
第二种选择基于合成控制法，为每个引入AI徽章的类别创建一个加权的合成控制，这些控制来自未改变类别，并具有类似的历史转化趋势和季节性。该方法的关键优势在于用户对其的自然接受度，并且不需要分流流量，这确保了用户体验的完整性。然而，重大缺点包括无法为像“智能冰箱”这样没有直接类比的独特类别构建可信控制以及在全球冲击同时影响所有类别时的偏差风险。
最佳解决方案是结合分阶段差异中的差异与双向固定效应（TWFE）以及因果森林，用于分析基于原始数据量的效果异质性。这种方法利用了逐步实施的自然顺序（大规模电子产品先行，然后是家具）作为外生变异的来源，控制类别和时间的固定效应。选择的关键因素是能够为高负荷类别的精确摘要及具有“幻觉”的利基类别建模不同的影响，这为决策的扩展提供了战略优势。
最终实现显示出鲜明的异质性：在评论超过50条的类别，转化率因认知负担的减少增加了12%，而在精确传达关键特性的情况下，退货率减少了3%。相反，在评论少于10条的利基类别，退货率因徽章与产品实际质量的不符增加了8%，这导致在数据量不足的细分市场中做出全面停用AI总结的决定。最终，平台保持了对整体GMV的中性影响，但显著提升了用户体验质量，并降低了高流量类别中处理退货的运营成本。
生成质量的内生性作为混杂因素
通常候选人将徽章的引入视为二元影响，忽略了LLM总结的有效性实际上是原始评论数量的连续函数，而不是常量。实际上，转化率高的类别最初吸引了更多的评论，形成了反向因果关系：流行度 → 数据量 → AI质量 → 观察到的转化率增长，这种增长被错误地归因于仅仅是视觉徽章。正确的方法需要使用工具变量，如商品的年龄作为评论数量的工具，或通过评论数量阈值应用回归不连续性，以隔离生成质量的净效果与类别流行度效应。
跨类别溢出与注意力替代
候选人很少考虑，用户在单次会话中比较不同类别的产品，这导致跨类别溢出（cross-category spillovers）。如果在“智能手机”类别中出现吸引人的AI徽章，而在“保护壳”类别中仍是传统文本块，这就产生了信息的不对称，将需求吸引至测试类别，而不是因UX的提高，而是因注意力的替代（attention substitution）。为了准确评估，需要通过空间计量经济学将跨类别效应纳入模型，或者分析用户总体订单中类别的购物篮份额（share of wallet）变化，而不仅限于类别内转化率。
揭露效应的动态和学习曲线
初级分析师往往在短期观察窗口中固定效果，忽视了用户对AI内容的感知随时间变化的事实。首先的用户将视徽章为客观汇总，但在首次退回误导性徽章的商品后会形成AI怀疑论，积极效果减弱或反转为负面。为了发现这种模式，需要进行事件研究，引入滞后和领先变量（leads and lags），同时针对用户与AI内容首接触的“年龄”进行细分，从而构建学习曲线，预测效果的长期稳定性。