历史上，营销活动是通过平均因果效应 (ATE) 进行评估的，但因果机器学习的发展引入了预测个体治疗效应 (ITE) 的uplift模型。在这种情况下，经典的A/B测试是矛盾的：对于所有细分市场，模型训练需要关于处理组和控制组的数据，但为了评估模型又需要应用它，这样就会破坏控制组。这造成了研究与利用的困境 (exploration-exploitation)。
问题因交叉污染 (contamination) 而复杂化，当测试组用户的行为通过网络效应或共享资源（如促销码数量耗尽）影响控制组。需要一种方法，能够同时训练模型并隔离其相对于均匀分配或没有活动的增量效应。
解决方案基于两阶段方法。第一阶段是探索，随机化20-30%的流量以收集无偏数据，训练模型（X-learner或R-learner）以评估CATE（条件平均处理效应）。第二阶段是利用，通过汤普森采样（Thompson Sampling）或上下文强盗（Contextual Bandits）逐步转移流量到模型，以减少遗憾 (regret)。为隔离效果使用基于集群的随机化（按地理集群进行随机化）或Switchback测试（时间随机化），随后通过合成控制方法 (SCM) 进行评估。质量指标为Qini系数或增益曲线下面积 (AUUC)，通过逆倾向加权 (IPW) 进行校正，以消除选择偏差。
在市场营销平台启动个性化促销码活动时出现了问题。产品经理希望使用uplift模型，只向“可说服者”（那些只会在有促销码时购买的人）发送折扣，避免“确定者”和“失落者”。标准的A/B测试变得不可能，因为训练需要在所有细分市场上没有收到促销码的用户的数据，但保持50%的用户没有促销码会严重削弱收入。
第一种选择是保留随机化，在整个时期保持10%的用户在完全控制中。该方法的优点是：对ATE的干净评估，模型训练中的对比学习的可能性。缺点是：显著的收益损失 (机会成本)，缺乏透明标准的价格歧视产生的伦理冲突，以及由于小规模控制组导致的模型收敛缓慢。
第二种选择是汤普森采样，逐步增加流量的比例。这里的“手”是策略（uplift模型对随机策略）。优点是：优化探索/利用比例，适应季节性，最小化经济损失。缺点是：早期阶段的解释复杂性，选取不当的上下文可能导致局部最优，以及对统计显著所需的大流量。
第三种选择是基于地理的合成控制。随机化按地区进行：测试区域应用uplift模型，控制区域使用旧系统。评估使用SCM，创建一个控制区域的加权组合，模仿测试区域在实施之前。优点是：从个体随机化中隔离效果，处理聚合数据，避免城市之间的交叉污染。缺点是：对时间内区域稳定性的要求，对小地理单位的异常值敏感，以及通常在高季节性期间违反的平行趋势假设。
选择了组合解决方案：地理集群随机化与合成控制用于离线验证，汤普森采样用于在线优化测试集群内部。理由是：地理随机化排除了交叉污染（不同城市的用户很少交互），而合成控制避免了50/50的拆分。汤普森采样在测试区域内部快速适应模型以满足当地偏好。
结果：成功隔离了uplift模型的真实增量效应，相比于大规模发送，转化率提高了12%，促销码的支出减少了35%。合成控制显示，如果没有模型，测试区域的趋势将会以94%的精确度（RMSPE）跟随合成控制的动态，这确认了评估的有效性。
为什么不能简单地比较获得促销码的用户和未获得促销码的用户的转化率（观察性数据），即使使用倾向得分匹配？
答案：自我选择偏差和未观察到的混杂因素。高uplift得分的用户可能在未观察到的特征上有系统性的不同（例如，最近领工资或寻找特定商品）。**倾向得分匹配（PSM）**仅对观察到的协变量进行校正，但如果存在隐藏变量，影响了获取促销码的概率和转化率，则评估会偏差。例如，活跃用户可能错误地被分类为“可说服者”，但他们即使没有折扣也会购买。初学者必须理解，预测的uplift与实际转化之间的相关性并不等于因果效应——需要随机化或工具变量 (IV) 来进行隔离。
时间依赖性（时间变化的混杂因素）如何影响在较长训练期内的uplift模型评估，如何应对？
答案：在长期训练中，出现了时间混杂：用户行为发生变化（季节性、产品更新），而探索阶段的数据在利用阶段时已经过时。经典的uplift模型假设平稳性（stationarity），但这种情况很少成立。解决方案是使用自适应实验与衰减权重来对旧数据进行处理，或者使用在线学习算法（例如，贝叶斯更新）。此外，还需要通过人口稳定指数 (PSI) 监控特征和模型性能的概念漂移。初学分析师经常在季度数据上训练模型，但过半年后才应用，并未检查受众行为的偏差（例如，由于竞争对手的退出），这将导致生产中的负uplift。
为什么AUUC（增益曲线下面积）在比较两个不同的uplift模型时可能会产生误导，以及使用什么替代品？
答案：AUUC 依赖于预测的uplift在总体中的分布，并且不是规模不变的。如果一个模型保守地为所有人预测小的uplift，而另一个模型积极地预测高方差，它们的曲线会交叉，AUUC会给出含糊的结果。此外，AUUC忽视了商业限制（促销码预算）。替代方案是固定预算下的成本敏感Qini系数或预期响应。对于初学者来说，理解好模型的AUUC ≠ 好的业务指标至关重要。需要使用政策评估通过模拟策略：根据预测的uplift对用户进行排序，选择前K%（根据预算），并通过双重稳健估计或逆倾向加权 (IPW) 比较实际增量和反事实场景。