要分析生物识别支付对转化率的影响，需要进行用户层级的A/B测试随机化。关键指标：主要指标 — 购买转化率（conversion rate），控制指标 — 平均订单金额、漏斗深度（初始化结账 → 支付成功）、第七天留存。此外，需要根据设备（iOS/Android）和新/回头用户的群体进行细分，以识别新颖效应。
实验的最小设计：50/50拆分，持续时间不少于2个完整的商业周期（14天），计算的测试功效（power）≥ 80%和显著性水平（alpha）= 5%。此外，还需要使用SQL构建群体分析，以验证效果随时间的稳定性，并使用Python（SciPy，Pandas）对比例相等的假设进行统计检验。
问题：
某金融科技初创公司计划在iOS应用中实施使用Apple Face ID进行支付。产品团队预计转化率将提升15%，但企业担心开发（2个迭代周期）所需的时间。分析师的任务是证明或否定该功能的合理性，排除其他导致指标增长的替代解释（季节性、市场活动、iOS更新）。
考虑的解决方案：
第一个解决方案是通过比较发布前后一周的转化率来进行“前后分析”（pre-post analysis）。**优点：**时间成本最低，无需用户隔离。**缺点：**无法将功能效应与外部因素（如同时启动的广告活动）分开，存在较高的假阳性风险。
第二个解决方案是使用差异中的差异（DiD）方法进行准实验。计划将iOS用户（将启用Face ID）与Android用户（对照组）进行比较，考虑到实施前的趋势。**优点：**不需要在应用中实现分组的技术，利用观察到的数据工作。**缺点：**不同平台之间的平行趋势的关键假设由于iOS和Android受众的差异而经常被破坏，存在干扰者时的解释难度。
第三个解决方案（选定） — 通过功能标志（LaunchDarkly）进行完整的A/B测试。50% 的iOS用户获得了Face ID的访问权限（测试组），50% 继续使用旧支付方法（对照组）。样本大小的计算在R中使用pwr库进行：以基础转化率为8%，预期的MDE（最小可检测效果）为12%，power=0.8和alpha=0.05，每组需要≥ 12,000名用户。实验持续了3周，以覆盖不同的星期几。
结果：
测试组的转化率增长了11.3%（从8.1%到9.0%），p值 = 0.002（双尾z检验）。然而，群体分析显示，该效应在统计上仅对新用户显著(+18%)，而对当前用户未发现变化。最终决定将该功能推广至100%用户，但营销材料重新定向至吸引新用户，从而使项目的投资回报率（ROI）相较于初始模型增加了40%。
如何区分新颖效应（novelty effect）与指标的持续改善？
候选人通常在达到统计显著性后结束A/B测试，而不检查效应的持续性。为了识别新颖效应，需要按天构建指标的累积曲线（cumulative metric curves），并进行异质性分析：比较前3天的效应与最后一周的效应。在SQL中使用群体分析：按实验进入的日期（cohort_date）将流量进行分类，查看“老”群体的提升是否保持。如果效应随着时间的推移而减弱，那么这就是典型的新颖效应——用户最初出于好奇尝试该功能，但并未改变长期行为。
在产品分析中，统计显著性（statistical significance）与实际显著性（practical significance）有何不同？
在大样本下，即使是0.5%的转化率增长也可能在统计上显著（p < 0.05），但对于业务而言是无意义的，如果维持该功能的成本高于由额外购买带来的收入。在启动实验之前需确定MDE（最小可检测效果）——具有商业价值的最小效应大小。计算公式为（每次转化的预期收入 × 附加转化次数）— 功能成本。如果实际的提升低于MDE，即便p值为0.01，也不应推广该功能。为计算可使用Python（statsmodels.stats.power）或Evan Miller的在线计算器。
当用户看到功能但无法使用时（网络效应或某一组的技术故障），该如何处理这种情况？
这称为污染问题或溢出效应（spillover effect）的经典例子：在测试组中启用了加密货币支付，但服务提供商有30%的时间不可用。“意向治疗”（intent-to-treat，ITT）分析评估所有看到按钮的用户的效应，无论他们是否实际使用。为了更准确的评估，使用CACE（Complier Average Causal Effect）或工具变量（instrumental variables），其中“分配到组别”作为工具，用于实际使用该功能。在SQL中，这通过双阶段回归或与实际操作日志的JOIN实现，排除服务器错误的用户，以评估其有效性，但在随机化中保留他们以验证组的平衡性。