问题的回答
历史上安全措施的实施评估，如2FA，已经从简单的“之前/之后”比较演变为采用准实验方法。当经典的A/B测试由于身份验证架构的技术限制或安全伦理考虑无法实施时，分析师转向差分估计方法（Difference-in-Differences, DiD），这可以将干预效果与时间趋势分开。主要的挑战在于，愿意接受2FA作为额外摩擦的用户，与其他用户在动机或偏执上存在系统性差异，从而产生内生性自我选择，扭曲简单的相关性估计。
问题的设立需要将强制身份验证的真实效果与混淆因素隔离开来：季节性活动高峰（例如，节前促销）、新组的自然留存下降以及采取安全措施的用户基本特征差异。没有正确的识别策略，业务可能错误地将天然的季节性活动下降视为2FA的负面效应，或者相反地将自我选择的效应视为功能的成功，这将导致无根据地将摩擦措施扩展到所有用户中。
详细的解决方案建议采用Staggered Difference-in-Differences (DiD) 方法，采纳以群体为导向的方法，其中不同的用户组（群体）在不同时间点接受强制2FA。对于每个群体，控制组由在措施实施前直接注册的用户（回归断裂的边界），或尚未受到干预的群体组成。为调整自我选择，采用Inverse Probability Weighting (IPW)：根据过往行为（生物识别历史、密码更改频率）构建观察权重，以平衡群体特征。季节性通过时间固定效应（按周或按月的虚拟变量）来考虑。对Synthetic Control Method（合成控制，加权未处理的群体以模拟处理群体的趋势）和Event Study（用于可视化干预前后的效果动态和验证平行趋势假设）进行鲁棒性检查。
现实中的情景
在移动银行中决定通过SMS和TOTP应用实施强制2FA，由于欺诈增长，取消了可选择性。按照注册日期分组进行推广：1月1日之前注册的用户保持不变（控制），而之后每周的新注册用户都接受强制2FA（处理）。启动两周后，指标显示在“处理过的”群体中30天留存率 catastrophically下降了25%，引发了产品部门的恐慌和回退的建议。
第一个考虑的选项是简单比较具有2FA和不具有2FA的用户在相同观察期的留存率。该方法的优点在于即时可计算和直观；缺点是存在致命的方法论错误：自愿在强制实施前启用2FA的用户是超级活跃或偏执的，他们的自然留存比率高出40%，因此这种比较是不准确的。
第二个选项是无需时间控制的群体留存曲线分析（Cohort Retention Curves），仅仅进行“3月份”和“2月份”用户曲线的视觉比较。优点是考虑生命周期的不同起点；缺点是忽视季节性（3月为税收支付期活动高峰，之后自然下降）以及无法将效果与3月份新广告渠道推出后的整体流量质量下降趋势隔离开。
第三个选项是采用Staggered DiD并使用Callaway-Sant'Anna 方法评估群体时间效应（Group-Time ATT）和在每个群体内进行倾向性评分匹配（Propensity Score Matching）。优点是正确处理不同处理时间，排除使用“已处理”作为“刚刚处理”的控制，利用固定效应控制季节性；缺点是解释难度大，需要验证平行趋势并对小群体的异常值敏感。
最终选择了第三种解决方案，因为前两种方案展现出过于乐观（自我选择）或灾难性悲观（季节性）的情景。分析显示，30天留存率的真实因果效果为-8%（而不是-25%），同时由于对安全账户的信任增加，平均交易额增加了20%。最终结果是产品团队保留了强制2FA，但增加了“30天信任设备”选项，减少摩擦，并通过在60天内将留存率恢复到基准水平，同时保持欺诈行为减少60%。
候选人常常忽略的事项
为什么标准的双向固定效应（TWFE）估计量在具有固定时间和用户效应的线性回归中可能会给出偏差的甚至相反符号的估计，在分阶段实施2FA的设计中，应该使用什么现代估计量替代它？
在标准的TWFE方法中，早期处理的（2FA）用户自动作为晚期群体未处理用户的控制组。如果2FA的效果随时间变化（例如，用户适应并减少摩擦）或者在各个群体间变化（早期采纳者与晚期），早先处理的单元作为“糟糕”的对照，导致“负权重”问题和估计的偏差。代替TWFE，应该使用Callaway-Sant'Anna 估计量，它单独为每个群体和时间计算平均处理效果（ATT），仅使用从未处理或尚未处理的单元作为控制，排除已处理的单元，从而确保正确识别。对于初学者来说：想象一下你在比较一个规则对在9月获得规则的班级的效果，用10月获得规则的班级作为对照。如果到10月，第一个班级已经适应，而第二个班级才刚经历冲击，你会得到歪曲的画面——现代方法仅与那些没有接受规则的人进行比较。
如何正确处理“污染”或“漏斗”治疗的情况，当落入强制2FA的用户在移动设备上开始积极使用应用程序的网络版本（2FA尚未实施）以绕过限制时，简单排除这些用户为何会形成偏差？
简单排除“逃兵”会造成截断偏差（truncation bias）或选择偏差（selection bias），因为样本中剩余的用户要么缺少动机以避免摩擦，要么技术能力较低，这会扭曲对目标人群效果的估计。正确的做法是分析意图处理（Intent-to-Treat, ITT），其中所有用户在他们最初被分配的组中进行分析（带有2FA的移动应用），无论他们的实际行为（转向网络）。为了评估机制效果（Treatment-on-Treated, TOT），采用两阶段最小二乘法（2SLS），通过将2FA的实际使用作为工具，清除估计中的“不服从（non-compliance）”。对于初学者来说：这类似于临床试验，试验组的患者停止服药。如果您将他们排除，您将失去关于药物“排斥”特定类型患者的信息，从而高估药物的有效性。ITT分析关注“指定”，而非“实际服用”，保持随机化。
如何区分摩擦的净效应（需要输入代码）与“信号”或“指示”（2FA的存在带来的安全感效应），以及为何在评估对货币化的影响时进行中介分析是重要的？
区分的重要性在于这些效应对行为的影响方向相反：摩擦降低转换率和登录频率，而安全信号提高进行大额交易的意愿以及对平台的信任。为了分离这两者，采用因果中介分析（Causal Mediation Analysis）（例如，Imai-Keele-Tingley 方法），其中整体效应（Total Effect）分解为直接（摩擦）和间接通过安全认知（中介）。另外，可以创建安慰组，展示“增强安全性”的横幅和2FA图标，但不要求实际输入代码；比较[完整2FA] vs [无2FA的横幅] vs [控制]可以隔离各个组件。如果安慰组也观察到平均交易额的增长，则主要是信号效应；如果仅在完整组中则是因为身份验证过程本身的效果。对于初学者来说：想象一下餐厅门口出现的保安。人们可能会感到安全而花费更多（信号），但有些人可能不愿意经过安检（摩擦）。为了判断是否应该保留保安，您需要分离这些效应，否则您将无法理解是雇佣更友好的保安还是仅仅挂上“保安”的标志就足够了。