为测量离线渠道的增量性，采用Geo-Lift Testing方法，使用合成控制法（Synthetic Control Method）。关键思想是将地理区域分为测试组（广告播出区域）和控制组（没有启动活动的区域），然后构建一个控制区域的加权组合，以模仿测试组在活动启动前的行为，其相关性达到95%。
分析时间序列时，使用Google CausalImpact库，评估考虑了协变量（天气数据、经济指标、竞争对手活动）的因果效应。数据聚合在BigQuery中，而预处理则在Python上使用pandas和scikit-learn进行，以通过支持向量机（SVM）或Lasso回归方法选择最优的合成控制权重。
公司计划在十个大城市中进行一项预算为5000万卢布的大规模电视活动，但面临一个关键的有效性测量问题：标准的跟踪器如AppsFlyer或Adjust仅记录数字接触，无法跟踪从电视屏幕到应用程序安装的转变。由于竞争对手的强势促销活动和目标区域的异常天气条件，直接与过去时期进行比较的难度加大。
第一个考虑的解决方案是使用ARIMA模型进行时间序列的相关性分析，其中基于历史数据的预测与实际安装指标进行比较。该方法的优点包括在Python中使用statsmodels库实现成本低，且不需要在区域之间分配广告预算。缺点在于无法将电视效果与外部冲击（竞争对手的行动、气候）分开，这会导致错误归因电视广告增长的风险，尽管缺乏因果关系。
第二个选项是可寻址电视，采用传统的A/B测试，广告仅展示给一部分观众，并通过面板数据提供直接归因的可能性。优点在于严格的因果性和测量长期LTV（生命周期价值）群体的能力。缺点包括与数据提供商（GfK、TNS）集成的技术复杂性、高成本和较长的准备时间（3-4个月），以及不适用于覆盖整个地区人口的传统广播电视，无法在单用户层面进行精准投放。
第三种方法是Geo-Lift Testing与合成控制一起使用，活动在测试区域启动，而在控制区域构建相似区域的加权组合，模拟其行为。该方法的优点是能够通过自然实验建立因果关系，并且对普遍的外部冲击具有韧性，因为它们影响两个组。缺点是需要仔细选择具有相似季节性的控制区域，对用户在城市间迁移的敏感性，以及历史数据的量要求至少12个月，以构建高质量的合成控制。
最终选择了第三个解决方案，因为公司拥有在BigQuery中为期18个月的40个地区的详细数据，这使得构建相关性系数高于0.95的合成控制成为可能，作为活动前期的基础。分析在Jupyter环境中进行，使用pycausalimpact库，数据预处理在SQL和pandas上完成，并根据受众规模进行规范化。
结果发现，活动启动后14天内有机安装的增量增长统计显著，增长23%，置信区间为95% [15%；31%]，反映为145%的投资回报率（ROI），并使营销团队能够为下一个季度的电视渠道预算增加提供依据。
在分析离线活动时，如何处理adstock效应（滞后和累积效应），因为广告的影响不会立即显现，而是分布在时间上？
候选人常常使用简单的“播放日-安装日”比较，忽视了电视广告具有半衰期的效应。需要应用adstock转换：$A_t = X_t + \lambda \cdot A_{t-1}$，其中$\lambda$为衰减系数（通常为0.3-0.8用于电视），通过最大化似然或在scikit-learn中的Grid Search确定。同时还需考虑前期活动的carryover效应，否则当前的lift将被高估。验证$\lambda$的过程在不同滞后的前期活动上进行交叉验证。
为什么在Geo-Lift测试中不能直接使用测试区域和控制区域之间的平均值简单比较（t-test），即使区域是随机选择的？
问题在于不同区域之间的方差异质性（基础转化率不同，人口大小不同）及存在聚类相关性（区域内观察结果的依赖性）。标准t检验假设观察结果的独立性和方差相等，导致统计显著性被高估（假阳性）。正确的方法是使用Clustered Standard Errors在区域级别或使用PyMC3 / Stan中的层次贝叶斯模型，考虑数据结构。在测试前还需要检查协变量的平衡（倾向评分匹配），以确保合成控制的合格性。
Marketing Mix Modeling (MMM)与Geo-Lift Testing之间的根本区别是什么，何时优先使用哪种方法？
MMM（例如，通过Meta的Robyn库或Google的LightweightMMM）是一种相关模型，通过带有正则化的回归同时评估所有渠道的贡献，但对内生性敏感，不能在没有工具变量的情况下建立严格的因果关系。Geo-Lift是一种准实验，通过外生变量的变化（区域内有/无广告）建立因果关系。MMM适合在多个渠道之间优化预算和计划，而Geo-Lift则用于验证特定假设和校准MMM。最佳实践是在贝叶斯MMM中使用Geo-Lift来校准先验，这是通过pymc-marketing实现的。