Сервис запустил изменение после недели аномально низкой метрики, а на следующей неделе показатель вернулся к обычному уровню. Какой статистический механизм может создать иллюзию эффекта?
Это может быть регрессия к среднему: после необычно низкого наблюдения следующее значение часто оказывается ближе к обычному уровню даже без реального эффекта изменения. Само по себе улучшение метрики после запуска не доказывает причинность.
Подход нужен для анализа ситуаций, где наблюдения содержат случайный шум. Если решение о вмешательстве принимают после экстремального результата, последующее измерение часто выглядит лучше или хуже просто потому, что случайная составляющая уже не обязана повторяться.
Проблема особенно заметна при мониторинге метрик, отборе худших объектов и оценке программ, назначенных после аномального результата. Без учёта этого эффекта случайные колебания легко принять за результат действий команды.
Пусть фактический уровень метрики стабилен, но каждое наблюдение состоит из устойчивой части и случайного шума. Объект попадёт в эксперимент или получит изменение именно тогда, когда шум сделал метрику необычно низкой; при следующем измерении шум обычно будет ближе к нулю.
Риск состоит в завышении эффекта: улучшение приписывают изменению, хотя оно произошло бы и без него. Особенно опасно сравнивать результат только с непосредственным предшествующим периодом, выбранным из-за экстремального значения.
Регрессия к среднему не означает, что каждое значение обязательно приблизится к среднему. Она означает, что среди наблюдений, выбранных по экстремальному результату, следующее измерение в среднем будет менее экстремальным, если измерения неполностью коррелируют из-за шума.
Примерно это можно представить так: наблюдаемая метрика равна истинному уровню плюс случайная ошибка. При отборе недели с очень низкой метрикой мы отбираем не только низкий истинный уровень, но и особенно неблагоприятную ошибку. Ошибка следующей недели не обязана быть такой же отрицательной.
Для отделения эффекта изменения нужен контрфактический ориентир — то, что произошло бы без вмешательства. Надёжнее всего использовать рандомизированную контрольную группу. Если рандомизация невозможна, применяют сопоставимую контрольную группу, разность изменений, несколько предэкспериментальных периодов или модель, учитывающую исходный уровень, но такие методы требуют дополнительных предпосылок.
Сравнение должно учитывать обычную вариативность метрики и заранее определённое окно наблюдения. Нельзя выбирать удобный период после запуска или объявлять эффектом любое возвращение к среднему уровню. Регрессия к среднему может существовать одновременно с реальным эффектом, поэтому её наличие не доказывает отсутствие воздействия.
Команда поддержки запустила новую инструкцию после того, как доля нерешённых обращений за неделю достигла рекордных 18%. Через неделю показатель снизился до 12%, и команда заявила об успехе.
Рассматривались три варианта. Сравнить только с предыдущей неделей было быстро, но это не отличало эффект инструкции от регрессии к среднему и сезонности. Сравнить с историческим средним было лучше, но не учитывало изменения, одновременно затронувшие все команды. Разделить команды поддержки на группы и случайно внедрить инструкцию только в части из них было наиболее убедительно, хотя требовало согласовать эксперимент и временно сохранить старый процесс.
Выбрали рандомизированное внедрение и сравнили изменение доли нерешённых обращений в тестовой и контрольной группах. Падение показателя оказалось примерно одинаковым в обеих группах, поэтому первоначальное улучшение не стали приписывать инструкции. Такой дизайн не устраняет всю вариативность, но напрямую измеряет разницу между изменением и естественным восстановлением метрики.
Нет. Для регрессии к среднему нужно, чтобы объект или период был выбран по экстремальному наблюдаемому значению, а повторное измерение содержало независимую или хотя бы неидеально коррелированную ошибку. Если показатель действительно изменился из-за внешнего события или вмешательства, возврат может быть настоящим изменением, а не статистической иллюзией.
Если истинные различия между объектами велики, а измерительный шум мал, два измерения будут сильно коррелировать, и регрессия будет слабой. Если же шум велик или первый результат получен после большого числа попыток с выбором лучшего или худшего результата, повторный результат может заметно приблизиться к среднему. Важно оценивать не только размер исходного отклонения, но и надёжность измерения.
Иногда это уменьшает смещение и повышает точность, особенно при рандомизации и корректно заданной модели. Но сама корректировка не превращает наблюдательное сравнение в причинное: остаются вопросы о выборе объектов, временных трендах, нелинейностях и различиях между группами. Результат модели нужно интерпретировать вместе с дизайном исследования, а не как автоматическое устранение регрессии к среднему.