Команда запускает улучшение сразу после аномального падения конверсии. Как проверить, что последующий рост не является регрессией к среднему?
Рост после аномального падения может произойти сам по себе: экстремальное наблюдение частично вызвано случайным шумом, который в следующем периоде обычно ослабевает. Чтобы не принять это за эффект улучшения, нужно сравнить результат с одновременно наблюдаемой контрольной группой или с заранее определённым базовым сценарием, а не только с аномальной точкой непосредственно перед запуском.
Регрессия к среднему описывает статистический эффект, возникающий при повторных измерениях величины с шумом. Если первое наблюдение оказалось необычно низким или высоким, следующее часто оказывается ближе к обычному уровню даже без вмешательства.
Этот подход нужен, чтобы отделять реальное изменение от случайных колебаний. Без него команды могут запускать ненужные исправления после временного сбоя или объявлять успешным любое действие, последовавшее за плохим периодом.
Предположим, конверсия обычно находится около 5%, но в понедельник из-за случайных факторов упала до 3%. Во вторник после запуска изменения она выросла до 4,5%. Простое сравнение с понедельником покажет рост на 50%, хотя продукт мог не дать никакого эффекта.
Такая ошибка особенно вероятна при малом объёме данных, множественных разрезах и выборе момента запуска после просмотра метрик. Она приводит к ложным выводам о причинности, масштабированию неэффективного изменения и неверной оценке работы команды.
Сначала нужно зафиксировать момент запуска и не выбирать его задним числом по наиболее удобной точке. Затем эффект сравнивают не только с периодом перед запуском, но и с контрольной группой, которая не получила изменение и подвергалась тем же внешним факторам.
Если в тестовой группе метрика восстановилась, а в контрольной осталась на прежнем уровне, это является аргументом в пользу эффекта изменения. Если обе группы движутся одинаково, вероятнее общий фактор или регрессия к среднему. Формально оценивают разницу изменений между группами, а не простое различие между значениями до и после в одной группе.
Полезно также проверить более длинный исторический период: насколько часто после подобных падений метрика возвращалась к обычному уровню без релизов. Но историческое сравнение слабее рандомизированного контроля, поскольку периоды могут различаться по сезону, трафику, маркетингу и составу пользователей.
Важно не путать регрессию к среднему с естественным трендом или сезонностью. Контрольная группа снижает риск такой ошибки, но не устраняет проблемы плохого измерения, изменения состава трафика или недостаточного размера выборки. Если полноценный эксперимент невозможен, применяют сопоставимую контрольную поверхность, разрыв по времени с несколькими периодами до и после запуска или другие квазиэкспериментальные методы, явно указывая их ограничения.
В сервисе конверсия оплаты за день упала с обычных 6% до 3,8%. Команда сразу выпустила изменение формы оплаты, после чего конверсия выросла до 5,7%.
Рассматривались три варианта. Сравнить результат только с провальным днём было быстро, но это не отличало эффект релиза от регрессии к среднему. Сравнить с предыдущей неделей было лучше, однако не учитывало различия в составе трафика. Третий вариант — включить изменение случайно для части пользователей и сравнить её с контрольной группой — требовал больше времени, зато позволял оценить причинный эффект.
Выбрали третий вариант и заранее определили основную метрику, период наблюдения и минимально значимый эффект. За время теста конверсия выросла в обеих группах, но дополнительного роста в тестовой группе не обнаружилось. Команда не стала масштабировать изменение и продолжила искать причину исходного сбоя; восстановление оказалось в основном регрессией к обычному уровню.
Нет, этого может быть недостаточно. Среднее за предыдущие дни снижает влияние одной случайной точки, но не устраняет общие изменения во времени: сезонность, рекламную кампанию, техническую проблему или смену состава пользователей. Такой baseline полезен как ориентир, однако для причинного вывода предпочтительнее одновременная контрольная группа.
Да. Для неё достаточно того, что наблюдение оказалось экстремальным относительно истинного уровня и содержит случайный шум. Но если запуск не был обусловлен этим экстремальным значением, риск ошибочной интерпретации ниже: сравнение до и после всё равно может быть искажено внешними факторами, но классическая проблема отбора по аномалии выражена слабее.
Контрольная группа должна быть сопоставимой с тестовой и не подвергаться воздействию изменения. Если распределение пользователей нарушено, группы различаются по важным сегментам, эксперимент слишком короткий или метрика измеряется с ошибками, разница может быть случайной или систематически смещённой. Поэтому проверяют корректность рандомизации, полноту данных, длительность наблюдения и доверительный интервал эффекта, а не только направление изменения.