В A/B-тесте p-value оказался выше уровня значимости. Какой вывод корректен о наличии эффекта?
Нельзя утверждать, что эффекта нет. Корректный вывод: при выбранной модели и уровне значимости недостаточно оснований отвергнуть нулевую гипотезу. Наблюдаемые данные совместимы с отсутствием эффекта, но также могут быть совместимы с небольшим или даже практически важным эффектом при недостаточной мощности теста.
Проверка статистических гипотез появилась как способ отделить случайные колебания выборки от свидетельств в пользу систематического различия. Исходная проблема состояла в том, что даже при отсутствии реального эффекта две случайные группы почти никогда не имеют абсолютно одинаковых показателей.
Для формализации решения используют нулевую гипотезу, уровень значимости и правило принятия решения. Такой подход ограничивает вероятность ложного обнаружения эффекта, но сам по себе не доказывает отсутствие эффекта при отрицательном результате.
Предположим, в тесте новая версия продукта показала конверсию выше контрольной, но p-value превысил выбранный уровень значимости. Ошибка аналитика — написать в отчёте: «Новая версия не влияет на конверсию».
Такой вывод может привести к преждевременному отказу от полезного изменения. Причиной незначимого результата могли быть малый объём выборки, высокая изменчивость метрики, небольшой истинный эффект или недостаточно чувствительный дизайн эксперимента.
При проверке нулевой гипотезы оценивают, насколько полученные данные необычны при предположении, что нулевая гипотеза верна. Если p-value выше уровня значимости, данных недостаточно для её отвергания; это не означает, что вероятность истинности нулевой гипотезы равна p-value или что она доказана.
Нужно дополнительно посмотреть на оценку эффекта и доверительный интервал. Например, интервал для разницы конверсий от −0,2 до 1,1 процентного пункта говорит, что данные совместимы и с небольшим отрицательным эффектом, и с положительным эффектом; точность оценки недостаточна для уверенного решения.
Ключевое понятие — статистическая мощность: вероятность обнаружить эффект заданного размера при выбранном дизайне, если этот эффект действительно существует. Мощность растёт при увеличении объёма выборки и размера эффекта, снижении шума и корректном выборе метрики; изменение уровня значимости также влияет на компромисс между ложноположительными и ложноотрицательными решениями.
Если бизнесу нужно именно подтвердить отсутствие practically значимого эффекта, обычного теста на различие недостаточно. Следует заранее задать границу эквивалентности — максимальную допустимую разницу — и использовать тест эквивалентности или другой заранее определённый критерий, позволяющий поддержать вывод о достаточной близости вариантов.
Команда тестировала изменение страницы оплаты. Оценка эффекта составила плюс 0,4 процентного пункта, p-value равнялся 0,18, а доверительный интервал был от минус 0,3 до плюс 1,1 процентного пункта.
Рассматривались три варианта. Немедленно внедрить изменение было рискованно: интервал допускал отрицательный эффект. Объявить изменение бесполезным тоже было некорректно: интервал допускал заметный положительный результат. Увеличить выборку позволяло получить более точную оценку, но требовало времени и трафика.
Команда выбрала продолжение эксперимента с заранее зафиксированным минимально важным эффектом и правилами остановки. После накопления достаточного объёма данных интервал оказался полностью выше границы, при которой эффект считался полезным, и изменение внедрили. Решение основывалось не только на p-value, но и на размере эффекта, точности оценки и бизнес-критерии.
Нет. p-value — это вероятность получить такие же или более экстремальные данные при условии, что нулевая гипотеза верна. Это не вероятность истинности нулевой гипотезы: для такой вероятности нужна байесовская модель с явно заданными априорными предположениями.
Основные причины — малый объём выборки, высокая дисперсия метрики, малый размер эффекта, неравномерное распределение трафика и шумные или неправильно выбранные показатели. Дополнительно мощность снижается при более строгом уровне значимости и усложнении поправок за множественные проверки. Поэтому до запуска теста полезно оценить требуемый объём выборки для минимально важного эффекта.
Нет. Наличие нуля в интервале означает, что отсутствие эффекта совместимо с данными, но не исключает важные положительные или отрицательные значения. Для вывода о несущественности нужно заранее задать допустимый диапазон и показать, что весь доверительный интервал находится внутри него либо что выполнен формальный тест эквивалентности.