Эксперимент заранее предполагал только рост метрики. Допустимо ли после получения данных заменить двустороннюю проверку гипотезы на одностороннюю?
Нет, если направление проверки выбрали только после просмотра результата. Односторонний тест допустим, когда направленная альтернатива и правило принятия решения были определены до анализа данных; иначе повышается риск ложноположительного вывода.
Односторонние и двусторонние проверки появились как способы формально задать область возможных альтернатив и контролировать вероятность ошибки первого рода. Односторонний подход предназначен для случаев, когда эффект в противоположном направлении действительно не имеет практического значения или заранее исключён содержанием задачи.
На практике это позволяет повысить чувствительность к эффекту в одном направлении, но ценой потери возможности симметрично обнаруживать изменения в обе стороны. Поэтому выбор направления является частью дизайна исследования, а не способом улучшить результат после его получения.
Пусть нулевая гипотеза утверждает отсутствие эффекта, а альтернативная — рост метрики. Если после эксперимента метрика выросла, переход от двустороннего теста к одностороннему может уменьшить p-value и превратить формально незначимый результат в значимый.
Такой переход нарушает заранее заявленный уровень значимости: исследователь фактически выбирает более выгодное правило после просмотра данных. Если же метрика упала, односторонняя проверка роста не должна автоматически превращаться в проверку снижения.
До запуска эксперимента нужно зафиксировать:
Если заранее выбрана двусторонняя проверка, результат следует оценивать двусторонним тестом, даже когда наблюдаемое изменение оказалось положительным. Если направленная гипотеза о росте была зарегистрирована до анализа, односторонний тест может быть корректным: он концентрирует весь допустимый уровень ошибки в области роста.
Односторонняя проверка не доказывает, что вредного эффекта нет. Она отвечает на более узкий вопрос: есть ли достаточные основания считать эффект положительным. Если снижение метрики существенно, но тест был направлен только на рост, это следует отдельно анализировать как риск или нежелательный результат.
Выбор одностороннего теста нельзя обосновывать только тем, что бизнес заинтересован в росте. Если противоположное изменение было бы важным для решения, нужна двусторонняя проверка. При постфактумной смене направления следует сохранить исходный анализ, явно обозначить новый как исследовательский и не выдавать его за подтверждающий.
Команда тестирует изменение интерфейса. До запуска она фиксирует, что основной вопрос — увеличивает ли изменение конверсию, а снижение конверсии рассматривается как отдельный риск. В плане анализа заранее выбран односторонний тест роста.
Рассматривались два варианта. Двусторонний тест был бы более консервативным и одновременно выявлял бы значимые ухудшения, но имел бы меньшую чувствительность к заранее заданному росту. Односторонний тест лучше соответствует узкой цели, однако требует строгого предварительного обоснования и не заменяет анализ безопасности метрики.
Команда выбрала односторонний тест, заранее зарегистрировала направление и отдельно установила правило остановки при существенном падении. Это делает итоговый вывод интерпретируемым: значимость подтверждает именно рост, а не просто любое отличие от нуля.
1. Вопрос: Можно ли использовать односторонний тест, если эффект в противоположную сторону невозможен по смыслу метрики?
Ответ: Это зависит от самой метрики и процедуры её измерения. Если значение действительно не может уменьшиться относительно нулевого эффекта или противоположная область логически невозможна, направленная постановка может быть естественной. Но для большинства бизнес-метрик ухудшение возможно, поэтому одного ожидания роста недостаточно.
2. Вопрос: Что делать, если двусторонний тест незначим, а односторонний оказался значимым?
Ответ: Нужно проверить, был ли односторонний тест запланирован до просмотра данных. Если да, результат можно интерпретировать в рамках заранее заданной направленной гипотезы. Если нет, основным следует считать первоначальный двусторонний анализ, а односторонний результат — исследовательским, требующим подтверждения в новом или заранее спланированном эксперименте.
3. Вопрос: Равен ли односторонний p-value половине двустороннего?
Ответ: Не всегда. В симметричных тестах, например во многих вариантах t-теста, при наблюдаемом эффекте в заявленном направлении одностороннее значение часто равно половине двустороннего. Но это соотношение зависит от статистики, распределения и направления эффекта; при эффекте в противоположную сторону одностороннее p-value может быть близко к единице. Поэтому его нельзя механически делить на два без проверки условий теста.