В A/B-тесте основная конверсия статистически значимо выросла, но ухудшилась метрика удержания. Как принять решение о запуске?
Не следует запускать изменение автоматически: статистическая значимость роста основной метрики не отменяет ухудшение удержания. Сначала нужно проверить, что обе метрики корректно рассчитаны, определить ценность и допустимый ущерб, а затем принять решение по заранее заданным критериям: запустить, отклонить или продолжить наблюдение.
Если ухудшение удержания устойчиво, практически значимо и влияет на долгосрочную ценность пользователя, изменение обычно не запускают, даже при росте краткосрочной конверсии. Рост одной метрики может быть локальной оптимизацией за счёт качества продукта.
Эксперименты в продуктовой аналитике появились как способ принимать решения на основе причинного сравнения, а не только наблюдения за динамикой метрик после релиза. Однако одна метрика редко описывает весь эффект изменения: улучшение одного шага может ухудшить последующее поведение пользователя.
Поэтому в экспериментах используют основную метрику, отражающую непосредственную цель изменения, и защитные метрики — например удержание, отмены, жалобы или технические ошибки. Такой подход ограничивает оптимизацию ради краткосрочного результата.
Статистическая значимость отвечает на вопрос, совместимы ли наблюдаемые данные с отсутствием эффекта при выбранной модели анализа. Она не отвечает на вопросы, достаточно ли велик эффект, полезен ли он для бизнеса и не вызвал ли он неприемлемый вред в другом измерении.
Возможны разные причины расхождения: новая механика ускоряет первую покупку, но создаёт неверные ожидания; агрессивный экран повышает конверсию, но раздражает пользователей; эффект удержания ещё не успел проявиться; либо одна из метрик измеряется с ошибкой.
Неверное решение приводит к локальной оптимизации: команда получает хороший отчёт по основной метрике, но теряет будущие сессии, повторные покупки или доверие пользователей. Особенно опасно оценивать удержание слишком рано или сравнивать метрики с разными окнами наблюдения.
Сначала нужно зафиксировать направление и минимально значимый порог для каждой метрики. Например, рост конверсии может быть условием успеха, а падение D30-retention не более заранее установленного предела — условием безопасности. Порог должен быть определён до просмотра итогов, чтобы команда не подбирала его под желаемое решение.
Затем проверяют качество данных: корректность рандомизации, полноту событий, одинаковые окна расчёта, отсутствие пересечения пользователей между группами и достаточную длительность наблюдения. Для удержания особенно важно дождаться момента, когда нужная когорта полностью достигла анализируемого дня.
После этого оценивают не только p-value, но и размер эффекта, доверительный интервал, абсолютное влияние на бизнес и возможные долгосрочные последствия. Падение удержания на малую величину может быть статистически значимым, но практически несущественным; широкая неопределённость может означать, что эксперимент ещё недостаточно мощный для решения.
Если ухудшение защитной метрики превышает допустимый порог, варианты таковы: отклонить изменение, продолжить тест для уточнения долгосрочного эффекта или изменить решение и повторно проверить его в новом эксперименте. Продолжение оправдано, только если заранее определены срок, критерии остановки и причина, по которой текущих данных недостаточно.
Если основная метрика выросла, удержание не ухудшилось за пределами допустимого уровня, а эффект имеет практическую ценность, изменение можно запускать поэтапно. После запуска следует сохранить мониторинг, потому что эксперимент ограничен условиями теста, а поведение и состав аудитории могут измениться.
Есть и компромисс: защитная метрика не должна превращаться в абсолютный запрет любого изменения. Иногда краткосрочное снижение удержания допустимо, если оно компенсируется существенным ростом долгосрочной ценности, но это должно быть доказано отдельным анализом, а не предположено постфактум.
Представим сервис подписки. Новый экран оплаты поднял конверсию в первую покупку на 4%, но D30-retention снизился на 1,5 процентного пункта, причём доверительный интервал исключает нулевой эффект.
Можно сразу запустить изменение: это быстро увеличит число первых покупок, но создаст риск ухудшения повторного использования. Можно полностью отклонить идею: риск снижается, однако команда потеряет потенциально полезный рост. Можно продолжить наблюдение без изменения дизайна эксперимента: это даст больше данных, но задержит решение и не устранит возможную проблему в сценарии оплаты.
Рациональным решением будет остановить полный запуск, проверить сегменты и путь пользователя после покупки, а затем переработать экран и провести новый тест. Если выяснится, что ухудшение сосредоточено у пользователей с определённым тарифом, можно отдельно проверить таргетированный вариант. Такой подход сохраняет потенциальный рост конверсии, но не принимает доказанный ущерб удержанию как приемлемую цену.
Нет. Нужно учитывать величину эффекта, неопределённость оценки, горизонт удержания и экономическую ценность пользователей. Небольшое статистически значимое изменение может быть практически неважным, а раннее падение может исчезнуть после получения полных когортных данных. Но до проверки этих обстоятельств автоматический запуск всё равно неоправдан.
Так делать рискованно: команда может подобрать показатель, который удобен для обоснования уже принятого решения. Защитные метрики и допустимые пределы лучше фиксировать до эксперимента. Если это не было сделано, анализ можно провести как диагностический, но итоговое решение следует принимать более консервативно и явно отметить постфактумный характер критерия.
Нельзя сравнивать краткосрочный результат основной метрики с неполным или несопоставимым удержанием. Нужно дождаться созревания нужных когорт либо использовать заранее обоснованный промежуточный показатель, валидированный как предиктор долгосрочного результата. До этого изменение можно оставить под экспериментальным контролем, но не объявлять его безусловно успешным.