После эксперимента новая функция повысила конверсию в целевое действие на 8%, но снизила 7 дневное удержание пользователей. Как принять решение о запуске и какую роль здесь играют guardrail метрики?

Question

Accepted Answer

Запуск нельзя одобрять только по росту целевой конверсии: она может быть достигнута за счёт давления на пользователя, нерелевантных действий или ухудшения опыта после первого шага. Удержание в этом случае — guardrail метрика, которая ограничивает допустимую цену роста основной метрики. Нужно проверить статистическую значимость обоих эффектов, сегменты пользователей и ожидаемый долгосрочный эффект на ценность и выручку. Если падение удержания существенно и экономически перекрывает выгоду от конверсии, решение — доработать гипотезу или не запускать её.