Сравните MAU до и после смены определения активного пользователя: почему простое сравнение итоговых значений может ошибочно показать рост продукта?
Простое сравнение MAU некорректно, если до и после изменения использовались разные правила отнесения пользователя к активным. Рост может быть вызван не изменением поведения, а расширением или смещением измеряемого события.
Чтобы оценить реальный эффект, нужно посчитать старую и новую метрики на одном и том же периоде, построить переход между определениями и отдельно анализировать поведение пользователей. До подтверждения сопоставимости нельзя делать вывод об улучшении продукта.
Продуктовые метрики нужны для отслеживания изменений поведения пользователей во времени. На практике продукт развивается: добавляются новые сценарии, меняется трекинг событий, уточняется смысл активности или исправляются ошибки сбора данных.
Из-за этого меняется не только продукт, но и сама измерительная процедура. Подход с явной фиксацией определения метрики и контролем его изменений появился как средство сохранить сопоставимость рядов и не принять изменение измерения за изменение продукта.
Предположим, раньше активным считался пользователь, который открыл приложение, а после релиза — пользователь, который также просмотрел уведомление или выполнил действие в веб-версии. MAU может вырасти даже при неизменном числе пользователей, реально взаимодействующих с основным сценарием.
Ошибочный вывод приведёт к неверной оценке вовлечённости, эффективности релиза, каналов привлечения и достижения целей команды. Особенно опасны сравнения с прошлым месяцем, построение трендов и оценка эксперимента, если изменение определения пришлось на период теста.
Сначала нужно зафиксировать старое и новое определения: какие события учитываются, какое временное окно применяется, как считается уникальность пользователя, какие платформы и исключения входят в расчёт. Затем обе версии метрики следует пересчитать на пересекающемся историческом периоде.
Полезно разложить пользователей на четыре группы: активные по обоим определениям, активные только по старому, активные только по новому и неактивные по обоим. Такое пересечение показывает, какая часть изменения связана с добавлением или исключением пользователей.
Если возможно, старую логику следует сохранить как стабильный ряд, а новую публиковать параллельно. Для временного перехода можно показывать обе метрики и отдельный коэффициент или мостик перехода, но нельзя механически применять один коэффициент ко всем периодам: состав аудитории и сценарии поведения могут меняться.
Исторический пересчёт предпочтительнее, если исходные события сохранены и их смысл не изменился. Если старые данные неполны или события были переопределены, нужно обозначить разрыв ряда, не сравнивать уровни напрямую и использовать период перекрытия для калибровки.
После восстановления сопоставимости изменение MAU всё равно нужно интерпретировать вместе с другими показателями: частотой действий, удержанием, глубиной сценария и качеством аудитории. MAU — это охват активности, а не самостоятельное доказательство роста ценности продукта.
После запуска веб-версии MAU вырос на 18%. До релиза активность определялась только открытием мобильного приложения, после релиза в расчёт добавили любое авторизованное действие на сайте. Команда сначала рассматривала рост как результат улучшения вовлечённости.
Рассмотрели три варианта. Сравнить месячные значения без корректировки было быстро, но такой вывод смешивал эффект продукта и эффект определения. Полностью отказаться от новой метрики сохранял старую сопоставимость, но скрывал новую форму использования. Пересчитать обе версии на нескольких общих месяцах и вести их параллельно было трудозатратнее, зато позволяло увидеть реальный вклад веб-сценария.
Выбрали третий вариант. Пересчёт показал, что около половины прироста объяснялось пользователями, попавшими в MAU только по новому правилу; рост активности мобильного сценария был значительно меньше. В отчёте сохранили сопоставимый ряд старой метрики, добавили новую метрику веб- и омниканальной активности и отдельно описали дату изменения определения.
Нет, одинаковое название не гарантирует одинаковый смысл. Сравнение допустимо только после проверки идентичности определения, источников событий, окна, дедупликации и покрытия платформ. Иначе это сравнение разных измеряемых величин, даже если формула подсчёта уникальных пользователей формально не изменилась.
Нет. Пересчёт полезен, если исторические события доступны и их семантика надёжна. Если данные неполны, пересчёт создаст видимую сопоставимость, но фактически будет основан на разных качествах данных. В таком случае лучше сохранить старый ряд, запустить параллельный новый и явно обозначить разрыв.
Да, если новое определение лучше отражает ценное пользовательское поведение. Однако это не делает уровни старой и новой метрики напрямую сравнимыми. Сначала нужно доказать, что новое событие связано с целевым результатом продукта, например удержанием или повторным использованием, а затем отдельно оценивать изменение поведения и переход на более качественный индикатор.