Среднее число заказов на пользователя выросло, но доля пользователей хотя бы с одним заказом не изменилась. Какой механизм объясняет это расхождение?
Рост создан увеличением частоты заказов среди уже покупающих пользователей, а не расширением аудитории покупателей. Несколько пользователей стали заказывать чаще, поэтому среднее выросло, хотя доля пользователей с хотя бы одним заказом осталась прежней.
В продуктовой аналитике общие средние показатели стали раскладывать на составляющие, чтобы отделять охват поведения от его частоты. Одно и то же изменение среднего может быть вызвано привлечением новых пользователей к действию или более интенсивным поведением небольшой группы.
Такое разложение помогает не принимать рост агрегированной метрики за однозначное улучшение продукта. Для заказов обычно отдельно смотрят долю покупателей и число заказов на покупателя.
Пусть доля пользователей с заказом не изменилась, но часть из них начала оформлять повторные заказы. Тогда среднее число заказов на пользователя вырастет, хотя продукт не стал полезным для большего числа пользователей.
Это важно для принятия решений. Рост может быть устойчивым результатом повышения повторных покупок, но может также объясняться временной акцией, активностью небольшой группы или перераспределением заказов между пользователями.
Среднее число заказов на пользователя можно представить как:
заказы на пользователя = доля пользователей с заказом × заказы на покупателя.
Если доля покупателей не изменилась, а среднее число заказов на покупателя выросло, источник изменения — частота покупок. Например, у 1000 пользователей было 500 покупателей и 2000 заказов: 2 заказа на пользователя и 4 заказа на покупателя. Затем осталось 500 покупателей, но заказов стало 2200: 2,2 заказа на пользователя и 4,4 заказа на покупателя.
Нужно проверить границы расчёта и единицу анализа: одинаковы ли период, когорта, определение заказа и состав пользователей. Также полезно сравнить распределение числа заказов, медиану и перцентили: среднее может вырасти из-за небольшого числа очень активных клиентов.
Для решения о запуске изменения следует дополнительно проверить удержание покупателей, маржинальность, отмены, возвраты и долю пользователей, совершивших повторный заказ. Компромисс состоит в том, что оптимизация частоты может увеличить краткосрочную выручку, но перегрузить пользователей промо-коммуникациями или ухудшить долгосрочное удержание.
После запуска напоминаний число заказов на пользователя выросло на 10%, а доля покупателей не изменилась. Команда рассмотрела три объяснения: реальные повторные заказы, временный эффект скидки и артефакт трекинга повторных событий.
Сравнение медианы, распределения заказов и когорт показало, что рост сосредоточен у пользователей, получивших скидку, а заказы с одинаковым идентификатором иногда отправлялись повторно. Вариант с немедленным масштабированием отклонили: он мог переоценить эффект и ухудшить экономику скидок.
Сначала исправили дедупликацию событий, затем провели контролируемый тест напоминаний с метриками повторной покупки, маржи и отписок. Масштабировали только вариант, который сохранял прирост частоты после окончания скидочного периода и не ухудшал защитные метрики.
1. Может ли такая картина означать рост числа заказов только у одного пользователя?
Да. Среднее чувствительно к экстремальным значениям: один пользователь с большим числом заказов способен заметно изменить показатель в небольшой выборке. Поэтому нужно смотреть распределение, медиану, верхние перцентили и вклад отдельных пользователей.
Если эффект исчезает после ограничения влияния одного пользователя или анализа медианы, это не обязательно означает отсутствие пользы, но показывает, что среднее плохо описывает типичный опыт.
2. Почему нельзя ограничиться сравнением доли покупателей?
Доля покупателей отвечает на вопрос, сколько пользователей совершили хотя бы один заказ. Она не показывает, сколько заказов совершили эти пользователи после первой покупки.
Если доля не изменилась, а частота выросла, продукт мог успешно стимулировать повторное использование. Для оценки результата нужны обе компоненты, иначе можно пропустить важный источник роста или неверно интерпретировать его как расширение аудитории.
3. Как понять, что рост частоты полезен для бизнеса, а не только для метрики?
Нужно связать частоту с качеством и экономикой: проверить маржинальную выручку на пользователя, возвраты, отмены, стоимость стимулов, удержание и жалобы. Рост числа заказов за счёт убыточных скидок или вынужденных повторных действий не является достаточным основанием для запуска.
Решение принимают по заранее определённому набору основной метрики и защитных показателей. Если частота растёт, но маржа или долгосрочное удержание снижаются, изменение нельзя считать успешным только на основании среднего числа заказов.