В эксперименте средний чек покупателя вырос, но выручка на пользователя не изменилась. Какой механизм объясняет расхождение?
Расхождение возникает из-за разных знаменателей. Средний чек покупателя считается только среди совершивших покупку, а выручка на пользователя — среди всех пользователей, поэтому рост суммы заказа мог быть полностью компенсирован снижением доли покупателей или частоты покупок.
Для оценки эффекта продукта основной метрикой обычно должна быть выручка на одного назначенного в эксперимент пользователя, а средний чек — частью диагностической декомпозиции.
Продуктовые метрики стали нормализовать по пользователям, заказам или другим единицам наблюдения, когда стало понятно, что общий объём выручки плохо отделяет изменение поведения от изменения размера аудитории.
Такой подход решает исходную проблему: рост выручки сам по себе не показывает, стал ли продукт лучше для типичного пользователя. Метрика с заранее выбранным знаменателем делает сравнение вариантов эксперимента более содержательным.
Пусть в контрольной группе из 1000 пользователей покупают 100 человек, и каждый покупатель совершает один заказ со средним чеком 100 рублей. Выручка на пользователя равна 10 рублям, а средний чек покупателя — 100 рублям.
В тестовой группе покупать стали 80 человек, но средний чек вырос до 125 рублей. Тогда выручка составит те же 10 000 рублей, то есть 10 рублей на пользователя, хотя условный средний чек вырос на 25%.
Если объявить успех только по среднему чеку, можно ошибочно решить, что вариант улучшил монетизацию. На практике он мог ухудшить конверсию в покупку, а рост суммы заказа лишь замаскировал это ухудшение.
Выручку на пользователя можно разложить примерно так:
выручка на пользователя = доля покупателей × число заказов на покупателя × средний чек заказа.
Поэтому изменение среднего чека — только один компонент результата. При неизменной выручке на пользователя его рост может сопровождаться падением доли покупателей, числа заказов на покупателя или сочетанием обоих факторов.
В эксперименте сначала фиксируют единицу рандомизации и считают метрику по всем назначенным пользователям, включая тех, кто ничего не купил. Это соответствует принципу анализа по назначению: вариант оценивается по всему пользователю, которому он был показан, а не только по тем, кто уже проявил нужное поведение.
Средний чек полезен как диагностическая метрика. Он помогает понять, за счёт чего изменилась выручка, но обычно не должен единолично определять решение о запуске, если вариант влияет и на вероятность покупки.
Есть важное ограничение: выручка на пользователя может быть нечувствительной к эффекту при редких покупках или коротком эксперименте. Поэтому её дополняют метриками конверсии, числа заказов, возвратов и маржинальности, заранее определяя основную метрику и допустимые ограничения.
Также нужно согласовать правила учёта: включаются ли скидки, налоги, доставка, возвраты и отменённые заказы. Иначе одинаковое название метрики может скрывать разные экономические величины.
В сервисе доставки новый экран предлагал пользователю добавить к заказу более дорогие товары. После эксперимента средний чек среди покупателей вырос на 18%, но выручка на назначенного пользователя не изменилась.
Рассматривались три варианта. Можно было объявить успех по среднему чеку, но это игнорировало пользователей, которые не оформили заказ. Можно было ориентироваться только на общую выручку, но она зависела от размера групп и не показывала результат на сопоставимую единицу. Третий вариант — использовать выручку на пользователя как основную метрику и разложить её изменение на конверсию, частоту и чек.
Выбрали третий вариант. Декомпозиция показала, что доля покупателей снизилась, а рост чека только компенсировал потерю заказов. Запуск не одобрили, поскольку вариант не улучшал выручку на пользователя и создавал риск ухудшения пользовательского опыта.
Да. Это произойдёт, если существенно вырастет доля покупателей или число заказов на покупателя. Например, более дешёвый заказ может снизить средний чек, но увеличение числа покупателей даст больший прирост общей выручки.
Следовательно, направление изменения среднего чека нельзя интерпретировать отдельно от остальных множителей. Для решения важен итоговый показатель на заранее определённую единицу анализа.
Покупка часто является последствием воздействия варианта. Если вариант изменяет вероятность покупки, отбор только покупателей создаёт сравнение разных по составу подгрупп: в одной группе могут остаться наиболее мотивированные пользователи, а в другой — более широкий круг покупателей.
Такой показатель отвечает на узкий вопрос о сумме заказа у совершивших покупку, но не на вопрос о суммарной ценности варианта для всей привлечённой аудитории. Поэтому его следует использовать для диагностики, а не заменять им метрику по всем назначенным пользователям.
Если вариант меняет скидки, стоимость доставки, комиссию или долю возвратов, рост выручки может не означать рост экономического результата. В таком случае более подходящей основной метрикой может быть прибыль или маржинальный доход на назначенного пользователя, если затраты измеряются надёжно.
У прибыли есть компромисс: её расчёт сложнее, а данные о переменных затратах могут поступать с задержкой или содержать оценочные компоненты. Практический подход — заранее выбрать экономическую основную метрику, а выручку, конверсию, средний чек и возвраты использовать как объясняющие и защитные показатели.