Команда посчитала конверсию как долю событий с покупкой, хотя бизнес-метрика задана на уровне пользователей. Какой механизм искажает такую конверсию?
Искажение возникает из-за несоответствия единицы анализа и единицы расчёта метрики. Если один пользователь создаёт много событий, он получает больший вес, поэтому доля покупочных событий измеряет поведение событий, а не долю пользователей, совершивших покупку.
Для пользовательской конверсии сначала нужно определить факт покупки для каждого пользователя, а затем разделить число пользователей с покупкой на общее число пользователей в целевой выборке.
В аналитике показатели стали явно связывать с гранулярностью данных: строка может описывать пользователя, сессию, заказ или отдельное событие. Это решает исходную проблему смешения разных уровней наблюдения при агрегации.
Отношения и доли особенно чувствительны к выбору уровня данных. Простое агрегирование строк удобно технически, но без явного определения знаменателя может превратить показатель активности в показатель пользовательского поведения.
Предположим, в данных есть события посещения, а покупка отмечена у события. Активные пользователи создают больше строк, чем неактивные, поэтому при расчёте доли покупочных событий они непропорционально влияют на результат.
Неверная метрика может привести к ошибочной оценке эффективности рекламного канала, интерфейса или эксперимента. Например, рост числа повторных действий одного и того же пользователя будет выглядеть как рост конверсии, даже если доля пользователей-покупателей не изменилась.
Сначала нужно зафиксировать единицу принятия решения. Если вопрос звучит как «какая доля пользователей купила», наблюдением должен быть пользователь, а не событие. Для каждого пользователя формируют бинарный признак: была ли хотя бы одна покупка в заданном окне.
Затем определяют знаменатель: это все пользователи, имевшие право попасть в анализ, а не только пользователи, у которых осталось событие после фильтрации покупки. Числитель — пользователи из этого же множества, совершившие хотя бы одну покупку.
Событийная конверсия сама по себе не обязательно ошибочна. Она уместна, если бизнес-вопрос относится к событиям: например, «какая доля посещений завершилась покупкой». Ошибка состоит не в использовании событий, а в том, что полученный показатель называют пользовательской конверсией.
При сравнении групп важно применять одинаковое правило дедупликации и одинаковое окно наблюдения. Также нужно проверить, не исключает ли подготовка данных пользователей без событий покупки или пользователей с неполным периодом наблюдения.
В продукте было 100 пользователей и 300 посещений. Покупка произошла в 30 посещениях, но эти посещения принадлежали 20 пользователям. Событийная конверсия составила 10%, тогда как пользовательская — 20%.
Рассматривались два варианта. Первый — оставить расчёт по событиям: он прост и подходит для оценки эффективности отдельного посещения, но перегружает активных пользователей. Второй — сначала свернуть данные до уровня пользователя и учитывать факт хотя бы одной покупки: этот вариант соответствует пользовательской метрике, но теряет информацию о числе покупок.
Выбран второй вариант, поскольку решение принималось о доле пользователей, совершивших покупку. После изменения расчёта команда перестала интерпретировать рост повторных покупок как рост охвата пользователей; при этом событийную конверсию сохранили как отдельную метрику активности.
1. Может ли пользователь с несколькими покупками увеличить пользовательскую конверсию больше чем на один?
Нет. Для пользовательской конверсии повторные покупки должны схлопываться в один признак факта покупки. Один пользователь может увеличить числитель только на единицу. Число покупок следует анализировать отдельной метрикой, например средней или медианной величиной покупок на покупателя.
2. Почему нельзя формировать знаменатель только из пользователей, у которых есть событие покупки?
Такой фильтр удаляет пользователей без покупки до расчёта знаменателя. В результате показатель превращается в долю среди уже отобранных или активных пользователей и обычно завышается. Знаменатель должен быть сформирован из исходной целевой популяции до применения условия, определяющего успех.
3. Когда событийная конверсия может быть более полезной, чем пользовательская?
Она полезна, когда единицей воздействия является событие: посещение страницы, показ объявления или попытка оплаты. Например, для оценки вероятности покупки после конкретного показа важно считать показы, а не пользователей. Однако название, знаменатель и интерпретация должны явно указывать уровень события, иначе показатель легко сравнить с пользовательской конверсией некорректно.