При построении воронки шаги оценивают в разных временных окнах после регистрации. Какой вывод о конверсиях между шагами становится некорректным?
Нельзя напрямую сравнивать такие конверсии как единую воронку: у пользователей различается время, доступное для прохождения каждого шага. Более длинное окно само по себе повышает вероятность события, поэтому рост конверсии позднего шага может отражать не улучшение продукта, а более длительное наблюдение.
Воронки появились как практический способ разложить путь пользователя на последовательные этапы и найти место наибольшего отсева. Для такого сравнения обычно предполагаются единый момент старта, сопоставимое окно наблюдения и однозначное правило прохождения каждого шага.
Когда продуктовый путь стал длиннее и пользователи начали проходить его с разной скоростью, простого подсчёта долей стало недостаточно. Потребовалось отделять реальное изменение поведения от эффекта времени наблюдения и неполной зрелости когорт.
Предположим, регистрацию считают в течение суток, настройку профиля — в течение семи дней, а покупку — в течение тридцати дней. Пользователь получает гораздо больше возможностей совершить покупку, чем настроить профиль в пределах первого окна.
В результате конверсия покупки будет измерять одновременно способность продукта довести пользователя до покупки и длительность доступного наблюдения. Особенно опасно сравнивать такие значения после релиза: изменение может лишь ускорить или замедлить путь, не изменив итоговую вероятность.
Для обычной воронки нужно заранее определить:
Например, можно считать для всех зарегистрированных конверсию в настройку профиля и покупку за первые семь дней. Тогда показатели отвечают на сопоставимый вопрос: какая доля пользователей совершила каждый шаг в одинаковый период после регистрации.
Если бизнес-процесс действительно имеет разные естественные сроки, это не обязательно ошибка. Но такие показатели следует интерпретировать как отдельные SLA-метрики или вероятности достижения этапа за заданное время, а не как напрямую сравнимые ступени одной воронки.
При разной длительности наблюдения полезнее применять анализ времени до события или кривые накопительной конверсии. Они позволяют учитывать цензурирование: пользователь, за которым наблюдали только пять дней, ещё не является доказательством того, что он никогда не купит.
Нужно также разделять два вопроса: сколько пользователей в итоге достигает шага и насколько быстро они его достигают. Один и тот же релиз может не изменить итоговую конверсию, но сократить время до покупки; смешивание этих эффектов приводит к неверному решению.
Команда сравнила два варианта онбординга. Для активации использовали окно в три дня, для первой покупки — окно в четырнадцать дней. В новом варианте покупка выросла с 8% до 10%, и это сначала интерпретировали как улучшение нижней части воронки.
Рассматривались два варианта. Можно было оставить разные окна: это удобно для операционного контроля этапов, но плохо подходит для сравнения общей эффективности. Можно было пересчитать обе метрики за первые три дня: сравнение стало честнее, однако часть более поздних покупок перестала учитываться.
Выбрали оба представления: единую семидневную воронку для сравнения вариантов и отдельную метрику покупки за четырнадцать дней для планирования выручки. После выравнивания окна рост покупки исчез, зато обнаружилось реальное сокращение времени до первой покупки. Решение о запуске приняли по совокупности одинаково измеренной конверсии и времени достижения шага, а не по первоначальной несопоставимой воронке.
Да, но тогда показатели нельзя трактовать как последовательные доли одной и той же воронки. Например, активацию можно измерять за 24 часа, а повторную покупку — за 30 дней, если это разные управленческие метрики. Для сравнения вариантов нужно либо фиксировать одинаковое окно, либо явно моделировать зависимость результата от времени.
Их нельзя безоговорочно считать неуспешными: это создаёт занижение конверсии свежих когорт. Нужно исключать незрелые когорты из итогового сравнения, использовать только завершённые окна либо применять методы анализа времени до события. Правило должно быть одинаковым для сравниваемых групп и периодов.
Это может быть положительным эффектом: более ранняя покупка увеличивает скорость получения выручки и уменьшает время до ценности. Однако нельзя объявлять улучшение ростом конверсии, если доля пользователей, достигших шага за одинаковый полный горизонт, не изменилась. В отчёте нужно отдельно показывать итоговую конверсию и время до события, чтобы не подменять одну характеристику другой.