В отчёте после релиза конверсия каждого перехода воронки выросла, но итоговая конверсия упала. Что это прежде всего говорит о качестве измерения?
Если речь идёт об одной и той же последовательной воронке, одной когорте пользователей и согласованных периодах, такая картина прежде всего указывает на несогласованность измерения. Обычно разные шаги считают по разным пользователям, временным окнам или определениям событий. При корректном расчёте итоговая конверсия является произведением последовательных переходов, поэтому одновременный рост всех переходов не может привести к падению итоговой конверсии.
Воронки появились как способ разложить пользовательский путь на последовательные этапы: вход, просмотр предложения, начало оформления и завершение целевого действия. Такой подход помогает находить место потери пользователей, а не ограничиваться одной итоговой метрикой.
Проблема возникла из-за того, что разные отчёты часто строились командами независимо. В результате одинаково названные шаги могли иметь разные источники событий, дедупликацию, периоды и правила включения пользователей.
Для каждого перехода нужно использовать пользователей, достигших предыдущего шага, а итоговую конверсию — считать относительно единой входной когорты. Если, например, конверсия шага рассчитана по событиям за календарный день, а итоговая метрика — по пользователям, начавшим путь за тот же день, показатели относятся к разным множествам наблюдений.
Ошибочная интерпретация приведёт к неверному выводу о качестве релиза. Команда может решить, что каждый этап улучшился, хотя на самом деле изменилась схема сбора данных, появились дубли событий или часть пользователей перестала попадать в итоговый отчёт.
Сначала нужно проверить математическую согласованность воронки. Для последовательных шагов A, B и C конверсия всего пути должна быть равна доле пользователей из A, достигших C. При расчёте через переходы это эквивалентно произведению доли пользователей, перешедших из A в B, и доли пользователей, перешедших из B в C — при условии, что множества пользователей определены одинаково.
Затем проверяют четыре элемента:
Также важно различать пользователей и события. Один пользователь может несколько раз открыть экран или повторить оплату, но для пользовательской воронки обычно требуется фиксировать факт достижения шага, а не число срабатываний события.
Рост каждого перехода действительно может сочетаться с падением другой метрики, если переходы рассчитаны на разных срезах. Например, шаги могут считаться только среди пользователей, увидевших экран, а итоговая конверсия — среди всех вошедших в продукт. Это не парадокс поведения, а смешение разных баз сравнения.
Исправленный анализ должен использовать единую входную когорту, стабильные определения событий, дедупликацию на уровне пользователя и явное правило атрибуции по времени. После этого нужно повторно проверить, что число пользователей на каждом следующем шаге не превышает число пользователей на предыдущем, если воронка действительно последовательная.
После изменения формы заказа дашборд показал рост конверсии на каждом экране, но снижение доли оплаченных заказов от всех начавших оформление. Рассматривались два варианта: признать результат противоречивым и анализировать каждый график отдельно либо провести аудит расчёта воронки.
Первый вариант был быстрее, но создавал риск принять неверное продуктовое решение. Второй требовал сверить идентификатор пользователя, временное окно, логику повторных попыток и определения событий, зато позволял установить общий знаменатель.
Выбран аудит. Он показал, что переходы считались по пользователям, а финальный показатель — по заказам, причём отменённые заказы исключались только из итоговой метрики. После приведения всех шагов к единой пользовательской когорте противоречие исчезло: часть переходов действительно улучшилась, но рост не распространялся на весь путь.
Может ли такая картина быть реальной, а не ошибкой измерения?
Да, если показатели не описывают одну и ту же воронку. Например, все переходы после входа выросли, но сама конверсия во входной шаг снизилась; тогда итоговая конверсия от внешнего источника может упасть. Реальным также может быть различие по сегментам, если каждый переход измеряется на своей аудитории. Но для одной когорты и строго вложенных шагов рост всех условных переходов не может сопровождаться падением общей конверсии.
Почему нельзя складывать или напрямую сравнивать конверсии отдельных переходов?
Переходы имеют разные знаменатели. Конверсия из A в B показывает долю пользователей шага A, достигших B, а конверсия из B в C — долю пользователей уже на шаге B, достигших C. Для последовательного пути такие вероятности перемножаются, но не складываются. Прямое сравнение допустимо только после проверки, что шаги имеют одинаковую аудиторию, период и смысл.
Как отличить ошибку воронки от изменения поведения пользователей?
Нужно построить проверку на уровне пользователей: зафиксировать единую входную когорту, определить первое или допустимое достижение каждого шага, проверить временную последовательность событий и отдельно посчитать пользователей на каждом этапе. Затем результаты сравнивают с агрегатным отчётом и разбивают по устройству, источнику трафика и версии продукта. Если расхождение появляется только в агрегате или только после объединения разных сегментов, проблема, вероятно, в определениях или составе выборки; если сохраняется в согласованном пользовательском анализе, это уже может быть реальным изменением поведения.