Объясните, каким образом общий показатель может расти, если в каждом сегменте он снижается?
Это возможно из-за парадокса Симпсона: общий показатель является взвешенной агрегацией сегментных показателей, а доли сегментов в периодах изменились. Если выросла доля сегмента с изначально более высоким уровнем метрики, общий результат может увеличиться, даже когда показатель каждого сегмента отдельно снизился.
Парадокс Симпсона описывает ситуацию, когда направление связи или изменения в агрегированных данных противоположно направлению, наблюдаемому внутри отдельных групп. Для BI это особенно важно, потому что дашборды часто показывают итоговые KPI, скрывая структуру данных по регионам, каналам, продуктам или другим сегментам.
Подход с анализом разрезов возник как способ не принимать агрегированный результат за полную картину. Само суммирование не является ошибкой, но его смысл зависит от состава групп и выбранного уровня агрегации.
Предположим, конверсия снизилась в каждом рекламном канале. Если при этом резко выросла доля трафика канала с более высокой конверсией, общая конверсия может показать рост. Пользователь дашборда сделает ошибочный вывод об улучшении эффективности маркетинга.
Риск усиливается, когда отчёт показывает только общий KPI, не раскрывает размер сегментов и не позволяет сравнить одинаковые группы между периодами. Неверная интерпретация может привести к перераспределению бюджета, хотя фактическая эффективность каждого канала ухудшается.
Нужно разделять два уровня анализа: изменение показателя внутри сегмента и изменение структуры сегментов. Общая метрика рассчитывается с весами, зависящими от объёма каждой группы. Поэтому изменение весов способно перевесить снижение показателя внутри отдельных групп.
Для проверки следует:
Нельзя автоматически считать сегментацию единственно правильным уровнем анализа. Слишком мелкие группы делают отчёт трудным для чтения и могут давать нестабильные значения. Но для управленческих выводов агрегированный KPI должен сопровождаться ключевыми разрезами, размером групп и явным описанием базы сравнения.
Практический компромисс — оставить общий KPI основным элементом дашборда, но добавить детализацию по сегментам, их долям и предупреждение о существенном изменении структуры. Для сравнения периодов также полезны фиксированные когорты или единые правила включения объектов.
Компания сравнивала конверсию двух каналов. В первом периоде канал A дал 90 конверсий из 1 000 посещений, а канал B — 90 из 9 000. Во втором периоде конверсия A снизилась до 8%, B — до 0,9%, но доля трафика A значительно выросла. В результате общая конверсия могла увеличиться из-за изменения структуры трафика, а не из-за улучшения каналов.
Рассматривались три варианта. Оставить только общий KPI было просто, но это скрывало причину изменения. Показывать только показатели каналов повышало диагностическую ценность, но мешало быстро оценивать бизнес-итог. Использовать общий KPI вместе с конверсиями, объёмами трафика и изменением долей оказалось более сбалансированным решением: руководитель видел итог, а аналитик мог объяснить его источники.
После такого изменения команда перестала трактовать рост общей конверсии как автоматическое улучшение рекламы. В отчёте стали отдельно обсуждать эффективность каналов и микс трафика, что снизило риск неверного перераспределения бюджета.
1. Достаточно ли показать конверсию каждого сегмента, чтобы исключить парадокс Симпсона?
Нет. Нужно также показать объём наблюдений или долю каждого сегмента. Две одинаковые конверсии при существенно разных объёмах имеют разный вклад в общий показатель. Без весов пользователь не поймёт, почему сегментная динамика и итоговая метрика расходятся.
2. Всегда ли следует заменять общий показатель средним значением по сегментам?
Нет. Простое среднее сегментных показателей придаёт одинаковый вес малым и крупным сегментам и может само исказить бизнес-смысл. Выбор между взвешенной и невзвешенной агрегацией должен соответствовать вопросу: оценивается ли результат всей совокупности или типичный сегмент.
3. Может ли расхождение возникнуть из-за ошибки данных, а не из-за изменения структуры?
Да. Нужно проверить дубли, пропуски, изменение определения события, фильтры, правила принадлежности к сегменту и задержки загрузки. Если состав объектов или метод расчёта изменился, наблюдаемое расхождение нельзя уверенно объяснять только математическим эффектом перераспределения весов.