После внедрения процесса среднее время обработки заявок не изменилось. Как аналитику проверить, не скрывает ли этот показатель разнонаправленные изменения по сегментам?
Нужно разложить показатель по заранее обоснованным сегментам и сравнить их до и после изменения, одновременно проверив объёмы заявок и определение знаменателя. Неизменное общее среднее может скрывать улучшение в одном сегменте и ухудшение в другом из-за изменения их долей.
Агрегированные показатели применяются для компактного контроля процессов, но ещё в статистическом анализе качества было замечено, что сводный результат может противоречить результатам отдельных групп. Этот эффект обычно связывают с парадоксом Симпсона: направление зависимости в совокупности меняется или исчезает после разделения данных на группы.
Потребность в стратификации возникла потому, что среднее значение удобно для отчётности, но не всегда отражает поведение процесса. Разбиение данных на однородные группы помогает отличить изменение самого процесса от изменения состава потока.
Допустим, после внедрения нового маршрута обработки среднее время осталось равным 10 минутам. Это не означает, что процесс не изменился: сложные заявки могли обрабатываться быстрее, а простые — медленнее, либо доля этих типов заявок могла измениться.
Ошибка особенно вероятна, если сегменты различаются по сложности, каналу поступления, региону, типу клиента или уровню срочности. Неверный вывод может привести к отмене полезного решения, распространению вредного процесса или несправедливой оценке подразделений.
Сначала нужно определить, какие сегменты имеют бизнес-смысл и могут влиять на время обработки. Сегмент должен быть доступен в данных, достаточно устойчивым во времени и не должен создаваться только после получения желаемого результата. Например, можно разделить заявки по сложности, каналу поступления и срочности.
Затем для каждого сегмента сравнивают период до и после изменения:
Важно сопоставлять одинаковые единицы анализа. Если до внедрения считалось календарное время от регистрации до закрытия, а после — только рабочее время исполнителя, сравнение будет некорректным независимо от качества сегментации.
После этого проверяют взвешивание. Общее среднее является результатом объединения сегментов с учётом их объёмов. Если доля быстрого сегмента выросла, общий показатель может улучшиться даже при ухудшении каждого отдельного сегмента; обратная ситуация также возможна.
Практический вывод должен опираться не на одно среднее, а на таблицу изменений по сегментам и на распределение результатов. Если сегменты показывают противоположную динамику, решение оценивают отдельно для каждого сегмента, а общий KPI дополняют показателями состава потока.
У сегментации есть ограничения. Слишком мелкое разбиение создаёт малые выборки и нестабильные выводы, а слишком крупное скрывает важные различия. Кроме того, сегментирующий признак может быть связан с самим процессом: например, новый маршрут меняет классификацию заявок. В таком случае нужно зафиксировать правила классификации и проверить их сопоставимость между периодами.
В сервисном центре после внедрения автоматической маршрутизации среднее время закрытия заявки осталось на уровне 12 часов. Руководитель сделал вывод, что автоматизация не дала эффекта.
Аналитик разделил заявки на стандартные и требующие согласования. В стандартном сегменте медиана снизилась с 8 до 4 часов, а в сегменте согласований выросла с 24 до 32 часов. Одновременно доля сложных заявок увеличилась с 30 до 50 процентов, поэтому общее среднее не изменилось.
Рассматривались два варианта. Можно было сохранить единый KPI: это проще для отчётности, но он скрывал различия и не подсказывал, где возникла проблема. Можно было полностью заменить среднее медианой: это уменьшило бы влияние выбросов, но не решило бы проблему смешения сегментов.
Выбрали комбинацию: время и соблюдение SLA стали контролироваться отдельно по типу заявки, а общий показатель оставили только как сводный. Для сложных заявок дополнительно проверили этап согласования. В результате стало видно, что автоматизация улучшила стандартный поток, но создала задержку на передаче сложных заявок; работу сосредоточили на этом переходе, а не отменили всё решение.
1. Достаточно ли заменить среднее медианой?
Нет. Медиана меньше зависит от экстремально долгих заявок, но также может скрывать различия между группами. Если один сегмент улучшился, а другой ухудшился, ни среднее, ни медиана по всей совокупности не покажут причину. Сначала нужна осмысленная стратификация, затем выбор подходящих метрик внутри сегментов.
2. Как выбрать сегменты, чтобы не получить случайные выводы?
Сегменты выбирают на основании механизма процесса и потенциальных различий в результате, а не только по тому, где обнаружилась красивая цифра. Нужно заранее описать правило разбиения, проверить достаточный объём наблюдений и сохранить его неизменным в сравниваемых периодах. Если групп слишком много, применяют укрупнение или объединяют редкие категории по содержательному признаку.
3. Что делать, если после внедрения изменился состав сегментов?
Нельзя напрямую интерпретировать общее изменение как изменение эффективности процесса. Следует сравнить результаты внутри сопоставимых сегментов, отдельно показать изменение их долей и при необходимости рассчитать стандартизированный итог с фиксированными весами, например весами базового периода. Такой показатель отвечает на вопрос, каким был бы общий результат при неизменном составе потока, но не заменяет анализ причин изменения состава.