В исследовании оттока аналитик исключил клиентов, закрывших аккаунт до конца окна наблюдения, считая их неполными наблюдениями. Какое искажение возникает?
Возникает смещение выживших: из анализа удаляют как раз клиентов, у которых произошло интересующее событие — отток. В результате отток систематически недооценивается, а удержание выглядит лучше, чем есть на самом деле.
Обычные методы сравнения долей плохо работают, когда у объектов разная длительность наблюдения. Для таких задач появились методы анализа времени до события, включая анализ выживаемости: они позволяют учитывать и факт события, и то, как долго объект наблюдался.
Исходная проблема состоит в различении двух случаев: событие действительно не произошло или наблюдение завершилось раньше, поэтому событие уже нельзя было увидеть. Смешивание этих случаев приводит к ошибочному выводу.
Клиент, закрывший аккаунт на десятый день, не является неполным наблюдением для анализа оттока: его отток уже зафиксирован. Если исключить такого клиента, выборка будет состоять преимущественно из тех, кто продолжил пользоваться продуктом или оставался доступным для наблюдения.
Это особенно опасно, если вероятность попасть в исключённую группу связана с поведением клиента, качеством продукта или вариантом эксперимента. Тогда меняются не только размер выборки и статистическая мощность, но и сама оцениваемая совокупность.
Клиентов, у которых отток произошёл до конца окна, нужно считать событиями с известным временем наступления. Клиентов, у которых наблюдение завершилось по внешней причине до оттока, следует считать цензурированными: известно, что до момента последнего наблюдения они не ушли, но дальнейшая судьба неизвестна.
Для оценки удержания при разной длительности наблюдения применяют, например, кривые Каплана—Майера, модели пропорциональных рисков или методы, учитывающие правое цензурирование. Ключевое предположение — цензурирование не должно зависеть от будущего времени оттока после учёта доступных факторов. Если уход из наблюдения информативен, нужны дополнительные модели, взвешивание или анализ чувствительности.
Нельзя автоматически считать любой пропуск события цензурированием. Если отсутствие данных означает, что клиент перестал пользоваться сервисом, это может быть самим проявлением оттока. Также важно заранее определить момент старта наблюдения, окно анализа и критерий события, иначе сравнение когорт будет некорректным.
Команда сравнивала удержание после регистрации в двух версиях продукта. В первом варианте пользователей, ушедших до 30-го дня, исключили как пользователей с неполной историей. Во втором варианте их учитывали как ушедших, а пользователей, потерянных из-за технического сбоя трекинга, цензурировали на момент последнего корректного события.
Первый подход был проще, но искусственно повышал удержание и сильнее искажал вариант, где ранний отток был выше. Второй подход требовал определить причины окончания наблюдения и использовать анализ времени до события, зато сохранял информацию об известных оттоках. Его выбрали, потому что он соответствовал бизнес-вопросу и не удалял целевое событие; после исправления методики оценка 30-дневного удержания снизилась, а разница между вариантами стала меньше.
Нет. Цензурирование означает, что событие не наблюдалось до момента окончания наблюдения, а причина окончания не является самим событием. Если клиент удалил аккаунт, это обычно наблюдаемый отток, а не цензурирование. Если же трекинг перестал работать или завершилось исследование, наблюдение может быть правосторонне цензурировано.
Можно, если у всех клиентов одинаковое и достаточное окно наблюдения и нет существенной потери данных. При разной длительности наблюдения такая доля смешивает клиентов, которых наблюдали долго, с клиентами, для которых ранний отток ещё невозможно было обнаружить. В этом случае предпочтительнее метод, учитывающий время до события и цензурирование.
Это нарушение предположения о неинформативном цензурировании. Простое исключение таких клиентов или стандартный анализ выживаемости может недооценить риск оттока. Следует исследовать причины потери данных, использовать доступные предикторы для взвешивания или моделирования вероятности наблюдения и показать анализ чувствительности при разных сценариях для пропущенных исходов.