В январской когорте retention выше декабрьской, но состав каналов привлечения изменился. Как проверить, что рост связан с продуктом, а не со сменой состава пользователей?
Нужно сравнить когорты не только в целом, но и внутри сопоставимых сегментов, прежде всего каналов привлечения. Если рост retention исчезает после такой стратификации или объясняется увеличением доли сильных каналов, это эффект изменения состава пользователей, а не доказанный эффект продукта.
Когортный анализ появился как способ отделить поведение пользователей на разных этапах жизненного цикла от динамики общей метрики. Средний retention по всем пользователям может меняться из-за того, что в продукт пришло больше пользователей определённого типа, даже если поведение внутри каждого типа осталось прежним.
Поэтому когорты обычно дополнительно рассматривают по признакам, связанным с качеством и сценарием использования: каналу привлечения, стране, платформе, тарифу или типу клиента.
Сравнение январской и декабрьской когорт в целом смешивает два эффекта: изменение поведения пользователей внутри сегментов и изменение долей самих сегментов. Например, канал с традиционно высоким retention мог резко вырасти в январе и поднять общий показатель без какого-либо изменения продукта.
Ошибочный вывод приведёт к запуску неэффективных продуктовых изменений или к неверной оценке маркетинговых каналов. Дополнительный риск возникает, если состав пользователей изменился одновременно с релизом: по одним когортным данным нельзя надёжно отделить влияние продукта от влияния аудитории.
Сначала нужно зафиксировать одинаковое определение retention: событие возврата, окно наблюдения, дату начала когорты и правила исключения пользователей. Затем retention рассчитывают отдельно для каждого значимого сегмента и сравнивают январь с декабрём внутри сегментов.
Если различия внутри сегментов малы, а общий retention заметно вырос, наиболее вероятно изменение композиции. Если рост наблюдается устойчиво в большинстве сегментов, гипотеза о влиянии продукта становится сильнее, но всё ещё не доказывается: могли одновременно измениться сезонность, маркетинговые сообщения или внешние условия.
Для агрегированного сравнения можно использовать стандартизацию: взвесить retention каждой когорты по одной и той же структуре каналов, например по декабрьским долям. Это отвечает на вопрос: каким был бы январский retention, если бы состав каналов остался декабрьским.
Стандартизация полезна для описательного анализа, но не заменяет эксперимент. Она корректирует только учтённые признаки и предполагает, что сегменты достаточно точно описывают различия между пользователями. Неучтённые факторы, изменение качества трафика внутри канала и малые размеры сегментов могут сохранять смещение.
Для принятия решения следует сопоставить сегментированный анализ с календарём релизов, изменениями маркетинга и сезонностью. Если эффект важен для бизнеса, его лучше проверять контролируемым экспериментом или квазиэкспериментальным дизайном, а не интерпретировать рост агрегированного retention как причинный эффект.
После запуска нового онбординга D30-retention январской когорты вырос с 18% до 22%. Одновременно доля органического трафика увеличилась, а органические пользователи исторически удерживались лучше пользователей рекламного канала.
Рассматривались три варианта. Сравнение общих значений было быстрым, но смешивало эффект онбординга и изменение трафика. Простое сравнение каналов выявляло неоднородность, но не давало единого сопоставимого показателя. Стандартизация январской когорты по декабрьским долям каналов позволяла убрать основной композиционный эффект, хотя зависела от полноты сегментации.
Выбрали сегментированный анализ и стандартизацию, после чего пересчитанный рост составил лишь 0,5 процентного пункта. На этом основании не стали приписывать весь рост онбордингу и продолжили проверку через эксперимент с одинаковым распределением трафика между вариантами.
Нет. Канал может быть слишком грубым признаком: внутри него различаются кампании, рекламные объявления, страны и намерение пользователя. Кроме того, состав пользователей внутри одного канала тоже может измениться, поэтому нужны дополнительные страты или модель с проверкой устойчивости результата.
Взвешивание по текущим долям описывает фактический результат конкретного периода и сохраняет влияние изменения состава. Стандартизация использует единую референсную структуру долей для всех сравниваемых периодов, поэтому позволяет оценить метрику при одинаковом составе. Референсную структуру нужно выбирать осознанно и явно фиксировать.
Нет. Эффект может проявляться только в отдельных подгруппах, быть слишком малым для обнаружения или компенсироваться ухудшением в других сегментах. Кроме того, сегментирование уменьшает размер выборки и снижает статистическую мощность, поэтому отсутствие различий следует трактовать как неопределённость, а не как доказательство отсутствия эффекта.