Рекламная кампания привела к созданию нескольких аккаунтов одним человеком. Как это исказит когортный retention?
Если один человек представлен несколькими идентификаторами, когортный retention считается не по пользователям, а по их неполному набору аккаунтов. Это обычно раздувает размер когорт и может занижать retention, если активность распределена между аккаунтами, но направление искажения не гарантировано: повторная регистрация уже активного пользователя иногда создаёт и искусственный рост.
Когортный анализ возник как способ отделить изменения поведения пользователей от изменений состава аудитории во времени. Для него важно, чтобы объект наблюдения — обычно пользователь — имел устойчивую идентичность на всём интервале анализа.
В цифровых продуктах один человек может использовать несколько устройств, способов входа или аккаунтов. Поэтому продуктовой аналитике понадобились правила идентификации и объединения пользователей, иначе события одного человека попадают в разные когорты и метрики становятся несопоставимыми.
В знаменателе retention окажутся все созданные аккаунты, включая дубликаты. Если человек зарегистрировался повторно, первый аккаунт может считаться неактивным, хотя тот же человек продолжает пользоваться продуктом через второй.
Ошибка затрагивает не только retention. Она меняет размер когорт, распределение источников привлечения, конверсию по этапам воронки и оценку ценности рекламного канала. Сравнение кампаний становится особенно опасным, если одна из них сильнее провоцирует повторные регистрации.
Сначала нужно определить аналитическую единицу: аккаунт, устройство или человек. Для retention продукта чаще выбирают человека или устойчивый пользовательский профиль, но выбор зависит от бизнес-вопроса: например, для лицензирования аккаунт может быть корректной единицей, а для оценки возвращаемости человека — нет.
Затем задают правила дедупликации и объединения идентификаторов. Надёжнее использовать подтверждённые связи — авторизацию, подтверждённый номер или почту, — а не объединять пользователей только по слабым признакам вроде IP-адреса или совпадения устройства.
Когорту следует назначать по согласованному событию, например по первой подтверждённой регистрации человека. Повторная регистрация не должна создавать новую когорту, если это тот же субъект анализа. При этом нужно хранить исходные идентификаторы и версию правила объединения, чтобы изменения методологии не смешивались с изменениями поведения.
У дедупликации есть компромисс: слишком агрессивное объединение склеит разных людей и искусственно повысит retention, а слишком консервативное сохранит дубликаты и исказит метрику в другую сторону. Поэтому полезно отдельно контролировать долю объединённых профилей, сравнивать метрики до и после применения правила и анализировать чувствительность результата к спорным совпадениям.
После рекламной кампании команда увидела падение D30-retention. Проверка показала, что часть пользователей создавала новый аккаунт после переустановки приложения, а события активности записывались уже под новым идентификатором.
Рассматривались два варианта. Игнорировать проблему было проще, но это сохраняло несопоставимые когорты. Объединять аккаунты по устройству было быстрее, однако общий планшет и смена владельца создавали риск ошибочного склеивания. Команда выбрала подтверждённые связи между аккаунтами, а сомнительные случаи оставила отдельной группой.
После пересчёта retention на уровне объединённого профиля падение оказалось существенно меньше. В основном отчёте оставили скорректированную метрику, а долю пользователей с неопределённой идентичностью добавили как ограничение интерпретации результата.
1. Может ли дедупликация только улучшить retention?
Нет. Если объединить двух разных людей в один профиль, их активность будет ошибочно приписана одному пользователю. Такой профиль чаще окажется активным на поздних днях, поэтому retention искусственно вырастет.
Кроме того, объединение уменьшает знаменатель когорты. Поэтому направление изменения нужно проверять на данных, а не предполагать заранее.
2. Следует ли объединять аккаунты по общему устройству?
Само по себе общее устройство — слабое доказательство идентичности. Им могут пользоваться члены семьи, коллеги или разные посетители публичного места.
Такой сигнал можно применять для поиска кандидатов на объединение, но не как единственное основание. Нужны более надёжные признаки, оценка ошибок и, желательно, отдельный статус уверенности в результате сопоставления.
3. Как сравнивать старые и новые когорты после изменения правил идентификации?
Нельзя напрямую трактовать скачок метрики как изменение поведения. Сначала нужно пересчитать исторические данные по новой методологии, если это возможно, либо разделить отчёт на периоды и явно обозначить разрыв определения.
Практически полезно показать параллельный ряд: старое определение для обратной сопоставимости и новое — для актуального принятия решений. Решение о продукте следует принимать по одной стабильной методологии, а влияние самого изменения идентификации анализировать отдельно.