После отбора только пользователей, завершивших онбординг, связь между рекламным каналом и удержанием стала отрицательной. Какой механизм может создать такой результат?
Такой результат может быть следствием смещения из-за обусловливания на коллайдере. Завершение онбординга зависит одновременно от рекламного канала и от скрытой мотивации пользователя, которая связана с удержанием. Отбор только завершивших онбординг открывает искусственную зависимость между каналом и мотивацией, поэтому наблюдаемая связь с удержанием может стать отрицательной даже без причинного вреда от канала.
Проблема отбора возникла вместе с анализом наблюдательных данных, где исследователь не управляет тем, кто попадает в изучаемую группу. Ограничение выборки по уже произошедшему событию часто кажется способом повысить качество данных, но может изменить структуру зависимостей между признаками.
Для формализации таких ситуаций используют причинные графы. Они помогают отличать общую причину, которую нужно контролировать, от общего следствия, контроль которого, наоборот, создаёт искажение.
Пусть рекламный канал влияет на вероятность завершить онбординг. Одновременно скрытая мотивация пользователя влияет и на завершение онбординга, и на последующее удержание.
Если анализировать всех пользователей, эта структура сама по себе не создаёт необходимости сравнивать только завершивших онбординг. Но при отборе по завершённому онбордингу в выборке остаются пользователи с необычными сочетаниями факторов: например, менее мотивированные пользователи, дошедшие до конца благодаря сильному воздействию канала.
В результате сравнение каналов среди отобранных пользователей может показывать ложную отрицательную связь. Ошибка особенно опасна, если такой результат интерпретируют как доказательство того, что рекламный канал ухудшает удержание.
В причинном графе ситуацию можно представить так: рекламный канал влияет на завершение онбординга, скрытая мотивация также влияет на завершение онбординга, а мотивация влияет на удержание. Завершение онбординга является коллайдером — переменной, в которую входят стрелки от двух причин.
До отбора пути между рекламным каналом и мотивацией через этот общий эффект закрыт. Условие завершённого онбординга открывает путь через коллайдер, создавая зависимость между каналом и мотивацией. Если мотивация связана с удержанием, эта искусственная зависимость переносится на оценку связи канала с удержанием.
Нельзя автоматически исправить проблему добавлением всех доступных признаков в модель. Сначала нужно определить временной порядок переменных и их причинную роль. Переменные, являющиеся общими причинами воздействия и исхода, обычно рассматривают как кандидатов для контроля; общие следствия воздействия и исхода контролировать без специального обоснования не следует.
Практически лучше оценивать эффект канала в заранее определённой популяции, не отбирая пользователей по событию, которое произошло после воздействия. Если анализ завершивших онбординг необходим для отдельного бизнес-вопроса, его следует явно трактовать как условный анализ, исследовать чувствительность к скрытой мотивации и не выдавать за общий причинный эффект.
Команда сравнивала рекламные каналы по удержанию и заметила отрицательный результат только среди пользователей, завершивших онбординг. Были рассмотрены три варианта: объявить канал неэффективным, добавить завершение онбординга как обычный контрольный признак или вернуться к анализу всей заранее определённой когорты.
Первый вариант был отклонён, поскольку отбор происходил после контакта с рекламой. Второй вариант мог усилить смещение: модель явно обусловливала анализ на переменной, являющейся общим следствием канала и мотивации. Выбран был третий вариант — оценка удержания среди всех пользователей с контролем предэкспозиционных характеристик; анализ завершивших онбординг оставили только как описательный.
Так команда разделила общий эффект канала и поведение внутри отобранной подгруппы. Это не доказывает отсутствия реального эффекта внутри подгруппы, но предотвращает ошибочный вывод о вреде канала для всей аудитории.
Конфаундер является общей причиной воздействия и исхода. Контроль конфаундера обычно помогает закрыть ложный путь сравнения. Коллайдер является общим следствием воздействия и другой причины; контроль коллайдера, напротив, может открыть ранее закрытый путь и создать смещение.
Нет. Изменение коэффициента является сигналом, но не доказывает конкретную причинную структуру. Нужно установить временной порядок, определить возможные направления влияния и сравнить обоснованные причинные модели. Статистическое изменение само по себе не показывает, была ли переменная конфаундером, медиатором или коллайдером.
Иногда можно оценивать специальный условный или локальный эффект, но это требует более сильных предположений и чёткого определения целевой совокупности. Простое сравнение каналов среди завершивших онбординг не является общим эффектом для всех пользователей. Если событие отбора зависит от нескольких причин, стандартная корректировка регрессией может не устранить смещение и даже закрепить его.