В наблюдательных данных связь между скидкой и повторными покупками исчезла после учета канала привлечения. Какой механизм объясняет исходную связь?
Исходную связь, вероятно, объяснял конфундинг: канал привлечения влиял и на вероятность получить скидку, и на вероятность повторной покупки. До учета канала скидка частично выступала маркером состава аудитории, а не доказательством собственного причинного эффекта.
Проблема конфундинга возникла из необходимости отличать наблюдаемую ассоциацию от причинного влияния. В реальных данных группы часто формируются неслучайно: пользователи сами выбирают канал, продукт или тариф, а бизнес назначает предложения с учетом их характеристик.
Рандомизированные эксперименты уменьшают такой риск, потому что воздействие распределяется случайно. Когда эксперимент невозможен, аналитики используют стратификацию, регрессионную корректировку, сопоставление и другие методы контроля наблюдаемых факторов.
Пусть пользователи из рекламного канала чаще получают скидку и одновременно чаще возвращаются из-за более высокой исходной лояльности. Тогда простое сравнение покупателей со скидкой и без нее смешивает два эффекта: влияние скидки и влияние различий между каналами.
Если принять исходную связь за причинную, компания может расширить скидки на всех пользователей. Это способно привести к лишним затратам, потому что часть ожидаемого роста повторных покупок была бы получена и без скидки благодаря особенностям привлеченной аудитории.
Исчезновение связи после корректировки — сильный признак конфундинга, но не автоматическое доказательство отсутствия эффекта скидки. Вывод зависит от качества измерения канала, полноты учета других факторов и корректности выбранной модели.
Конфундер — это переменная, связанная с воздействием и исходом, которая создает смешение эффектов при некорректном сравнении групп. В примере канал привлечения связан с назначением скидки и с повторной покупкой, поэтому его необходимо учитывать при оценке связи.
До корректировки можно увидеть большую долю повторных покупок среди получивших скидку. После сравнения пользователей внутри одного канала различие может уменьшиться или исчезнуть: сравнение становится ближе к сравнению сопоставимых групп.
Корректировка не превращает наблюдательное исследование в эксперимент. Она устраняет только влияние учтенных и корректно измеренных факторов, а скрытый конфундер, например исходная мотивация пользователя, может по-прежнему искажать результат.
Важно не корректировать переменную автоматически. Если она возникла после назначения скидки и является промежуточным звеном ее действия, контроль такой переменной может удалить часть реального эффекта. Если переменная является результатом совместного влияния скидки и другого фактора, корректировка может, наоборот, создать новое искажение.
Нужны также достаточное перекрытие групп по значениям канала и других признаков, надежные измерения и заранее обоснованная причинная схема. Если в некотором канале почти нет пользователей без скидки, эффект скидки в нем нельзя надежно оценить простым сравнением.
Интернет-магазин заметил, что пользователи со скидкой на первую покупку чаще оформляют второй заказ. Аналитики рассмотрели три варианта: сравнить общие доли повторных покупок, построить модель с учетом канала привлечения или провести рандомизированный эксперимент.
Общее сравнение было быстрым и простым, но смешивало эффект скидки с различиями каналов. Регрессионная корректировка была дешевле эксперимента и позволила учесть несколько известных факторов, однако зависела от полноты данных и формы модели. Эксперимент давал наиболее надежную оценку причинного эффекта, но требовал времени, ограничения размера скидки и контроля побочных метрик.
Выбрали эксперимент: внутри каждого заранее определенного канала пользователей случайно распределили между вариантами со скидкой и без нее. Основным результатом считали повторную покупку в фиксированный период, а также отслеживали маржу и число пользователей, отказавшихся от покупки без скидки.
Такой дизайн отделяет влияние скидки от различий каналов. Наблюдательную модель сохранили как диагностический инструмент, но не использовали как единственное основание для изменения политики скидок.
Нет. Контроль канала устраняет только его вклад при условии, что канал измерен правильно и действительно является источником смешения. Могут остаться скрытые факторы: намерение купить, прошлое поведение, сезонность, доход или правила назначения скидки.
Для причинной интерпретации требуется условие отсутствия неучтенного смешения относительно включенных факторов. В наблюдательных данных это условие нельзя полностью проверить одними статистическими тестами, поэтому важны предметная область, временной порядок событий и чувствительность вывода к возможным скрытым факторам.
Конфундер существует до воздействия и влияет и на вероятность получить скидку, и на исход. Посредник возникает после воздействия и передает часть его эффекта на исход, например скидка повышает использование сервиса, а уже использование повышает вероятность повторной покупки.
Контроль посредника отвечает на другой вопрос: каков прямой эффект скидки без пути через этот посредник. Если нужен общий эффект скидки, посредника обычно не включают в базовую корректировку; если нужен именно прямой эффект, его роль моделируют отдельно и аккуратно.
Это может означать, что исходная ассоциация полностью объяснялась учтенным конфундером. Но возможны и другие причины: стало меньше эффективного объема данных, группы плохо перекрываются, модель задана неверно, измерения шумные или реальный эффект мал.
Поэтому нельзя автоматически заключать, что скидка бесполезна. Нужно проверить оценки и доверительные интервалы, размер групп внутри страт, качество модели, устойчивость результата к альтернативным спецификациям и, по возможности, подтвердить вывод рандомизированным экспериментом.