В A/B-тесте пользователи могут влиять на поведение друг друга через приглашения. Как это нарушает интерпретацию оценки эффекта?
Взаимное влияние пользователей нарушает предположение о независимости единиц эксперимента: результат одного пользователя зависит не только от его назначения, но и от назначений других. Поэтому разница между группами может отражать не чистый индивидуальный эффект функции, а смесь прямого и косвенного сетевого эффекта; её направление заранее неизвестно.
Классический рандомизированный эксперимент предполагает, что назначение воздействия одному участнику не меняет исход другого участника. Это упрощает сравнение групп: контрольная группа должна показывать, что произошло бы с участниками тестовой группы без воздействия.
Такой подход хорошо работает для независимых покупок, просмотров или действий. В социальных, реферальных и двусторонних продуктах возникла отдельная проблема интерференции: воздействие распространяется между людьми, поэтому потенциальный исход пользователя зависит от состава окружения.
Предположим, приглашённый пользователь получает функцию, а затем приглашает друга из контрольной группы. Поведение друга уже частично определяется воздействием, хотя формально он относится к контролю.
В результате контроль перестаёт быть чистым контрфактическим сценарием. Оценка эффекта обычно становится смещённой к нулю при положительном распространении эффекта, но может быть завышена или даже изменить знак, если влияние создаёт конкуренцию или вытеснение.
Дополнительный риск — неверные стандартные ошибки. Пользователи из одной социальной или географической группы становятся зависимыми наблюдениями, поэтому обычный расчёт неопределённости может переоценить объём независимой информации и сделать вывод чрезмерно уверенным.
Нужно сначала определить, какой эффект требуется измерить. Прямой эффект — изменение поведения самого назначенного пользователя. Косвенный эффект — изменение поведения его контактов. Эффект политики в целом может включать оба компонента.
Если анализировать только индивидуальное назначение, смешение воздействий делает интерпретацию неоднозначной. Для оценки прямого эффекта можно рандомизировать целые кластеры, например сообщества или регионы, чтобы минимизировать контакты между тестом и контролем. Однако такой дизайн уменьшает число независимых единиц и обычно расширяет доверительные интервалы.
Другой вариант — рандомизация на уровне кластеров с анализом кластерных стандартных ошибок. Это корректнее отражает зависимость наблюдений, но не устраняет её содержательно: при малом числе кластеров оценки остаются нестабильными, а при сильных связях границы кластеров могут быть неадекватными.
Для сетевых продуктов применяют дизайн, в котором заранее задают долю подвергшихся воздействию пользователей внутри каждого кластера. Он позволяет отдельно оценивать прямое и сетевое влияние, но требует более сложной модели и больших выборок. Важно также заранее фиксировать окно измерения: поздние приглашения могут переносить эффект за пределы первоначального эксперимента.
Практический минимум — проверить долю пользователей, чьи контакты получили другое назначение, измерить интенсивность контактов между группами и провести анализ устойчивости при исключении или объединении связанных пользователей. Простое увеличение размера выборки проблему не решает: оно может лишь точнее измерить неправильно определённый эффект.
Сервис тестировал реферальную механику. Пользователей рандомизировали индивидуально, а основной метрикой была доля оплативших подписку. Пользователь из теста мог отправить приглашение другу из контроля, после чего друг получал часть преимуществ новой механики.
Рассматривались три варианта. Оставить индивидуальную рандомизацию было дёшево и статистически эффективно, но контроль загрязнялся. Исключить всех пользователей с контактами из другой группы было проще для интерпретации, однако это создавало новый отбор и уменьшало выборку. Рандомизировать целые регионы снижало смешение, но требовало больше времени и имело меньше независимых единиц.
Выбрали региональную рандомизацию, заранее проверив, что внутри регионов достаточно пользователей и что переходы между регионами редки. Эффект интерпретировали как влияние запуска в регионе, включая распространение через приглашения. Это соответствовало бизнес-вопросу: как изменится результат при внедрении механики для всего региона, а не только для непосредственно назначенных пользователей.
Нет. Она уменьшает обмен воздействием между группами только при удачном выборе кластеров. Если пользователи активно взаимодействуют через границы регионов, платформ или сообществ, загрязнение сохраняется. Кроме того, кластерная рандомизация не устраняет зависимость внутри кластера — её нужно учитывать при расчёте стандартных ошибок и мощности.
Обычно этого недостаточно. Контакт после рандомизации может быть следствием самого воздействия и потому выступать посттритментной переменной. Условие на неё может породить смещение отбора, а коэффициент при назначении уже не будет простым причинным эффектом. Такой признак полезен для диагностики и описания механизма, но не автоматически исправляет дизайн.
Нужно заранее выбрать estimand: прямой эффект на назначенного пользователя, косвенный эффект на его контакты или общий эффект изменения правил для популяции. Эти величины могут различаться по знаку и масштабу. Если бизнес планирует массовый запуск, чаще релевантен общий эффект политики; если оценивается ценность функции для активировавшего пользователя — прямой эффект, но его нельзя безоговорочно получить из дизайна с сильным смешением воздействий.