Функция влияет на всю команду, но участников A/B-теста случайно распределили по пользователям. Чем опасна такая схема?
Такая схема нарушает независимость наблюдений: пользователи одной команды могут влиять друг на друга и фактически получать смешанное воздействие вариантов. В результате эффект может размыться или исказиться, а статистическая значимость — оказаться завышенной из-за недооценки реальной вариативности.
Классические A/B-тесты развивались вокруг предположения, что единица рандомизации одновременно является независимой единицей воздействия и анализа. Для индивидуальных функций это часто пользователь, но для командных, социальных и сетевых продуктов воздействие распространяется между связанными объектами.
Проблема получила практическое значение по мере распространения совместных документов, рабочих пространств, командных тарифов и социальных функций. Для них важно учитывать не только назначение варианта конкретному пользователю, но и структуру связей между пользователями.
Представим, что одному участнику команды показали новую функцию, а другим — старую. Они продолжают работать вместе: обсуждают результат, используют общий документ или видят изменения, внесённые участником тестовой группы.
Тогда контрольная группа может частично получить эффект нового варианта, а тестовая — зависеть от поведения пользователей из контроля. Сравнение перестаёт быть чистым сравнением двух независимых условий.
Есть и статистический риск. Пользователи внутри одной команды обычно более похожи друг на друга, чем пользователи из разных команд, поэтому считать их полностью независимыми наблюдениями нельзя. Это может привести к слишком узким доверительным интервалам и ложной уверенности в результате.
Сначала нужно определить единицу воздействия: на каком уровне изменение реально влияет на поведение. Если функция меняет опыт всей команды, рабочей группы или организации, рандомизировать следует на этом же уровне либо на уровне, достаточно хорошо разрывающем взаимодействия.
Возможные варианты:
При кластерной рандомизации анализ также должен учитывать кластеры. Простая агрегация всех пользователей в одну выборку не решает проблему: она сохраняет зависимость наблюдений и может неверно оценить стандартную ошибку.
Главный компромисс — точность против чистоты эксперимента. Рандомизация по командам лучше защищает от взаимного влияния, но обычно уменьшает эффективный размер выборки: независимых команд меньше, чем пользователей. Для необходимой мощности может потребоваться больше кластеров или более длительный тест.
Если изменить единицу рандомизации нельзя, следует явно оценить риск spillover-эффекта, то есть распространения воздействия между вариантами. Полезно проверить долю пользователей, связанных с участниками другого варианта, провести анализ по степени контакта и не интерпретировать результат как чистый индивидуальный эффект без дополнительных оговорок.
Важно заранее определить, что именно оценивается: эффект назначения команды к варианту, эффект фактического использования функции или общий эффект запуска на связанную группу. Эти estimand могут различаться, особенно если часть пользователей взаимодействует с несколькими вариантами.
Сервис тестировал функцию совместной работы. Сначала пользователей распределили индивидуально, потому что такой дизайн давал больше объектов в выборке и был проще для запуска. Однако участники одной команды видели действия друг друга, поэтому контрольные пользователи могли пользоваться результатами тестовой функции косвенно.
Рассматривались три варианта. Сохранить пользовательскую рандомизацию было дёшево и обеспечивало больше наблюдений, но создавало сильное смешение вариантов. Исключить пользователей из команд уменьшало взаимное влияние, но ухудшало репрезентативность и сокращало выборку. Рандомизировать команды было методологически надёжнее, однако требовало учитывать различия в размере команд и увеличивало требования к числу кластеров.
Выбрали рандомизацию по командам, стратифицировав её по размеру и типу использования. Анализ проводили на уровне команды с учётом кластерной вариативности. Такой дизайн позволил интерпретировать результат как влияние функции на совместную работу, а не как искусственно изолированный эффект для отдельных пользователей.
1. Достаточно ли просто агрегировать метрику на уровне команды после пользовательской рандомизации?
Нет. Агрегация может уменьшить видимое влияние отдельных выбросов, но не устраняет смешение вариантов и не восстанавливает чистое назначение воздействия. Если внутри команды присутствуют пользователи обоих вариантов, сама команда остаётся подвергнутой неоднородному воздействию.
Агрегация на уровне команды уместна, когда команда была единицей рандомизации либо когда выбранная модель корректно описывает пользовательские связи и цель анализа. В противном случае это лишь изменение способа подсчёта, а не исправление дизайна эксперимента.
2. Почему рандомизация по командам может потребовать гораздо большей выборки, хотя пользователей в тесте много?
Потому что информативное число независимых наблюдений определяется прежде всего числом независимых команд, а не числом пользователей. Пользователи одной команды имеют коррелированные исходы, поэтому добавление ещё одного участника в уже представленную команду даёт меньше новой информации, чем добавление отдельной команды.
Чем сильнее внутрикластерная корреляция и чем неравномернее размеры команд, тем больше потери эффективной мощности. Поэтому до запуска оценивают число кластеров, распределение их размеров и ожидаемую внутрикластерную зависимость.
3. Всегда ли взаимодействие пользователей делает пользовательскую рандомизацию непригодной?
Нет. Важны масштаб и направление взаимодействия. Если контакты между вариантами редки, а потенциальный spillover мал относительно ожидаемого эффекта, пользовательская рандомизация может быть приемлемой при явном контроле риска.
Но для функций, предназначенных именно для совместной работы, даже небольшое число смешанных команд может систематически менять поведение обеих групп. Решение принимают не по наличию любого взаимодействия, а по тому, насколько оно влияет на оцениваемый эффект и на интерпретацию результата.