Предложите способ повысить чувствительность A/B-теста без увеличения его длительности за счёт данных до эксперимента.
Используйте CUPED или другой вариант ковариатной корректировки: включите в анализ предэкспериментальную метрику пользователя, связанную с целевой метрикой. Это снижает дисперсию оценки эффекта и помогает обнаружить меньший эффект при том же размере выборки, не меняя саму рандомизацию.
Метрика до эксперимента должна быть измерена до воздействия варианта. Данные, появившиеся после назначения варианта, для такой корректировки использовать нельзя: они могут быть следствием самого эксперимента и исказить результат.
Классический A/B-тест сравнивает средние значения метрики в случайно сформированных группах. Даже при корректной рандомизации случайные различия между пользователями создают шум, поэтому небольшой реальный эффект может оказаться статистически неразличимым.
Ковариатная корректировка появилась как способ использовать уже доступную информацию о пользователях, не отказываясь от рандомизированного дизайна. Исходная проблема — не смещение среднего эффекта, а слишком большая дисперсия его оценки.
Предположим, продукт проверяет изменение интерфейса, а целевая метрика — число заказов на пользователя за время эксперимента. Пользователи сильно различаются по своей обычной активности: небольшая группа часто совершает заказы, большинство — редко.
Если просто сравнить средние значения между вариантами, итог может быть слишком шумным. Команда потратит больше времени на тест или не заметит практически важное улучшение и примет решение о запуске только из-за недостаточной чувствительности анализа.
Нельзя решать проблему, подбирая пользователей по их результату во время эксперимента или исключая неудобные наблюдения после просмотра эффекта. Это нарушает принцип анализа, заданный до эксперимента, и может создать смещение.
Для каждого пользователя берут две величины: X — значение связанной метрики до эксперимента, и Y — целевую метрику во время эксперимента. Затем из Y удаляют компонент, предсказуемый по X: скорректированная метрика имеет вид Y минус коэффициент корректировки, умноженный на отклонение X от среднего X.
Коэффициент обычно оценивают как ковариацию X и Y, делённую на дисперсию X. Если предэкспериментальная активность хорошо связана с активностью во время теста, пользователи с высокой и низкой базовой активностью сравниваются более справедливо, а случайный шум уменьшается.
При корректной рандомизации и использовании только предэкспериментальной информации ожидаемая разница между группами сохраняет интерпретацию причинного эффекта. Выигрыш появляется в дисперсии: чем сильнее связь X и Y, тем больше потенциальное снижение шума.
Важные ограничения:
Альтернативы — увеличить выборку, продлить эксперимент, использовать стратификацию или более точную модель. Увеличение выборки и длительности требует больше времени и трафика, стратификация должна быть предусмотрена заранее, а сложная модель повышает требования к валидации и интерпретации. CUPED привлекателен, когда историческая метрика уже есть и нужен выигрыш в чувствительности без изменения продолжительности теста.
Команда проверяет новый экран оплаты. Целевая метрика — выручка на пользователя за две недели, но она имеет высокую дисперсию: часть пользователей покупает много, а большинство не покупает ничего. Для пользователей известна выручка за две недели до начала эксперимента.
Рассматривались три варианта. Продлить тест было бы просто, но отложило бы релиз и увеличило стоимость эксперимента. Увеличить долю трафика означало бы быстрее получить результат, но повысило риск воздействия непроверенного экрана на большее число пользователей. Использовать постэкспериментальные покупки как признак для корректировки было бы некорректно, поскольку новый экран мог повлиять на эти покупки.
Команда выбрала CUPED с выручкой до эксперимента как ковариатой. Процедуру, окно данных и правила обработки пропусков зафиксировали до финального сравнения, затем отдельно проверили, что предэкспериментальная метрика не зависит от назначения варианта.
В результате оценка эффекта сохранила исходный смысл, но доверительный интервал стал уже. Это не гарантирует статистической значимости и не увеличивает сам эффект: метод лишь уменьшает шум, поэтому решение всё равно принимали по интервалу, guardrail-метрикам и практической ценности изменения.
Нет, если эта активность потенциально зависит от варианта. Она уже находится после воздействия и может быть промежуточным результатом эксперимента. Корректировка по такой переменной способна удалить часть реального эффекта или создать смещение через условное сравнение пользователей.
Безопасный вариант — использовать только данные, полностью сформированные до назначения варианта. Если нужна динамическая информация, следует заранее определить причинную модель и метод анализа, а не просто добавлять наиболее удобный признак в регрессию.
Снижение дисперсии будет небольшим или отсутствует. При корректной реализации метод не должен магически повышать эффект: он использует объяснимую часть вариативности, поэтому слабый предиктор не даёт существенного выигрыша.
Плохая связь может возникнуть из-за слишком далёкого окна, смены поведения пользователей, сезонности или несоответствия метрик. В таком случае лучше не усложнять анализ без пользы и оценить обычную метрику либо подобрать более релевантную историческую характеристику.
Нет. Он уменьшает шум внутри корректно спроектированного эксперимента, но не устраняет систематическое нарушение назначения вариантов, утечку воздействия или сильный дисбаланс из-за ошибки эксперимента.
Если группы различаются по предэкспериментальной метрике сильнее ожидаемого, сначала нужно расследовать механизм рандомизации, попадание пользователей в варианты и полноту логирования. Ковариатная корректировка может учесть часть наблюдаемого различия, но не доказывает, что причинная оценка стала надёжной.