Команда измерила метрику у тех же клиентов до и после изменения. Как повлияет применение теста для независимых выборок вместо парного сравнения?
Применение теста для независимых выборок игнорирует зависимость измерений внутри одного клиента. При положительной корреляции показателей до и после изменения это обычно завышает оценку стандартной ошибки, снижает статистическую мощность и может скрыть реальный эффект. При отрицательной корреляции, напротив, ошибка может быть занижена, а уровень ложноположительных выводов — вырасти.
Парные методы появились как способ анализировать связанные наблюдения: повторные измерения у одного объекта, сопоставленные пары или измерения до и после воздействия. Исходная проблема состояла в том, что различия между объектами создают шум, не относящийся к эффекту.
Вместо сравнения двух средних парный подход анализирует изменение внутри каждой пары. Это позволяет убрать часть постоянных индивидуальных различий, например привычный уровень активности конкретного клиента.
Пусть для клиента измерены значения до и после изменения: X и Y. Эти величины обычно зависимы: активные клиенты могут иметь высокие значения в обоих периодах, а неактивные — низкие.
Если обработать X и Y как независимые наблюдения, статистический тест использует неправильную модель вариабельности. В результате меняются стандартная ошибка, доверительный интервал и p-value, поэтому решение о наличии эффекта может оказаться неверным.
Для каждого клиента рассчитывают разность D = Y − X, а затем проверяют, отличается ли средняя разность от нуля. Для проверки обычно применяют парный t-тест, если распределение разностей приемлемо для такого метода, либо непараметрический или перестановочный метод при иных предпосылках.
Ключевая формула дисперсии разности имеет вид: Var(D) = Var(Y) + Var(X) − 2Cov(X, Y). При положительной ковариации последний член уменьшает дисперсию. Именно поэтому парный анализ часто дает более узкий доверительный интервал, чем независимое сравнение.
Парный тест не означает автоматически, что изменение вызвано экспериментом. На результат могут влиять сезонность, общий тренд, внешние события, изменение состава клиентов и регрессия к среднему. Для причинного вывода желательно наличие контрольной группы или другой схемы, позволяющей отделить эффект изменения от временных факторов.
Если часть клиентов имеет только одно измерение, такие наблюдения нельзя напрямую включить в обычный парный анализ. Нужно заранее определить правило формирования пар, проверить причины пропусков и оценить, не изменился ли состав анализируемой группы.
Сервис сравнивал число заказов у тех же клиентов за неделю до и неделю после запуска рекомендации. Аналитик применил тест для независимых выборок, поскольку в таблице были два столбца с метриками.
Рассматривались два варианта. Независимый тест был проще и допустим при действительно разных случайных группах, но игнорировал связь измерений одного клиента. Парный тест учитывал индивидуальный базовый уровень и обычно давал более точную оценку, однако требовал корректного сопоставления клиентов и одинакового определения окон наблюдения.
Выбрали парный анализ разностей, а причинный эффект дополнительно проверили относительно контрольной группы. Это позволило отделить изменение внутри клиентов от общего роста активности, который наблюдался и без рекомендации. В результате первоначальный эффект оказался меньше, чем показывало простое сравнение периодов, но его неопределенность была оценена корректнее.
Нет. Его преимущество зависит от корреляции между парными измерениями. При высокой положительной корреляции дисперсия разностей уменьшается, и парный тест обычно мощнее. При слабой корреляции выигрыш может быть небольшим, а при отрицательной корреляции парный анализ способен иметь большую дисперсию, чем независимое сравнение.
Нет. Парность означает не только совпадение идентификатора, но и содержательную сопоставимость наблюдений. Окна должны соответствовать друг другу, правила измерения — быть одинаковыми, а время между измерениями — не создавать систематическую несопоставимость. Если после изменения в анализе остаются только клиенты с повторным измерением, необходимо проверить, не связано ли наличие второй записи с исходом.
Оба подхода используют предэкспериментальную информацию, но формулируют модель по-разному. Парный анализ изучает разности внутри объектов и особенно естественен для дизайна до-после без независимых групп. Ковариатная корректировка моделирует итоговую метрику с учетом исходного значения и может быть эффективнее в рандомизированном эксперименте, но требует корректной спецификации модели и аккуратной обработки пропусков.
Ни один подход сам по себе не устраняет временные confounders. Если нет контрольной группы или другого обоснования причинной идентификации, результат следует интерпретировать как изменение во времени, а не как доказанный эффект вмешательства.