В A/B тесте новый интерфейс показывает более высокую конверсию в каждом канале привлечения отдельно, но более низкую конверсию при объединении всех пользователей. Как такое возможно и какой вывод о варианте интерфейса делать нельзя?

Question

Accepted Answer

Это парадокс Симпсона: общая конверсия зависит не только от результатов внутри каналов, но и от долей пользователей из каждого канала. Если новый интерфейс получил непропорционально много трафика из канала с изначально низкой конверсией, агрегированный показатель может стать хуже, хотя внутри каждого канала он лучше. Нельзя заключать, что новый интерфейс проигрывает, только по общей конверсии. Нужно сравнивать результаты со стратификацией по каналу или скорректировать эффект с учётом состава трафика.