Исторически проблема скорости загрузки рассматривалась исключительно как инженерная метрика, но с внедрением Core Web Vitals в алгоритмы поиска и ростом мобильного трафика стало очевидно, что производительность — это продуктовая фича. Классические подходы к оценке влияния скорости сталкиваются с фундаментальной эндогенностью: пользователи с быстрыми устройствами и стабильным интернетом конвертируются лучше независимо от оптимизации сайта, что создаёт спуриальную корреляцию.
Проблема усугубляется при использовании Edge Computing и современных CDN-архитектур, где невозможно гарантировать консистентное разделение трафика на группы из-за агрессивного кэширования на граничных серверах. Кроме того, существует эффект самоотбора: пользователи с медленным соединением чаще покидают сайт до загрузки, что искажает распределение в выборке и делает невозможным чистое A/B-сравнение.
Оптимальное решение комбинирует Regression Discontinuity Design (RDD) на границе порога «хорошей» производительности (например, LCP = 2.5 секунды) с instrumental variables (IV) в качестве инструмента. В качестве инструментальной переменной используется географическая близость пользователя до ближайшего edge-сервера или тип подключения (3G vs 4G), что случайно влияет на скорость, но не коррелирует напрямую с намерением совершить покупку. Для когортного анализа применяется synthetic control method, где контрольная группа конструируется из исторических данных пользователей с аналогичной структурой устройств и геолокаций, что позволяет изолировать чистый эффект оптимизации от сезонности и макро-трендов.
В крупном e-commerce-проекте команда фронтенда провела революцию: перевела изображения на современные форматы (WebP, AVIF) с lazy-loading и оптимизировала критический путь рендеринга, снизив LCP с 4.2 секунды до 1.8 секунды среди пользователей с хорошим соединением. Продуктовая команда зафиксировала рост конверсии на 12% в срезе «после релиза», но возникли сомнения в причинно-следственной связи, так как параллельно запустилась сезонная рекламная кампания и обновился каталог товаров.
Вариант 1: Наивное сравнение когорт до и после
Аналитики предложили сравнить конверсию пользователей за неделю до оптимизации и неделю после, стратифицировав по регионам. Плюсы: простота реализации и отсутствие необходимости в сложной инфраструктуре. Минусы: полное игнорирование сезонности (предпраздничная неделя), различий в составе аудитории (новые пользователи пришли из рекламы с другим интентом) и выживания (survivorship bias) — медленные пользователи «пропали» из после-выборки, создавая иллюзию роста.
Вариант 2: Корреляционный анализ скорости vs конверсии
Второй подход предполагал построение регрессии, где независимой переменной был фактический LCP пользователя, а зависимой — факт конверсии. Плюсы: использование всех доступных данных и гранулярность до сессии. Минусы: фатальная эндогенность: пользователи с дорогими флагманами и быстрым интернетом изначально богаче и мотивированнее к покупке, а пользователи с дешёвыми устройствами на 3G имеют низкий intent-to-buy независимо от скорости сайта, что даёт коэффициент смещения вверх на 40-60%.
Вариант 3: Regression Discontinuity Design с географическим инструментом
Команда выбрала гибридный метод: использовала расстояние до ближайшего edge-сервера как инструментальную переменную, коррелирующую со скоростью, но не с покупательским поведением. Пользователи на границе зоны покрытия (где сигнал «ломается» и скорость резко падает до 2.6-2.8 секунд LCP) образовали локально-случайную выборку вокруг порога 2.5 секунд. Применив Local Average Treatment Effect (LATE) в окне ±0.3 секунды от порога, они измерили чистый эффект улучшения скорости для комплаеров (пользователей, чья скорость изменилась именно из-за инфраструктуры, а не устройства).
Выбранное решение и результат
Был реализован RDD+IV подход с дополнительной фильтрацией return-пользователей через анализ localStorage на предмет кэшированных ресурсов. Итоговая оценка показала, что истинный инкрементальный эффект оптимизации составил +8.5% к конверсии для новых пользователей и +3.2% для возвращающихся (где эффект новизны меньше), что позволило обосновать инвестиции в инфраструктуру Edge Computing с ROI 340% за год.
Почему стандартная OLS-регрессия производительности vs конверсии даёт смещённые оценки, и какой механизм эндогенности здесь доминирует?
Ответ заключается в двойной самоотборе (double selection bias): во-первых, пользователи с медленными устройствами систематически реже попадают в выборку «успешных сессий» (они отваливаются до загрузки), создая truncation bias; во-вторых, скорость интернета коррелирует с социально-экономическим статусом и географией, которые напрямую влияют на платёжеспособность. Без инструментальных переменных или RDD регрессия смешивает эффект «быстрого интернета как маркера богатства» с эффектом «быстрого сайта как триггера конверсии», переоценивая истинный causal effect в 1.5-2 раза.
Как кэширование на стороне клиента (client-side caching) и повторные визиты искажают оценку эффекта оптимизации в longitudinal-анализе, и какой метод позволяет отфильтровать «загрязнение лечения»?
Return visitors, посещавшие сайт до оптимизации, имеют в HTTP-cache или Service Worker старые тяжёлые ресурсы, поэтому для них «лечение» (новая быстрая версия) частично или полностью не применяется, создавая contamination between treatment and control. Кандидаты часто забывают проверить If-None-Match заголовки или анализ first-party cookie с timestamp первого визита. Корректный подход — анализ intent-to-treat (ITT) с разделением на «чистые новые сессии» (new users + cleared cache) vs «загрязнённые возвращающиеся», или использование difference-in-differences (DiD) с фиксированными эффектами пользователя, что изолирует within-user изменение от between-user селекции.
В чём разница между ITT-анализом (Intent-to-Treat) и TOT-анализом (Treatment-on-the-Treated) при оценке эффекта Core Web Vitals, и почему для продуктовых метрик критично отчитываться именно по ITT при планировании масштабирования?
ITT измеряет эффект для всей популяции, включая тех, кто не получил улучшение скорости (например, пользователи на 2G или с отключенным JavaScript), в то время как TOT (или LATE в IV-контексте) измеряет эффект только для «комплаеров» — тех, кто действительно получил benefit от оптимизации. Кандидаты часто ошибочно сообщают бизнесу TOT-оценку (+15% конверсии для тех, кто получил быструю загрузку), но при масштабировании оптимизации на 100% трафика реальный эффект будет ближе к ITT (+6-8%), так как часть аудитории технически не сможет получить улучшение (устаревшие устройства, медленные сети). Для бизнес-планирования и прогноза выручки критично использовать консервативную ITT-оценку, чтобы избежать ошибки overcommitment.