Как по утилизации ресурсов и достигнутой пропускной способности оценить, какой ресурс первым ограничит рост нагрузки?
Для каждого ресурса оцените удельную потребность в ресурсе: отношение его утилизации к пропускной способности системы. Чем выше это отношение, тем больше ресурса требуется на одну операцию и тем раньше он станет ограничителем при дальнейшем росте нагрузки. Такой расчёт помогает отделить потенциальное узкое место от ресурса, который просто коррелирует с замедлением.
Подход основан на операционных законах теории очередей, которые связывают поток работ, время обслуживания и загрузку ресурсов. Он появился как практический способ анализировать производительность по измеряемым метрикам, не полагаясь только на визуальное совпадение графиков задержки и утилизации.
Исходная проблема заключалась в том, что система могла использовать несколько ресурсов одновременно: процессор, базу данных, диски, сеть и внешние сервисы. Одного наблюдения о высокой загрузке было недостаточно, поэтому потребовалась оценка вклада каждого ресурса в обработку одной операции.
Во время теста рост нагрузки может сопровождаться увеличением утилизации сразу нескольких ресурсов. Если считать узким местом ресурс с наиболее впечатляющим графиком, можно выбрать вторичный эффект вместо первичного ограничения и оптимизировать не тот компонент.
Особенно опасна ситуация, когда текущая нагрузка ещё не довела ресурс до 100% утилизации. Он всё равно может иметь наибольшую потребность на операцию и первым достигнуть насыщения при следующем увеличении потока.
Пусть пропускная способность системы равна X операций в секунду, а утилизация ресурса — U в долях единицы. Приближённая потребность ресурса на одну операцию равна D = U / X. Для нескольких ресурсов сравнивают их значения D: ресурс с большей потребностью имеет меньшую теоретическую предельную пропускную способность, примерно равную 1 / D, если он является единственным ограничителем.
Например, при 200 операциях в секунду процессор загружен на 60%, а база данных — на 40%. Удельная потребность процессора составляет 0,003 секунды ресурса на операцию, базы данных — 0,002 секунды. При прочих равных процессор достигнет насыщения раньше, хотя в текущем тесте его загрузка выше лишь на 20 процентных пунктов.
Расчёт следует выполнять на сопоставимых интервалах и для одной и той же полезной работы. Если утилизация усреднена по кластеру, а пропускная способность относится к другому периоду или экземпляры обрабатывают разные типы операций, вывод может быть неверным.
Метод является приближённым. Он не учитывает автоматически конкуренцию за блокировки, нелинейный рост стоимости операций, кэширование, изменение состава нагрузки, автоскейлинг и внешние ограничения. Поэтому предполагаемое узкое место подтверждают повторным тестом: увеличивают нагрузку или изменяют только релевантный ресурс и проверяют, меняется ли предельная пропускная способность ожидаемым образом.
Сервис обрабатывает 500 операций в секунду. На одном интервале CPU загружен на 55%, база данных — на 45%, а сетевой канал — на 20%. Удельные потребности составляют соответственно 0,0011, 0,0009 и 0,0004 секунды ресурса на операцию. Первичным кандидатом на ограничение становится CPU, хотя база данных также существенно загружена.
Команда рассматривала два варианта: увеличить пул соединений с базой данных или оптимизировать CPU-затратную сериализацию ответов. Увеличение пула было проще, но не уменьшало наиболее высокую удельную потребность и могло лишь усилить конкуренцию за базу данных. Оптимизация сериализации требовала больше времени, зато была направлена на ресурс с наименьшей оценочной предельной пропускной способностью.
После изменения повторный тест показал снижение CPU на операцию и рост пропускной способности при том же целевом уровне задержки. Это подтвердило гипотезу сильнее, чем простое наблюдение за графиком загрузки: изменился именно показатель, по которому прогнозировалось ограничение.
1. Можно ли сравнивать утилизацию ресурсов напрямую, не учитывая пропускную способность?
Нет. Одинаковая утилизация при разной пропускной способности означает разную потребность ресурса на операцию. Даже при одинаковом проценте загрузки ресурс, обслуживающий меньший поток, может быть более дорогим с точки зрения одной операции и раньше стать ограничителем.
2. Что изменится в расчёте, если нагрузка состоит из разных типов операций?
Нужно учитывать состав рабочей смеси. Общая потребность ресурса является результатом вклада всех типов операций, поэтому изменение доли чтений, записей или тяжёлых запросов меняет значение U / X. Сравнивать результаты можно только при одинаковой смеси либо отдельно рассчитывать потребность для каждой категории операций.
3. Почему ресурс с наибольшей удельной потребностью не всегда фактически является узким местом?
Потому что расчёт предполагает относительно стабильную стоимость обслуживания и не моделирует все зависимости. При приближении к насыщению могут резко измениться кэширование, блокировки, очереди или поведение внешней системы. Поэтому значение U / X формирует проверяемую гипотезу, а окончательный вывод требует контрольного эксперимента и анализа задержек, очередей и ошибок.