При ступенчатом нагрузочном тесте каждый переход сразу превышает SLA. Какой риск создаёт слишком крупный шаг нагрузки?
Слишком крупный шаг может скрыть границу производительности: тест покажет, что система уже нарушает SLA, но не позволит определить нагрузку, при которой началась деградация. В результате команда получит грубую и неточную оценку максимальной устойчивой производительности.
Ступенчатая модель нагрузки применяется, чтобы наблюдать, как меняются задержка, пропускная способность и ошибки при последовательном увеличении интенсивности запросов. Такой подход решает проблему оценки единственной точки: система может выдерживать один выбранный уровень нагрузки, но её поведение между этим уровнем и отказом останется неизвестным.
Постепенное увеличение нагрузки позволяет построить зависимость между нагрузкой и качеством обслуживания, а затем найти область насыщения. Размер шага определяет точность, с которой эта граница будет измерена.
Предположим, SLA требует, чтобы p95 задержки не превышал 500 мс. При нагрузке 800 запросов в секунду p95 равен 350 мс, а после перехода сразу к 1200 запросам в секунду — уже 900 мс.
Из такого теста нельзя надёжно заключить, выдерживает ли система 900, 1000 или 1100 запросов в секунду. Нагрузка между соседними точками не измерялась, поэтому реальная граница SLA остаётся неопределённой.
Слишком крупный шаг особенно опасен рядом с точкой насыщения: небольшое увеличение входного потока может резко увеличить очередь и хвост задержек. Если шаг пересекает эту область целиком, важная форма кривой производительности теряется.
Размер шага должен позволять локализовать переход от приемлемого состояния к нарушению SLA. Сначала используют достаточно крупные шаги, чтобы быстро найти область деградации, затем повторяют тест с более мелкими шагами около найденной границы.
Для каждого уровня нужно выдержать период, достаточный для стабилизации измерений, и оценивать не только среднюю задержку, но и p95 или p99, долю ошибок, пропускную способность и признаки накопления очередей. Иначе кратковременный переход между уровнями может быть ошибочно принят за устойчивый результат.
Мелкие шаги повышают точность, но увеличивают длительность теста и стоимость генерации нагрузки. Слишком мелкий шаг также не полезен, если длительность каждого уровня недостаточна для наблюдения устойчивого состояния или если естественный шум измерений больше эффекта от изменения нагрузки.
Практический критерий — выбирать шаг так, чтобы соседние уровни позволяли отличить изменение метрик от обычного разброса. После нахождения границы следует провести отдельный тест с несколькими близкими уровнями нагрузки и повторить измерения, чтобы подтвердить результат.
Команда проверяла сервис с целевой нагрузкой 1000 запросов в секунду. В первом тесте использовались шаги по 500 запросов в секунду: на 500 запросах p95 составлял 280 мс, а на 1000 — 760 мс. Такой результат лишь показывал, что граница SLA находится где-то внутри широкого интервала.
Рассматривались два варианта. Можно было оставить крупные шаги: это быстрее, но не даёт точной оценки ёмкости. Можно было сразу использовать очень мелкие шаги на всём диапазоне: это точнее, но заметно увеличивает время теста.
Выбрали комбинированный подход: сначала нашли область деградации крупными шагами, затем проверили уровни 800, 850, 900, 950 и 1000 запросов в секунду с достаточным временем стабилизации. В результате границу соблюдения SLA удалось локализовать между 850 и 900 запросами в секунду, после чего этот диапазон дополнительно проверили повторным прогоном.
Нет. Малый шаг сам по себе не гарантирует точность. Нужно также выдерживать каждый уровень до устойчивого состояния, учитывать прогрев, повторяемость запусков и отделять реальное изменение метрик от случайного шума.
Если система имеет длинные очереди или медленное освобождение ресурсов, короткий уровень может показать переходное состояние. Тогда даже очень мелкие шаги дадут неверную оценку предельной нагрузки.
Нежелательно. Среднее значение может оставаться приемлемым, пока небольшая доля запросов уже получает неприемлемо долгие ответы. Для пользовательского SLA обычно важнее согласованный процентиль, например p95, а также доля ошибок и тайм-аутов.
Среднюю задержку можно использовать как дополнительный диагностический показатель, но она не должна заменять метрику, по которой формально принимается решение о соответствии SLA.
Это признак приближения к насыщению или его прохождения: дополнительная нагрузка преимущественно накапливается в очередях, а не превращается в полезно обработанные запросы. В такой области шаги нужно уменьшить, чтобы точнее определить устойчивую пропускную способность до нарушения SLA.
При этом следует проверить, не достиг ли предела сам генератор нагрузки и не выросла ли доля ошибок. Иначе ограничение тестового стенда можно ошибочно принять за предел производительности приложения.