Что изменится в результатах нагрузочного теста при увеличении времени размышления пользователя в закрытой модели нагрузки?
Увеличение времени размышления снижает интенсивность поступления операций от каждого виртуального пользователя. Поэтому измеренная пропускная способность обычно уменьшается, а задержка может снизиться из-за уменьшения очередей; это не доказывает, что сам сервис стал быстрее.
Закрытая модель нагрузки описывает конечное число пользователей, каждый из которых сначала выполняет операцию, затем некоторое время не создаёт новую нагрузку. Такой подход нужен для моделирования пользовательских сессий, где интенсивность запросов определяется не только сервисом, но и поведением клиентов.
В отличие от модели с заранее заданной скоростью поступления, закрытая модель связывает число активных пользователей, время ответа и паузу между операциями. Поэтому изменение паузы меняет саму нагрузку, подаваемую на систему.
Команда может увеличить время размышления и увидеть снижение p95 или уменьшение числа ошибок. Ошибочно трактовать это как устранение узкого места: система могла просто получить меньше запросов в единицу времени.
Риск особенно велик при сравнении двух тестов с одинаковым числом виртуальных пользователей, но разными паузами. Их результаты отражают разные профили нагрузки и не являются прямым сравнением производительности сервиса.
Пусть в тесте работает N виртуальных пользователей, среднее время ответа операции равно R, а среднее время размышления — Z. При одном незавершённом запросе на пользователя пропускная способность приблизительно определяется соотношением X ≈ N / (R + Z). Это не точная универсальная формула, но полезная оценка для закрытой модели без дополнительных ограничений клиента.
При увеличении Z каждый пользователь реже начинает новую операцию. Предлагаемая нагрузка снижается, очереди на сервере становятся короче, уменьшается конкуренция за CPU, соединения, блокировки и другие ресурсы. Поэтому задержка может улучшиться даже без изменения кода или конфигурации сервиса.
Если сервис не насыщен, увеличение времени размышления в основном уменьшает RPS, а средняя задержка может измениться незначительно. Если сервис был насыщен, эффект сильнее: снижение поступления запросов может вывести его из режима очередей, из-за чего p95 резко уменьшится.
Для корректного анализа нужно фиксировать и явно указывать число виртуальных пользователей, время размышления, модель генерации нагрузки, пропускную способность, распределение задержек и долю ошибок. При сравнении версий сервиса эти параметры должны оставаться одинаковыми.
Важно различать время размышления и ограничение общей скорости сценария. Пауза внутри каждой пользовательской сессии меняет интенсивность нагрузки пропорционально числу пользователей, тогда как глобальный ограничитель RPS задаёт внешний предел и может скрывать реальную производительность системы.
В тесте 100 виртуальных пользователей выполняли операцию со средним временем ответа 2 секунды и паузой 8 секунд. Приближённая интенсивность составляла 100 / (2 + 8) = 10 операций в секунду. После увеличения паузы до 18 секунд тест стал подавать около 5 операций в секунду, а p95 снизился.
Рассматривались три варианта. Увеличить паузу было просто, но это изменяло профиль нагрузки и скрывало предел сервиса. Увеличить число пользователей позволяло сохранить целевой RPS, однако могло перегрузить генератор или сделать модель менее похожей на реальное поведение. Перейти к открытой модели с заданной скоростью поступления было удобнее для поиска предельной пропускной способности, но требовало отдельно определить реалистичный поток операций.
Выбрали два теста: закрытый — для проверки пользовательского сценария с фиксированными паузами, и открытый — для определения поведения сервиса при заданном RPS. Снижение задержки после увеличения паузы признали следствием меньшей нагрузки, а не доказательством улучшения сервиса.
В обычной закрытой модели при неизменном числе пользователей — нет, поскольку каждый пользователь начинает операции реже. Исключение возможно при изменении других факторов: например, уменьшении перегрузки сервиса, сокращении повторных попыток или устранении тайм-аутов. Тогда число успешно завершённых операций может временно вырасти, но это уже результат изменения поведения системы, а не прямой эффект паузы.
В закрытой модели пользователь не создаёт новый запрос, пока не завершит предыдущий и не закончится его пауза. Поэтому интенсивность зависит от полного цикла: времени ответа, времени размышления, клиентских ограничений и возможных повторов. Сто виртуальных пользователей с паузой в одну секунду и сто пользователей с паузой в двадцать секунд формируют существенно разные потоки операций.
Открытая модель подходит, когда нужно контролировать именно скорость поступления запросов независимо от текущей задержки. При ухудшении сервиса она продолжает поддерживать заданный поток, что позволяет наблюдать рост очередей и деградацию, но может создать нереалистичную нагрузку. Закрытая модель лучше отражает конечное число пользователей, однако при росте задержки автоматически снижает поток и может скрыть перегрузку, поэтому выбор модели должен соответствовать цели теста.