Сервис при увеличении подаваемой нагрузки сохраняет стабильную задержку, но доля ответов 429 растёт. Как отличить срабатывание ограничения частоты от достижения производственного предела сервиса?
Стабильная задержка при росте доли 429 скорее указывает на срабатывание ограничения частоты до передачи запросов в основную обработку, а не на насыщение сервиса. Подтвердить вывод нужно сопоставлением отклонённых запросов с фактически принятыми, загрузкой внутренних ресурсов и журналами компонента, который возвращает 429.
Если после снятия ограничения задержка и загрузка сервиса резко растут, прежний предел был внешним лимитом. Если же даже принятые запросы упираются в CPU, очереди, пул соединений или другой ресурс, ограничение могло лишь скрывать реальную производственную границу.
Ограничение частоты и другие механизмы управления допуском появились как способ защищать сервис от всплесков и недобросовестных или ошибочных клиентов. Без такого контроля перегрузка одного компонента может вызвать рост очередей, тайм-ауты, каскадные отказы и ухудшение для всех потребителей.
Поэтому современная система может намеренно отклонять часть запросов заранее. Нагрузочное тестирование должно отличать такую защиту от естественного предела обработки, иначе команда примет политику защиты за производительность приложения.
При росте предложенной нагрузки одинаковое плато успешного RPS может иметь разные причины. Сервис мог достичь предела CPU или базы данных, а мог просто начать отклонять запросы на API-шлюзе, балансировщике или в самом приложении.
Ошибочная интерпретация приводит к неверным решениям: например, команда увеличит размер пулов или число экземпляров, хотя ограничение задано политикой для клиента. Обратная ошибка также опасна: снятие лимита способно раскрыть перегрузку, которую тест не обнаруживал.
Сначала разделяют предложенную нагрузку, принятые запросы и завершённые успешные операции. Для каждого слоя нужно видеть количество запросов, отклонённых ограничителем, число 429, задержку принятых запросов и задержку всех попыток отдельно.
Признаки ограничения частоты:
Признаки производственного насыщения сервиса — рост задержек принятых запросов, очередей и времени ожидания ресурсов, а также приближение одного из внутренних ресурсов к пределу. Ошибки при этом могут быть 5xx, тайм-аутами или отказами пулов, но один только код ответа не доказывает причину.
Полезен контролируемый эксперимент: повторить тест с тем же профилем, но изменить лимит или использовать отдельные квоты для генераторов. Если плато перемещается вместе с лимитом, вероятен внешний ограничитель. Затем нагрузку повышают осторожно, чтобы наблюдать поведение сервиса после допуска большего числа запросов.
Нужно учитывать, что 429 может возвращать не только rate limiter. Его способен формировать любой промежуточный слой по собственной политике, а ограничение может быть распределённым и зависеть от общего ключа, поэтому метрики одного экземпляра недостаточны. Кроме того, ретраи генератора могут увеличить предложенную нагрузку и исказить как долю отказов, так и оценку пропускной способности.
В отчёте следует отдельно показывать accepted throughput, successful throughput, число 429 и нагрузку, реально дошедшую до бизнес-логики. Для SLA заранее фиксируют, считаются ли отклонённые запросы нарушением доступности и какой лимит является частью проверяемого контракта.
Интернет-магазин при увеличении числа виртуальных пользователей вышел на постоянные 2 000 принятых операций в секунду. p95 оставался около 80 мс, CPU приложения был ниже 50%, но доля 429 выросла с 1% до 35%.
Рассматривались два варианта. Считать 2 000 операций пределом приложения было проще, но это смешивало защитную политику с производительностью. Сразу отключить ограничитель тоже было рискованно: можно было вызвать каскадную перегрузку зависимостей.
Команда сравнила метрики шлюза и приложения, проверила ключ квоты и провела отдельный прогон с увеличенным лимитом. После его изменения принятый RPS вырос, а затем начали расти очередь к базе данных и p95. Поэтому 2 000 операций в секунду признали пределом политики ограничения, а новый участок роста задержки использовали для поиска фактического узкого места в базе данных.
Ответ: 429 означает отказ по политике ограничения частоты или квоте, но такой ответ может быть сформирован до обращения к бизнес-логике. Приложение при этом может иметь свободные CPU, память и соединения. Нужно определить слой-источник ответа и сравнить число отклонённых запросов с числом запросов, реально обработанных сервисом.
Ответ: Ретрай превращает один логический пользовательский запрос в несколько попыток. Он повышает предложенную нагрузку, может дополнительно расходовать квоту и создавать самоподдерживающийся всплеск. Поэтому в отчёте разделяют логические операции, попытки, ответы 429 и успешные завершения, а политику повторов фиксируют в модели нагрузки.
Ответ: Ограничитель мог защищать последующие зависимости, которые не были рассчитаны на больший поток. После его снятия проявятся очереди, исчерпание пулов, блокировки или каскадные тайм-ауты, а сам генератор может стать новым узким местом. Лимит следует менять поэтапно и одновременно контролировать каждый слой цепочки, иначе результат будет небезопасным или недостоверным.