Сервис стабильно получает 500 запросов в секунду, а средняя длительность обработки одного запроса составляет 120 мс. Сколько запросов одновременно находится в обработке и как эта оценка влияет на выбор лимитов соединений, потоков или пула воркеров?

Question

Accepted Answer

По закону Литтла среднее число запросов в работе равно интенсивности потока, умноженной на среднее время в системе: 500 × 0,12 = 60 одновременных запросов. Это не означает, что пул нужно выставить ровно в 60: часть запросов может ждать внешний сервис, а всплески и хвостовая задержка увеличат фактическую конкуррентность. Если лимит существенно ниже ожидаемого числа in flight запросов, начнётся очередь, вырастет latency и возможны тайм ауты. Оценку следует делать отдельно для каждого узкого ресурса: HTTP соединений, потоков, подключений к БД и воркеров.