В сервисе в среднем одновременно находятся 2 000 запросов, а среднее время запроса от поступления до ответа составляет 200 мс. Как оценить среднюю пропускную способность и при каких условиях такая оценка будет корректной?

Question

Accepted Answer

Используйте закон Литтла: L = λ × W, где L — среднее число запросов в системе, λ — пропускная способность, W — среднее время запроса. Тогда λ = 2 000 / 0,2 = 10 000 запросов в секунду. Оценка корректна в стабильном режиме, когда среднее число поступивших и завершённых запросов за период совпадает. Число запросов и latency нужно измерять в одних границах: например, оба показателя должны включать или оба исключать очередь, балансировщик и асинхронную обработку. На практике нарушение этих границ даёт ошибочную оценку RPS и неверный расчёт требуемой мощности.