В сервисе генерации LLM запросы объединяют в статические батчи по 16 штук. При разной ожидаемой длине ответов GPU часто недозагружен, хотя очередь запросов не пуста. Объясните, откуда возникает потеря производительности и как continuous batching меняет ситуацию.

Question

Accepted Answer

При статическом батче вычисления продолжаются до завершения самого длинного запроса: после окончания коротких последовательностей их слоты простаивают либо участвуют в бесполезных вычислениях с маскированием. В autoregressive декодировании это особенно заметно, потому что модель генерирует токены шаг за шагом, а длины ответов сильно различаются. Continuous batching освобождает слот завершённого запроса и сразу добавляет в него новый, поддерживая почти постоянный размер активного батча. Это повышает загрузку GPU и пропускную способность, но требует планировщика, который отдельно ведёт состояние каждого запроса и его KV кэш. На практике важно также ограничивать память KV кэша и не допускать, чтобы длинные запросы ухудшали задержку коротких.