В сервисе генерации несколько запросов начинаются с одного и того же длинного системного промпта и документа. Как prefix caching уменьшает задержку и стоимость обработки, и в каком случае кэш нельзя безопасно переиспользовать?

Question

Accepted Answer

Prefix caching сохраняет вычисленные key/value тензоры attention для общего префикса, поэтому модель не пересчитывает его при каждом новом запросе. Для нового запроса выполняется prefill только по отсутствующему суффиксу, после чего генерация продолжается с уже подготовленным состоянием. Это особенно выгодно при длинных повторяющихся инструкциях, RAG контексте или многопользовательском чате с общей базой документов. Кэш допустимо переиспользовать лишь при полном совпадении токенизированного префикса и всех параметров, влияющих на вычисления модели, включая версию модели и позиционную схему. Даже небольшое отличие в токенах или порядок другой части контекста делает такой KV кэш некорректным и может привести к неверному ответу.