В продакшене к большой целевой LLM добавили маленькую черновую модель для speculative decoding. Объясните, как это может ускорить генерацию, не меняя распределение токенов целевой модели, и при каком поведении черновой модели выигрыш почти исчезнет.

Question

Accepted Answer

Черновая модель быстро предлагает сразу несколько следующих токенов, а целевая модель проверяет их одним параллельным проходом вместо отдельного прохода на каждый токен. Токены принимаются с вероятностью, зависящей от отношения вероятностей целевой и черновой моделей; при первом отклонении следующий токен семплируется с корректировкой. Поэтому итоговое распределение остаётся распределением целевой модели, а черновая модель влияет только на число полезных токенов за один дорогой вызов. Ускорение велико, когда черновая модель хорошо приближает целевую и её предложения часто принимаются. Если предложения регулярно отклоняются в начале блока, целевая модель почти не получает экономии, а стоимость работы черновой модели становится дополнительными накладными расходами.