Объясните, почему в cross attention декодер формирует Query, а выходы энкодера служат Key и Value. Что изменится по смыслу модели, если поменять эти роли местами?

Question

Accepted Answer

Каждая позиция декодера представляет текущую потребность при генерации следующего токена, поэтому её вектор используется как Query. Выходы энкодера описывают доступный входной контекст: Key помогает найти релевантные позиции, а Value передаёт их содержимое в результат. Так декодер для каждого генерируемого токена выбирает разные части исходной последовательности. При перестановке ролей результат вычислялся бы для позиций энкодера, а не для текущего состояния декодера, поэтому направленность «генерация на основе входа» нарушилась бы. Практически это также позволяет один раз вычислить и кэшировать Key и Value энкодера на всех шагах авторегрессионного декодирования.