Что произойдёт, если при обучении авторегрессионной LLM убрать causal mask из self attention, но на инференсе всё равно генерировать токены слева направо?

Question

Accepted Answer

Без causal mask позиция при предсказании очередного токена сможет видеть будущие токены правильного ответа. Модель минимизирует loss, используя эту утечку, поэтому метрика обучения может выглядеть отличной. На инференсе будущих токенов нет, и возникает несоответствие между условиями обучения и генерации: качество резко падает. Causal mask нужен, чтобы каждый прогноз зависел только от уже доступного префикса — ровно такого же контекста, какой будет во время генерации.