В батче для decoder only LLM промпты имеют разную длину. Почему при генерации обычно применяют left padding, а не right padding, даже если attention mask корректно скрывает паддинг?

Question

Accepted Answer

Во многих реализациях генерации следующий токен выбирают по логитам последней позиции каждого элемента батча. При right padding последняя позиция короткого промпта — это PAD токен, поэтому модель продолжает не фактический конец текста, а паддинг. Attention mask запрещает модели учитывать PAD как контекст, но не меняет то, из какой позиции код генерации забирает логиты. Left padding оставляет последний токен каждого промпта на последней позиции последовательности, поэтому батчевая генерация корректна; либо реализация должна явно находить последнюю непустую позицию для каждого примера.