Data Science и Machine LearningNLPAttention
Готовим следующую карточку…
СобеседованиеСредняя
Вопрос

В декодере Transformer во время обучения все токены целевой последовательности обрабатываются параллельно. Как модель при этом не получает информацию о будущих токенах и почему без этого ограничения качество генерации на инференсе ухудшится?

Смахните карточку влево, чтобы повысить рейтинг, или вправо, чтобы понизить.

Восстановление доступа