Разберите последствия: из scaled dot product self attention убрали деление логитов на √dₖ. Что обычно произойдёт при увеличении размерности ключей dₖ и почему это ухудшает обучение?

Question

Accepted Answer

Скалярное произведение Query и Key суммирует dₖ слагаемых, поэтому разброс логитов растёт вместе с dₖ. Без деления на √dₖ softmax чаще насыщается: один вес становится близок к 1, остальные — к 0. В насыщенной области градиенты через softmax малы, и модели труднее корректировать распределение внимания; обучение может стать нестабильнее. Масштабирование сохраняет типичный масштаб логитов примерно постоянным при изменении dₖ, позволяя модели делать внимание острым только тогда, когда это обосновано данными.