Сравните single head и multi head attention: почему несколько голов могут быть полезнее одной при той же скрытой размерности модели и почему увеличение числа голов не всегда улучшает качество?

Question

Accepted Answer

Каждая голова получает собственные проекции Query, Key и Value и может сопоставлять токены в другом подпространстве признаков. Поэтому одни головы могут выделять локальные связи, а другие — дальние зависимости или разные типы контекста; их результаты объединяются выходной проекцией. При фиксированной размерности модели рост числа голов уменьшает размерность одной головы, поэтому отдельная голова может потерять выразительность. Кроме того, головы не обязаны обучиться разным паттернам и могут стать избыточными, а вычислительные и memory затраты на матрицы attention растут с числом голов.