В классификаторе текста самые большие веса attention пришлись на слово «отлично», и команда объявила его главным объяснением положительного предсказания. Почему такой вывод может быть неверным и как корректнее проверить вклад токена?

Question

Accepted Answer

Вес attention показывает, куда конкретный слой направил смешивание представлений, но не обязательно причинный вклад токена в итоговый логит. Разные распределения весов и значения Value могут давать сходный выход, а последующие слои, residual связи и MLP могут изменить или компенсировать влияние токена. Поэтому высокий вес у «отлично» не доказывает, что именно оно определило класс. Практически вклад следует проверять контрфактуально: удалить, замаскировать или заменить токен и измерить изменение предсказания, желательно сравнив это с несколькими альтернативными токенами.