После замены mean pooling на эмбеддинг специального токена CLS качество семантического поиска резко упало, хотя используется та же transformer модель. Объясните, когда CLS может быть хорошим представлением текста, а когда усреднение токенов с маской padding надёжнее.

Question

Accepted Answer

Выход CLS становится качественным эмбеддингом всего текста только если модель явно обучали на задачу представления предложений с использованием этого токена. У обычной языковой модели CLS часто оптимизирован для предобучающих или классификационных целей, а не для близости семантически похожих текстов. Mean pooling агрегирует контекстные представления содержательных токенов и обычно даёт более стабильный вектор для моделей, не специализированных под CLS . Padding необходимо исключать маской, иначе длина последовательности и число паддингов будут искажать эмбеддинг. На практике pooling нужно выбирать по документации и результатам валидации именно для используемой embedding модели.