В семантическом поиске документы ранжируются по скалярному произведению эмбеддингов запроса и документа. Модель не обучали специально контролировать длину векторов. Какой систематический перекос может появиться в выдаче и как его устранить?

Question

Accepted Answer

Скалярное произведение зависит и от угла между векторами, и от их длины: документы с эмбеддингами большой нормы могут получать высокий скор даже при слабой семантической близости. Поэтому выдача будет необоснованно предпочитать объекты, для которых модель генерирует «длинные» векторы, например тексты определённого типа или частоты. Обычно перед индексацией и поиском L2 нормализуют эмбеддинги; тогда скалярное произведение нормализованных векторов равно cosine similarity и отражает только направление. Нормализацию нужно одинаково применять и к запросам, и к документам, иначе метрика остаётся несогласованной.