В выдаче семантического поиска несколько одних и тех же документов регулярно попадают в топ для смыслово разных запросов, хотя все векторы L2 нормализованы и используется cosine similarity. Как называется этот эффект, из за чего он возникает и какими способами его диагностировать и уменьшить?

Question

Accepted Answer

Это hubness : отдельные документы становятся «хабами», то есть ближайшими соседями для непропорционально большого числа запросов. Причина — неоднородная геометрия пространства эмбеддингов: анизотропия и области высокой плотности делают некоторые направления близкими многим векторам; нормализация устраняет влияние длины, но не исправляет это свойство. Эффект диагностируют по распределению числа попаданий каждого документа в top k и вручную проверяют релевантность таких частых соседей. Уменьшить hubness помогают дообучение на целевой задаче, центрирование или whitening эмбеддингов, локальная коррекция similarity и финальный reranking.