В семантическом поиске для всех запросов установлен единый порог cosine similarity: документы со score выше 0,80 считаются релевантными. Почему такой порог может давать одновременно ложные отказы для одних запросов и ложные срабатывания для других, даже при нормализованных эмбеддингах?

Question

Accepted Answer

Значения cosine similarity не обязаны быть сопоставимыми между разными запросами: они зависят от плотности области векторного пространства, специфичности запроса и числа семантически похожих документов. Для узкого запроса релевантный документ может иметь score ниже 0,80, а для общего — нерелевантный документ превысит этот порог из за множества близких по смыслу текстов. Нормализация векторов устраняет влияние их длины, но не калибрует смысловую интерпретацию самого score. На практике порог подбирают по размеченной валидационной выборке для конкретного сценария, используют top k вместе с анализом разрыва между результатами или добавляют reranker.