В RAG системе качество ответов ухудшилось после увеличения числа извлекаемых фрагментов с 5 до 30. Объясните механизм такого ухудшения и как проверить, что проблема именно в избытке контекста, а не в генеративной модели.

Question

Accepted Answer

Большее число фрагментов повышает шанс найти полезный источник, но одновременно добавляет нерелевантные, дублирующие или противоречивые сведения. Они занимают контекстное окно и отвлекают внимание модели, поэтому ей сложнее выделить доказательства, относящиеся к запросу; ответ может стать менее точным или начать смешивать факты. Следует отдельно измерить качество поиска: долю релевантных фрагментов в top k, наличие нужного фрагмента и качество ранжирования. Затем нужно сравнить ответы на фиксированном наборе запросов при разных k, сохраняя модель и prompt неизменными: если при росте k релевантность контекста и groundedness падают, нужен reranker, фильтрация по порогу или меньшее k, а не замена LLM.