Готовим следующую карточку…
С подвохомСредняя
Вопрос
Команда десять раз меняла промпт и параметры LLM, каждый раз выбирая версию с лучшим результатом на одном публичном тестовом бенчмарке, а затем сообщила этот результат как финальное качество модели. В чём ошибка такой оценки и как организовать проверку, чтобы получить честную оценку обобщающей способности?
