Data Science и Machine LearningNLPОценка NLP-моделей
Готовим следующую карточку…
С подвохомСредняя
Вопрос

Команда десять раз меняла промпт и параметры LLM, каждый раз выбирая версию с лучшим результатом на одном публичном тестовом бенчмарке, а затем сообщила этот результат как финальное качество модели. В чём ошибка такой оценки и как организовать проверку, чтобы получить честную оценку обобщающей способности?

Смахните карточку влево, чтобы повысить рейтинг, или вправо, чтобы понизить.

Восстановление доступа