После замены модели классификации интентов macro F1 на одном и том же тестовом наборе вырос с 0,842 до 0,846. Можно ли объявлять новую версию лучше, и какую проверку следует выполнить перед релизом?

Question

Accepted Answer

По одной разнице метрик объявлять улучшение нельзя: она может возникнуть из за случайного состава тестовой выборки. Нужно оценить статистическую значимость различия на парных предсказаниях моделей, например бутстрепом по объектам с доверительным интервалом для разницы macro F1. Если интервал включает ноль, данных недостаточно, чтобы уверенно говорить об улучшении. Дополнительно стоит проверить изменения по классам: небольшой рост macro F1 иногда скрывает заметную деградацию критичного интента. Это защищает от релиза модели, чьё кажущееся преимущество не воспроизводится на новых данных.