В модерации текстов две модели показывают одинаковый F1 на валидации. У первой среди сообщений с вероятностью нарушения 0,9 действительно нарушают правила около 89%, у второй — около 62%. Какую модель разумнее использовать для автоматического удаления при пороге 0,9 и что именно не отражает F1?

Question

Accepted Answer

Для автоматического удаления предпочтительна первая модель: её вероятности хорошо калиброваны, поэтому порог 0,9 соответствует ожидаемому риску ошибочного удаления примерно 11%. F1 оценивает качество бинарных решений при выбранном пороге, но не показывает, можно ли доверять самим вероятностям модели. У второй модели оценка 0,9 систематически завышает уверенность, из за чего автоматизация приведёт к большему числу ошибочных санкций. Калибровку проверяют диаграммой надёжности, а численно — например, ECE или Brier score. Важно измерять её на данных, близких к рабочему распределению, иначе значение вероятностей может измениться после деплоя.