На датасете поиска редкой медицинской сущности модель A имеет ROC AUC 0,97, а модель B — 0,94. При рабочем пороге обе модели должны выдавать не более 20 ложных срабатываний на 10 000 текстов. Какую дополнительную проверку нужно провести перед выбором модели и почему ROC AUC сам по себе может привести к неверному решению?

Question

Accepted Answer

Нужно сравнить модели в рабочей области: например, precision и recall при ограничении на число ложных срабатываний, а также precision recall curve. ROC AUC усредняет качество по всем порогам и использует долю ложноположительных среди всех отрицательных примеров. При редком классе отрицательных очень много, поэтому даже малая FPR может означать десятки или сотни ложных тревог. Модель с меньшим ROC AUC может оказаться полезнее, если при допустимом бюджете ошибок она находит больше истинных сущностей или даёт выше precision. Метрику и порог нужно выбирать по операционному ограничению, а не по глобальному ROC AUC.