В продукте модель определяет токсичность русских и казахских комментариев. Команда оценивает её одним общим F1 и готовит релиз:

from sklearn.metrics import f1_score y_true = [1, 0, 1, 0, 1, 0, 1, 0] y_pred = [1, 0, 1, 0, 1, 0, 0, 0] language = ["ru", "ru", "ru", "ru", "ru", "ru", "kk", "kk"] overall_f1 = f1_score(y_true, y_pred) print(f"Overall F1: {overall_f1:.2f}")

Какой дефект есть в такой оценке, если модель должна одинаково надёжно модерировать оба языка? Какие срезы и показатели нужно добавить, прежде чем принимать решение о релизе?

Question

В продукте модель определяет токсичность русских и казахских комментариев. Команда оценивает её одним общим F1 и готовит релиз:

from sklearn.metrics import f1_score

y_true = [1, 0, 1, 0, 1, 0, 1, 0]
y_pred = [1, 0, 1, 0, 1, 0, 0, 0]
language = ["ru", "ru", "ru", "ru", "ru", "ru", "kk", "kk"]

overall_f1 = f1_score(y_true, y_pred)
print(f"Overall F1: {overall_f1:.2f}")

Какой дефект есть в такой оценке, если модель должна одинаково надёжно модерировать оба языка? Какие срезы и показатели нужно добавить, прежде чем принимать решение о релизе?

Accepted Answer

Общий F1 смешивает языки и может скрыть деградацию на малой группе: здесь ошибки на казахских текстах почти не влияют на итог из за преобладания русских примеров. Нужно считать precision, recall и F1 отдельно для каждого языка, а при важных подгруппах — и для их пересечений, например «язык × тип нарушения». Для модерации особенно важен recall токсичного контента и false positive rate: низкий recall пропускает нарушения, а высокий FPR необоснованно блокирует пользователей. Для каждого среза нужны достаточный размер выборки и доверительные интервалы, иначе различия могут быть шумом. Релиз следует принимать по заранее заданным порогам качества для критичных срезов, а не только по агрегированной метрике.