При оценке модели классификации отзывов тестовую выборку разметил один специалист, а модель получила 86% accuracy. Как проверить, что эта цифра отражает качество модели, а не субъективность или неоднозначность разметки?

Question

Accepted Answer

Нужно дать независимой подвыборке несколько разметчиков и измерить межаннотаторское согласие, например Cohen’s kappa для двух разметчиков или Fleiss’ kappa для нескольких. Если люди часто расходятся на одних и тех же отзывах, единственная метка не является полностью надёжным «золотым стандартом», и часть ошибок модели может быть разумной альтернативной интерпретацией. Спорные примеры следует отправить на adjudication, уточнить правила разметки и отдельно анализировать качество на случаях с высоким и низким согласием. Практически это помогает отличить реальное ухудшение модели от шума в тесте и выявить классы, для которых нужно исправлять инструкцию или схему меток.