При оценке классификатора тональности два разметчика часто по разному трактуют ироничные и смешанные отзывы, но модель сравнивают только с метками одного из них. Как это влияет на интерпретацию F1 модели и какие действия нужны, чтобы сделать оценку надёжнее?

Question

Accepted Answer

F1 в таком случае частично измеряет согласие модели с субъективными решениями конкретного разметчика, а не истинное качество классификации. Если люди систематически расходятся на части примеров, модель не может стабильно превзойти уровень воспроизводимости самой разметки. Нужно измерить межразметочное согласие, например Cohen’s kappa для парной разметки, и отдельно проанализировать классы и типы текстов с низким согласием. Для тестового набора спорные случаи следует размечать несколькими экспертами и разрешать через правила или adjudication; иногда полезно исключить неоднозначные примеры либо учитывать распределение мнений. Это позволяет отличить ошибки модели от шума и неоднозначности целевой задачи.