В классификаторе тональности перед обучением удалили все стоп слова, включая «не», «ни», «но». Какие ошибки это может внести в модель и как изменить предобработку?

Question

Accepted Answer

Стоп слова не всегда неинформативны: частицы отрицания меняют полярность фразы, а союзы могут отделять противоположные оценки. После удаления «не» фразы «не рекомендую» и «рекомендую» становятся неразличимыми по ключевому слову, что создаёт систематические ошибки. Список удаляемых слов нужно выбирать под задачу и проверять на валидации, а не применять готовый список без изменений. Для тональности обычно сохраняют отрицания и иногда формируют признаки отрицательных конструкций, например «не понравился».