Чем лемматизация отличается от стемминга с точки зрения признаков для модели, и в какой задаче агрессивный стемминг может ухудшить качество?

Question

Accepted Answer

Лемматизация приводит словоформу к словарной норме с учетом языка и морфологии, а стемминг эвристически отсекает части слова, оставляя основу, которая может не быть словом. Стемминг сильнее сокращает словарь, но способен склеить разные по смыслу слова или, наоборот, оставить близкие формы разными. Это опасно в задачах, где важен точный термин: например, при поиске юридических, медицинских или товарных документов. Для тематической классификации на коротких текстах стемминг иногда полезен как способ уменьшить разреженность, но его эффект нужно проверять на валидации. В моделях на подсловных токенах и современных трансформерах лемматизация или стемминг часто не нужны: они могут удалить морфологический сигнал, который модель способна использовать сама.