В пайплайне для извлечения именованных сущностей весь текст переводят в нижний регистр до токенизации и обучения. В каких случаях это ухудшит результат и как выбрать стратегию предобработки?

Question

Accepted Answer

Регистр несет сигнал: «Москва» чаще является названием сущности, а «москва» в обычном тексте может быть ошибкой или менее надежным признаком. Lowercasing также стирает различия в аббревиатурах и именах, например «US» и «us» в англоязычных данных. Для NER обычно сохраняют исходный текст и используют модель или токенизатор, способные учитывать регистр; при необходимости можно добавить нормализованную форму как отдельный признак. Приводить к нижнему регистру оправданно, если модель и задача нечувствительны к регистру, а данные содержат много случайных вариаций написания. Стратегию нужно проверять на валидационной выборке, совпадающей с реальным распределением текстов.