В корпусе встречаются визуально одинаковые слова, но модель считает их разными токенами. Какой этап предобработки стоит проверить первым, почему простого приведения к нижнему регистру недостаточно и какой риск несёт агрессивная Unicode нормализация?

Question

Accepted Answer

Сначала нужно проверить Unicode нормализацию: один и тот же символ может иметь несколько кодовых представлений, например буква с диакритикой может быть цельным символом или комбинацией буквы и отдельного знака. Lowercasing меняет регистр, но не устраняет такие различия, поэтому словарь и статистики токенов фрагментируются. Обычно применяют NFC для приведения канонически эквивалентных записей к единому виду. NFKC агрессивнее: она может заменить символы совместимости, например некоторые варианты цифр, единиц или знаков, и тем самым изменить значимые данные. Следствие — форму нормализации нужно выбирать по домену и применять одинаково при обучении и инференсе.