В поисковом индексе запросы с визуально одинаковым словом иногда не находят документы: в одном тексте буква «é» записана одним Unicode символом, а в другом — как «e» и отдельный диакритический знак. Какую нормализацию следует применить, на каком этапе и почему NFKC нельзя бездумно использовать для любых данных?

Question

Accepted Answer

Для поиска нужно применять одинаковую Unicode нормализацию к документам и запросам до токенизации и построения индекса. NFC приводит канонически эквивалентные записи символов к одной форме, поэтому визуально одинаковые слова становятся одинаковыми последовательностями символов и дают совпадение. NFKC дополнительно сводит совместимые символы, например полноширинные буквы или лигатуры, к обычной записи, что может повысить полноту поиска. Но NFKC способна стереть значимые различия в идентификаторах, юридических текстах, формулах или пользовательских именах; выбор формы нормализации зависит от семантики поля. Unicode нормализация также не решает проблему похожих символов из разных алфавитов, например латинской и кириллической «а».