В корпусе для NER сущности размечены символьными смещениями в исходном тексте. Перед обучением из текстов удаляют пунктуацию и сжимают последовательности пробелов. Как это повлияет на разметку и как безопасно организовать такую предобработку?