В системе извлечения сущностей модель получает высокий token level F1: она верно помечает большинство слов в названиях организаций, но часто пропускает начало или конец сущности. Почему этой метрики недостаточно для оценки качества извлечения и какую метрику следует добавить, если результат используется для поиска и связывания сущностей?

Question

Accepted Answer

Token level F1 засчитывает правильно размеченные отдельные токены, поэтому частично найденная сущность может выглядеть почти верной. Для поиска и entity linking ошибка границы меняет идентификатор сущности: «Банк» вместо «Банк ВТБ» обычно бесполезен. Нужно дополнительно считать entity level strict F1, где предсказание считается верным только при точном совпадении границ и типа сущности. Это покажет реальную пригодность модели для последующего пайплайна, а не только качество разметки слов по отдельности.