Команда сначала обучила TF IDF векторизатор на всём корпусе, а затем разделила документы на train и test. В чём ошибка такого пайплайна и как её исправить?

Question

Accepted Answer

Это утечка данных: IDF статистики и словарь признаков уже учитывают документы из test набора. Модель не получает их метки, но при обучении использует информацию о распределении тестовых текстов, поэтому оценка качества может оказаться завышенной. Сначала нужно разделить исходные документы, затем обучить векторизатор только на train, а validation и test лишь преобразовать тем же обученным объектом. То же правило действует для отбора признаков, нормализации, построения словаря и других преобразований, которые оценивают статистики корпуса.