При подготовке TF IDF признаков словарь и значения IDF построили по всему корпусу, а затем данные разделили на обучающую и тестовую выборки. В чем здесь утечка данных и как правильно организовать предобработку, в том числе при кросс валидации?

Question

Accepted Answer

Тестовые документы уже повлияли на словарь и частоты документов, из которых вычисляется IDF, хотя модель формально не обучалась на их метках. Это утечка распределения: признаки обучающей части содержат информацию о том, какие слова и как часто встречаются в тестовой части. Метрики на тесте или в кросс валидации могут стать излишне оптимистичными и хуже воспроизводиться в продакшене. TF IDF нужно обучать только на обучающей выборке, а тестовую лишь преобразовывать тем же обученным преобразователем; при кросс валидации его следует заново обучать внутри каждого фолда.