Разберите ситуацию: в линейной регрессии один признак почти точно выражается через другой. Что произойдёт с оценками коэффициентов, предсказаниями и интерпретацией важности этих признаков?

Question

Accepted Answer

Возникает мультиколлинеарность: модель не может надёжно разделить вклад сильно связанных признаков. При точной линейной зависимости коэффициенты OLS не определяются единственным образом, а при почти точной — становятся нестабильными и могут сильно меняться от небольшой смены выборки. Предсказания при этом нередко остаются хорошими, поскольку важна их совместная линейная комбинация, а не отдельные значения коэффициентов. Поэтому нельзя интерпретировать большой по модулю коэффициент как самостоятельную важность признака; на практике признаки объединяют или удаляют один из них, либо применяют Ridge регрессию для стабилизации оценок.