Что шире: доверительный интервал среднего прогноза или интервал предсказания нового наблюдения, и почему?
Интервал предсказания нового наблюдения обычно шире доверительного интервала среднего прогноза. Доверительный интервал отражает неопределённость оценки среднего значения отклика при заданных условиях, а интервал предсказания дополнительно учитывает случайный разброс отдельного будущего наблюдения.
Разделение этих интервалов возникло из практической необходимости различать две задачи статистического вывода: оценить типичный или средний результат для группы и предсказать конкретный будущий результат. Одна и та же модель может решать обе задачи, но неопределённость у них различается.
Если аналитик оценивает среднее значение отклика, случайные отклонения отдельных объектов частично усредняются. При прогнозировании одного нового объекта такое усреднение невозможно, поэтому к неопределённости оценки среднего добавляется индивидуальный шум.
Например, модель оценивает время доставки при заданных характеристиках заказа. Для планирования среднего уровня сервиса можно оценивать среднее время доставки. Для обещания клиенту срока конкретного заказа нужен прогноз отдельного наблюдения.
Если вместо интервала предсказания использовать более узкий доверительный интервал среднего, диапазон может выглядеть неоправданно точным. Это приведёт к заниженной оценке риска задержек и ошибочным операционным решениям.
Доверительный интервал среднего прогноза отвечает на вопрос: «В каком диапазоне находится истинное среднее значение отклика для объектов с такими условиями?» Его ширина определяется прежде всего неопределённостью оценки параметров модели и обычно уменьшается при росте объёма данных.
Интервал предсказания отвечает на другой вопрос: «В каком диапазоне окажется отклик нового отдельного объекта?» Его дисперсия включает две составляющие: неопределённость оценки среднего отклика и остаточную вариативность самого нового наблюдения. Поэтому при тех же данных интервал предсказания шире.
Для линейной модели с нормально распределёнными независимыми остатками типовая форма дисперсии среднего прогноза содержит только ошибку оценки среднего, тогда как дисперсия прогноза нового наблюдения дополнительно содержит дисперсию остатка. При увеличении выборки первая составляющая может уменьшаться, но индивидуальный шум не исчезает полностью.
Интервалы зависят от предположений модели. Важны корректность спецификации, независимость наблюдений, характер остатков, отсутствие сильной гетероскедастичности и разумность экстраполяции за пределы наблюдавшихся данных.
При неодинаковой дисперсии ошибок стандартный интервал может иметь неверное покрытие: фактическая доля будущих значений внутри заявленного диапазона не будет соответствовать номинальному уровню. Тогда применяют робастные методы, бутстрэп или модели, специально учитывающие изменяющуюся дисперсию.
Нельзя путать ширину интервала с точностью самой модели. Узкий интервал может быть результатом большого объёма данных, но если модель систематически ошибается или не учитывает важный фактор, он не гарантирует правильный прогноз.
Допустим, аналитик прогнозирует среднее время обработки заявки для настройки нормативов команды. Он рассматривает доверительный интервал среднего прогноза, интервал предсказания отдельной заявки и эмпирический диапазон по историческим данным.
Эмпирический диапазон прост и почти не зависит от модельных предположений, но плохо переносится на новые сочетания признаков и может быть нестабилен при изменении процесса. Доверительный интервал точнее отвечает на вопрос о среднем уровне, однако слишком оптимистичен для контроля единичных заявок. Интервал предсказания подходит для конкретной заявки, но требует корректной оценки остаточного разброса.
Для нормативов среднего времени выбран доверительный интервал, а для обещаний клиенту и планирования SLA — интервал предсказания с проверкой его фактического покрытия на отложенных данных. Это разделяет задачу оценки среднего процесса и управления риском отдельных случаев.
1. Уменьшается ли интервал предсказания до нуля при бесконечном объёме выборки?
Нет. При большом объёме данных неопределённость оценки среднего может стремиться к нулю, но случайный остаточный разброс нового наблюдения сохраняется. Поэтому интервал предсказания в пределе ограничен естественной вариативностью процесса, если она не была полностью объяснена моделью.
2. Можно ли использовать доверительный интервал среднего для обещания результата конкретному клиенту?
Обычно нельзя. Он описывает неопределённость среднего уровня, а не диапазон индивидуальных исходов. Для конкретного клиента нужен интервал предсказания либо другой метод оценки условных квантилей, если распределение отклика асимметрично или имеет неодинаковую дисперсию.
3. Что означает заявленный 95%-й уровень для интервала предсказания?
При корректной модели и многократном применении одного и того же построения примерно 95% таких интервалов должны содержать соответствующие будущие наблюдения. Это не означает, что вероятность уже построенного фиксированного интервала содержать конкретное значение равна 95%. Кроме того, номинальное покрытие нарушается при неверной модели, зависимых наблюдениях, сдвиге распределения или экстраполяции.