Средний и прогнозируемый ответ - Mean and predicted response

Часть серии по
Регрессионный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Надежный Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Предварительный расчет
Наименьших квадратов Линейный Нелинейный
Обыкновенный Взвешенный Обобщенный
Частичное Общее количество Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Задний план
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал
v т е

В линейной регрессии , средний отклик и предсказал отклика являются значениями зависимой переменной , рассчитанной из параметров регрессии и при заданном значении независимой переменной. Значения этих двух ответов одинаковы, но их расчетные отклонения различаются.

Задний план

При прямой подгонке модель

${\ Displaystyle у_ {я} = \ альфа + \ бета х_ {я} + \ varepsilon _ {я} \,}$

где - переменная ответа , - объясняющая переменная , ε _i - случайная ошибка, и - параметры. Среднее и прогнозируемое значение отклика для данного объяснительного значения x _d определяется выражением ${\ displaystyle y_ {i}}$${\ displaystyle x_ {i}}$${\ displaystyle \ alpha}$${\ displaystyle \ beta}$

${\ displaystyle {\ hat {y}} _ {d} = {\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d},}$

в то время как фактический ответ будет

${\ displaystyle y_ {d} = \ alpha + \ beta x_ {d} + \ varepsilon _ {d} \,}$

Выражения для значений и дисперсий и даны в линейной регрессии . ${\ displaystyle {\ hat {\ alpha}}}$${\ displaystyle {\ hat {\ beta}}}$

Средний ответ

Поскольку данные в этом контексте определяются как пары ( x , y ) для каждого наблюдения, средний ответ при заданном значении x , скажем, x _d , является оценкой среднего значений y в совокупности в точке x значение x _d , то есть . Дисперсия среднего отклика определяется выражением ${\ displaystyle {\ hat {E}} (y ​​\ mid x_ {d}) \ Equiv {\ hat {y}} _ {d} \!}$

${\ displaystyle \ operatorname {Var} \ left ({\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right) = \ operatorname {Var} \ left ({\ hat {\ alpha }} \ right) + \ left (\ operatorname {Var} {\ hat {\ beta}} \ right) x_ {d} ^ {2} + 2x_ {d} \ operatorname {Cov} \ left ({\ hat { \ alpha}}, {\ hat {\ beta}} \ right).}$

Это выражение можно упростить до

${\ displaystyle \ operatorname {Var} \ left ({\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right) = \ sigma ^ {2} \ left ({\ frac {1 } {m}} + {\ frac {\ left (x_ {d} - {\ bar {x}} \ right) ^ {2}} {\ sum (x_ {i} - {\ bar {x}}) ^ {2}}} \ right),}$

где m - количество точек данных.

Чтобы продемонстрировать это упрощение, можно использовать тождество

${\ displaystyle \ sum (x_ {i} - {\ bar {x}}) ^ {2} = \ sum x_ {i} ^ {2} - {\ frac {1} {m}} \ left (\ sum x_ {i} \ right) ^ {2}.}$

Прогнозируемый ответ

Предсказал ответ распределение прогнозируемое распределение остатков в данной точке х _г . Таким образом, дисперсия определяется выражением

${\ displaystyle {\ begin {align} \ operatorname {Var} \ left (y_ {d} - \ left [{\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right] \ right) & = \ operatorname {Var} (y_ {d}) + \ operatorname {Var} \ left ({\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right) -2 \ operatorname {Cov} \ left (y_ {d}, \ left [{\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right] \ right] \ right) \\ & = \ operatorname { Var} (y_ {d}) + \ operatorname {Var} \ left ({\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right). \ End {выравнивается}}}$

Вторая строка следует из того факта, что она равна нулю, потому что новая точка прогноза не зависит от данных, используемых для соответствия модели. Кроме того, ранее был рассчитан срок для среднего ответа. ${\ displaystyle \ operatorname {Cov} \ left (y_ {d}, \ left [{\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right] \ right)}$${\ displaystyle \ operatorname {Var} \ left ({\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right)}$

Поскольку (фиксированный, но неизвестный параметр, который можно оценить), дисперсия прогнозируемого отклика определяется выражением ${\ displaystyle \ operatorname {Var} (y_ {d}) = \ sigma ^ {2}}$

${\ displaystyle {\ begin {align} \ operatorname {Var} \ left (y_ {d} - \ left [{\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right] \ справа) & = \ sigma ^ {2} + \ sigma ^ {2} \ left ({\ frac {1} {m}} + {\ frac {\ left (x_ {d} - {\ bar {x}}) \ right) ^ {2}} {\ sum (x_ {i} - {\ bar {x}}) ^ {2}}} \ right) \\ [4pt] & = \ sigma ^ {2} \ left ( 1 + {\ frac {1} {m}} + {\ frac {(x_ {d} - {\ bar {x}}) ^ {2}} {\ sum (x_ {i} - {\ bar {x) }}) ^ {2}}} \ right). \ End {align}}}$

Доверительные интервалы

Эти доверительные интервалы вычисляются . Таким образом, доверительный интервал предсказанного ответа шире, чем интервал среднего ответа. Это ожидается интуитивно - дисперсия совокупности значений не уменьшается при выборке из нее, потому что случайная величина ε _i не уменьшается, но дисперсия среднего значения уменьшается с увеличением выборки, потому что дисперсия в и уменьшаются, поэтому средний отклик (прогнозируемое значение отклика) становится ближе к . ${\ displaystyle 100 (1- \ альфа) \%}$${\ displaystyle y_ {d} \ pm t _ {{\ frac {\ alpha} {2}}, mn-1} {\ sqrt {\ operatorname {Var}}}}$${\ displaystyle y}$${\ displaystyle y}$${\ displaystyle {\ hat {\ alpha}}}$${\ displaystyle {\ hat {\ beta}}}$${\ Displaystyle \ альфа + \ бета x_ {d}}$

Это аналогично разнице между дисперсией генеральной совокупности и дисперсией выборочного среднего для генеральной совокупности: дисперсия генеральной совокупности является параметром и не изменяется, но дисперсия выборочного среднего уменьшается с увеличением выборки.

Общая линейная регрессия

Общая линейная модель может быть записана как

${\ displaystyle y_ {i} = \ sum _ {j = 1} ^ {n} X_ {ij} \ beta _ {j} + \ varepsilon _ {i} \,}$

Следовательно, поскольку общее выражение для дисперсии среднего отклика имеет вид ${\ displaystyle y_ {d} = \ sum _ {j = 1} ^ {n} X_ {dj} {\ hat {\ beta}} _ {j}}$

${\ displaystyle \ operatorname {Var} \ left (\ sum _ {j = 1} ^ {n} X_ {dj} {\ hat {\ beta}} _ {j} \ right) = \ sum _ {i = 1 } ^ {n} \ sum _ {j = 1} ^ {n} X_ {di} S_ {ij} X_ {dj},}$

где S - ковариационная матрица параметров, заданная формулой

${\ displaystyle \ mathbf {S} = \ sigma ^ {2} \ left (\ mathbf {X ^ {\ mathsf {T}} X} \ right) ^ {- 1}.}$

Ссылки

• Draper, NR; Смит, Х. (1998). Прикладной регрессионный анализ (3-е изд.). Джон Вили. ISBN 0-471-17082-8.