Общая линейная модель - General linear model

Часть серии по
Регрессионный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальная логистическая регрессия Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Предварительный расчет
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовская многомерная
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброта подгонки Студентизованный остаток Теорема Гаусса – Маркова
Математический портал
v т е

Линейная модель или общая многомерная модель регрессии представляет собой компактный способ одновременной записи нескольких множественной линейной регрессии моделей. В этом смысле это не отдельная статистическая линейная модель . Различные модели множественной линейной регрессии можно компактно записать как

${\ Displaystyle \ mathbf {Y} = \ mathbf {X} \ mathbf {B} + \ mathbf {U},}$

где Y - матрица с серией многомерных измерений (каждый столбец представляет собой набор измерений одной из зависимых переменных ), X - матрица наблюдений по независимым переменным, которая может быть матрицей плана (каждый столбец представляет собой набор наблюдений по одна из независимых переменных), B - матрица, содержащая параметры, которые обычно подлежат оценке, а U - матрица, содержащая ошибки (шум). Ошибки обычно считаются некоррелированными между измерениями и подчиняются многомерному нормальному распределению . Если ошибки не следует многомерному нормальному распределению, обобщенные линейные модели могут быть использованы для отдыха предположения относительно Y и U .

Общая линейная модель включает в себя ряд различных статистических моделей: ANOVA , ANCOVA , MANOVA , MANCOVA , обычную линейную регрессию , t- критерий и F- критерий . Общая линейная модель является обобщением множественной линейной регрессии на случай более чем одной зависимой переменной. Если бы Y , B и U были векторами-столбцами , приведенное выше матричное уравнение представляло бы множественную линейную регрессию.

Проверка гипотез с помощью общей линейной модели может проводиться двумя способами: многомерным или несколькими независимыми одномерными тестами. В многомерных тестах столбцы Y тестируются вместе, тогда как в одномерных тестах столбцы Y тестируются независимо, т. Е. Как несколько одномерных тестов с одной и той же матрицей дизайна.

Сравнение с множественной линейной регрессией

Множественная линейная регрессия - это обобщение простой линейной регрессии на случай более чем одной независимой переменной и частный случай общих линейных моделей, ограниченных одной зависимой переменной. Базовая модель множественной линейной регрессии:

${\ displaystyle Y_ {i} = \ beta _ {0} + \ beta _ {1} X_ {i1} + \ beta _ {2} X_ {i2} + \ ldots + \ beta _ {p} X_ {ip} + \ epsilon _ {i}}$

для каждого наблюдения i = 1, ..., n .

В приведенной выше формуле мы рассматриваем n наблюдений одной зависимой переменной и p независимых переменных. Таким образом, Y _i - i- ^е наблюдение зависимой переменной, X _ij - i- ^е наблюдение j- ^й независимой переменной, j = 1, 2, ..., p . Значения β _j представляют собой параметры, которые необходимо оценить, а ε _i - это i- ^я независимая одинаково распределенная нормальная ошибка.

В более общей многомерной линейной регрессии существует одно уравнение приведенной выше формы для каждой из m > 1 зависимых переменных, которые имеют один и тот же набор независимых переменных и, следовательно, оцениваются одновременно друг с другом:

${\ Displaystyle Y_ {ij} = \ beta _ {0j} + \ beta _ {1j} X_ {i1} + \ beta _ {2j} X_ {i2} + \ ldots + \ beta _ {pj} X_ {ip} + \ epsilon _ {ij}}$

для всех наблюдений, индексированных как i = 1, ..., n, и для всех зависимых переменных, индексированных как j = 1, ..., m .

Обратите внимание, что, поскольку каждая зависимая переменная имеет свой собственный набор параметров регрессии, которые необходимо подогнать, с вычислительной точки зрения общая многомерная регрессия представляет собой просто последовательность стандартных множественных линейных регрессий с использованием одних и тех же независимых переменных.

Сравнение с обобщенной линейной моделью

Общая линейная модель и обобщенная линейная модель (GLM) - это два обычно используемых семейства статистических методов, чтобы связать некоторое количество непрерывных и / или категориальных предикторов с одной переменной результата .

Основное различие между двумя подходами состоит в том, что общая линейная модель строго предполагает, что остатки будут следовать условно нормальному распределению , в то время как GLM ослабляет это предположение и допускает множество других распределений из семейства экспоненциальных остатков. Следует отметить, что общая линейная модель является частным случаем GLM, в котором распределение остатков следует условно нормальному распределению.

Распределение остатков во многом зависит от типа и распределения переменной результата; различные типы переменных результата приводят к разнообразию моделей в семействе GLM. Обычно используемые модели в семействе GLM включают бинарную логистическую регрессию для бинарных или дихотомических результатов, регрессию Пуассона для результатов подсчета и линейную регрессию для непрерывных, нормально распределенных результатов. Это означает, что о GLM можно говорить как об общем семействе статистических моделей или как о конкретных моделях для конкретных типов результатов.

	Общая линейная модель	Обобщенная линейная модель
Типовой метод оценки	Метод наименьших квадратов , лучший линейный несмещенный прогноз	Максимальное правдоподобие или байесовское
Примеры	ANOVA , ANCOVA , линейная регрессия	линейная регрессия , логистическая регрессия , регрессия Пуассона , гамма-регрессия, общая линейная модель
Расширения и связанные методы	MANOVA , MANCOVA , линейная смешанная модель	обобщенная линейная смешанная модель (GLMM), обобщенные оценочные уравнения (GEE)
Пакет и функции R	lm () в пакете статистики (базовый R)	glm () в пакете статистики (базовый R)
Функция Matlab	mvregress ()	glmfit ()
SAS процедуры	PROC GLM , PROC REG	PROC GENMOD , PROC LOGISTIC (для двоичных и упорядоченных или неупорядоченных категориальных результатов)
Команда Stata	регресс	glm
Команда SPSS	регрессия , глм	Генлин, логистика
Язык Wolfram Language и функция Mathematica	LinearModelFit []	GeneralizedLinearModelFit []
EViews команда	ls	glm

Приложения

Применение общей линейной модели появляется при анализе нескольких сканирований мозга в научных экспериментах, где Y содержит данные со сканеров мозга, X содержит переменные плана эксперимента и искажения. Обычно он тестируется одномерным способом (обычно в данном случае называется массовым одномерным ) и часто называется статистическим параметрическим отображением .

Смотрите также

• Байесовская многомерная линейная регрессия

Примечания

использованная литература

• Кристенсен, Рональд (2002). Плоские ответы на сложные вопросы: теория линейных моделей (Третье изд.). Нью-Йорк: Спрингер. ISBN 0-387-95361-2.
• Вичура, Майкл Дж. (2006). Бескординатный подход к линейным моделям . Кембриджская серия по статистической и вероятностной математике. Кембридж: Издательство Кембриджского университета. С. xiv + 199. ISBN 978-0-521-86842-6. Руководство по ремонту  2283455 .
• Роулингс, Джон О.; Pantula, Sastry G .; Дики, Дэвид А., ред. (1998). «Прикладной регрессионный анализ». Тексты Springer в статистике. DOI : 10.1007 / b98890 . ISBN 0-387-98454-2. Цитировать журнал требует |journal=( помощь )