Линейная модель - Linear model

В статистике термин линейная модель используется по-разному в зависимости от контекста. Чаще всего это происходит в связи с моделями регрессии, и этот термин часто используется как синоним модели линейной регрессии . Однако этот термин также используется в анализе временных рядов в другом значении. В каждом случае обозначение «линейный» используется для обозначения подкласса моделей, для которых возможно существенное снижение сложности соответствующей статистической теории .

Модели линейной регрессии

Для случая регрессии статистическая модель выглядит следующим образом. Учитывая (случайную) выборку, связь между наблюдениями и независимыми переменными формулируется как ${\ displaystyle (Y_ {i}, X_ {i1}, \ ldots, X_ {ip}), \, i = 1, \ ldots, n}$${\ displaystyle Y_ {i}}$ ${\ displaystyle X_ {ij}}$

${\ displaystyle Y_ {i} = \ beta _ {0} + \ beta _ {1} \ phi _ {1} (X_ {i1}) + \ cdots + \ beta _ {p} \ phi _ {p} ( X_ {ip}) + \ varepsilon _ {i} \ qquad i = 1, \ ldots, n}$

где могут быть нелинейные функции. Вышеупомянутые величины являются случайными величинами, представляющими ошибки во взаимосвязи. «Линейная» часть обозначения относится к появлению коэффициентов регрессии , линейным образом в приведенных выше отношениях. В качестве альтернативы можно сказать, что прогнозируемые значения, соответствующие приведенной выше модели, а именно ${\ Displaystyle \ phi _ {1}, \ ldots, \ phi _ {p}}$${\ Displaystyle \ varepsilon _ {я}}$${\ displaystyle \ beta _ {j}}$

${\ displaystyle {\ hat {Y}} _ {i} = \ beta _ {0} + \ beta _ {1} \ phi _ {1} (X_ {i1}) + \ cdots + \ beta _ {p} \ phi _ {p} (X_ {ip}) \ qquad (i = 1, \ ldots, n),}$

являются линейными функциями от . ${\ displaystyle \ beta _ {j}}$

Учитывая, что оценка проводится на основе анализа наименьших квадратов , оценки неизвестных параметров определяются путем минимизации функции суммы квадратов. ${\ displaystyle \ beta _ {j}}$

${\ displaystyle S = \ sum _ {i = 1} ^ {n} \ left (Y_ {i} - \ beta _ {0} - \ beta _ {1} \ phi _ {1} (X_ {i1}) - \ cdots - \ beta _ {p} \ phi _ {p} (X_ {ip}) \ right) ^ {2}.}$

Из этого легко понять, что «линейный» аспект модели означает следующее:

• минимизируемая функция является квадратичной функцией, для которой минимизация является относительно простой задачей; ${\ displaystyle \ beta _ {j}}$
• производные функции являются линейными функциями, что упрощает поиск минимизирующих значений; ${\ displaystyle \ beta _ {j}}$
• минимизирующие значения являются линейными функциями наблюдений ; ${\ displaystyle \ beta _ {j}}$${\ displaystyle Y_ {i}}$
• минимизирующие значения являются линейными функциями случайных ошибок, что позволяет относительно легко определить статистические свойства оцененных значений . ${\ displaystyle \ beta _ {j}}$${\ Displaystyle \ varepsilon _ {я}}$${\ displaystyle \ beta _ {j}}$

Модели временных рядов

Примером модели линейного временного ряда является модель авторегрессионного скользящего среднего . Здесь модель значений { } временного ряда может быть записана в виде ${\ displaystyle X_ {t}}$

${\ displaystyle X_ {t} = c + \ varepsilon _ {t} + \ sum _ {i = 1} ^ {p} \ phi _ {i} X_ {ti} + \ sum _ {i = 1} ^ {q } \ theta _ {i} \ varepsilon _ {ti}. \,}$

где снова величины являются случайными величинами, представляющими инновации, которые представляют собой новые случайные эффекты, которые появляются в определенное время, но также влияют на значения в более позднее время. В этом случае использование термина «линейная модель» относится к структуре вышеуказанной взаимосвязи при представлении в виде линейной функции прошлых значений того же временного ряда, а также текущих и прошлых значений инноваций. Этот конкретный аспект структуры означает, что вывести отношения для средних и ковариационных свойств временного ряда относительно просто . Обратите внимание, что здесь «линейная» часть термина «линейная модель» не относится к коэффициентам и , как это было бы в случае регрессионной модели, которая выглядит структурно похожей. ${\ Displaystyle \ varepsilon _ {я}}$${\ displaystyle X}$${\ displaystyle X_ {t}}$${\ displaystyle \ phi _ {я}}$${\ displaystyle \ theta _ {я}}$

Другое использование в статистике

Есть и другие случаи, когда «нелинейная модель» используется для контраста с линейно структурированной моделью, хотя термин «линейная модель» обычно не применяется. Одним из примеров этого является нелинейное уменьшение размерности .

Смотрите также

• Общая линейная модель
• Обобщенная линейная модель
• Линейная функция предиктора
• Линейная система
• Линейная регрессия
• Статистическая модель

Рекомендации