Линейный метод наименьших квадратов - Linear least squares
Часть серии по |
Регрессионный анализ |
---|
Модели |
Предварительный расчет |
Фон |
Линейные наименьших квадратов ( LLS ) является приближением наименьших квадратов из линейных функций к данным. Это набор формулировок для решения статистических задач, связанных с линейной регрессией , включая варианты для обычных (невзвешенных), взвешенных и обобщенных (коррелированных) остатков . Численные методы линейных наименьших квадратов включают в себя обращение матрицы нормальных уравнений и методы ортогонального разложения .
Основные составы
Три основных линейных формулы наименьших квадратов:
-
Обычный метод наименьших квадратов (МНК) является наиболее распространенным оценщиком. Оценки OLS обычно используются для анализа как экспериментальных, так и наблюдательных данных.Метод OLS минимизирует сумму квадратов остатков и приводит к выражению в замкнутой форме для оценочного значения неизвестного вектора параметров β :
- Взвешенный метод наименьших квадратов (WLS) используется, когда гетероскедастичность присутствует в условиях ошибки модели.
-
Обобщенный метод наименьших квадратов (GLS) является расширением метода OLS, который позволяет эффективно оценивать β, когдасреди ошибок модели присутствуютлибо гетероскедастичность , либо корреляции, либо и то, и другое, если известна форма гетероскедастичности и корреляции. независимо от данных. Чтобы справиться с гетероскедастичностью, когда члены ошибок не коррелированы друг с другом, GLS минимизирует взвешенный аналог суммы квадратов остатков из регрессии OLS, где вес для i- го случая обратно пропорционален var ( ε i ). Этот частный случай GLS называется «взвешенными наименьшими квадратами». GLS-решение задачи оценки:
Альтернативные составы
Другие составы включают:
- Метод наименьших квадратов с повторным взвешиванием (IRLS) используется, когда гетероскедастичность или корреляции, или и то, и другое присутствуют среди членов ошибки модели, но мало что известно о ковариационной структуре ошибок независимо от данных. В первой итерации выполняется OLS или GLS с предварительной ковариационной структурой, а остатки получаются из подгонки. На основе остатков обычно может быть получена улучшенная оценка ковариационной структуры ошибок. Затем выполняется последующая итерация GLS с использованием этой оценки структуры ошибок для определения весов. Процесс может быть повторен до сходимости, но во многих случаях только одной итерации достаточно для достижения эффективной оценки β .
-
Регрессия инструментальных переменных (IV) может быть выполнена, когда регрессоры коррелируют с ошибками. В этом случае нам необходимо наличие некоторых вспомогательных инструментальных переменных z i таких, что E [ z i ε i ] = 0. Если Z - матрица инструментов, то оценка может быть дана в замкнутой форме как
- Метод наименьших квадратов (TLS) - это подход к оценке методом наименьших квадратов модели линейной регрессии, который обрабатывает ковариаты и переменную ответа более геометрически симметрично, чем OLS. Это один из подходов к решению проблемы «ошибок в переменных», который также иногда используется, даже когда предполагается, что ковариаты не содержат ошибок.
Кроме того, метод наименьших квадратов в процентах направлен на уменьшение процентных ошибок, что полезно в области прогнозирования или анализа временных рядов. Это также полезно в ситуациях, когда зависимая переменная имеет широкий диапазон без постоянной дисперсии, поскольку здесь будут преобладать большие остатки на верхнем конце диапазона, если бы использовалась OLS. Когда процентная или относительная ошибка распределена нормально, регрессия процента наименьших квадратов обеспечивает оценки максимального правдоподобия. Процентная регрессия связана с моделью мультипликативной ошибки, тогда как OLS связана с моделями, содержащими дополнительный член ошибки.
В методе наименьших квадратов с ограничениями интересуется решением линейной задачи наименьших квадратов с дополнительным ограничением на решение.
Целевая функция
В МНК (то есть, если предположить , невзвешенные наблюдения), то оптимальное значение в целевой функции определяется путем подстановки выражения для оптимального вектора коэффициентов:
Если предположить , что остатки принадлежат к нормальному распределению, целевой функции, будучи сумма взвешенных квадратов остатков, будет принадлежать к хи-квадрат ( ) распределения с т - п степенями свободы . Некоторые иллюстративные значения процентилей приведены в следующей таблице.
10 | 9,34 | 18,3 | 23,2 |
25 | 24,3 | 37,7 | 44,3 |
100 | 99,3 | 124 | 136 |
Эти значения могут использоваться в качестве статистического критерия качества соответствия . При использовании единичных весов числа следует разделить на дисперсию наблюдения.
Для WLS обычная целевая функция, приведенная выше, заменяется средневзвешенным значением остатков.
Обсуждение
В статистике и математике , линейной наименьших квадратов является подход к подбору математической или статистической модели к данным в тех случаях , когда идеализированный значение при условии , моделью для любой точки данных выражается линейно через неизвестных параметров модели. Полученную подобранную модель можно использовать для обобщения данных, прогнозирования ненаблюдаемых значений из той же системы и понимания механизмов, которые могут лежать в основе системы.
Математически, линейный наименьших квадратов является проблема приближенного решения в переопределенной системы линейных уравнений
х = Ь , где Ь не является элементом столбца пространства матрицы A . Приближенное решение реализуется как точное решение А х = Ь «где Ь» является проекцией Ь на колонке с пространством А . Тогда наилучшим приближением является то, которое минимизирует сумму квадратов разностей между значениями данных и их соответствующими смоделированными значениями. Такой подход называется линейным методом наименьших квадратов, поскольку предполагаемая функция линейна по параметрам, которые необходимо оценить. Линейные задачи наименьших квадратов являются выпуклыми и имеют уникальное решение в замкнутой форме при условии, что количество точек данных, используемых для подгонки, равно или превышает количество неизвестных параметров, за исключением особых вырожденных ситуаций. Напротив, нелинейные задачи наименьших квадратов обычно должны решаться с помощью итерационной процедуры , и проблемы могут быть невыпуклыми с множественными оптимумами для целевой функции. Если доступны предварительные распределения, то даже недоопределенная система может быть решена с помощью байесовской оценки MMSE .В статистике задачи линейных наименьших квадратов соответствуют особенно важному типу статистической модели, называемой линейной регрессией, которая возникает как особая форма регрессионного анализа . Одна из основных форм такой модели - это обычная модель
наименьших квадратов . Настоящая статья концентрируется на математических аспектах линейных задач наименьших квадратов с обсуждением формулировки и интерпретации моделей статистической регрессии и статистических выводов, связанных с ними, которые рассматриваются в только что упомянутых статьях. См. Схему регрессионного анализа для описания темы.Характеристики
Если экспериментальные ошибки некоррелированы, имеют нулевое среднее значение и постоянную дисперсию, то
теорема Гаусса – Маркова утверждает, что оценка методом наименьших квадратов имеет минимальную дисперсию всех оценок, которые являются линейными комбинациями наблюдений. В этом смысле это лучшая или оптимальная оценка параметров. Обратите особое внимание на то, что это свойство не зависит от функции статистического распределения ошибок. Другими словами, функция распределения ошибок не обязательно должна быть нормальным распределением . Однако для некоторых распределений вероятностей нет никакой гарантии, что решение методом наименьших квадратов возможно даже с учетом наблюдений; тем не менее, в таких случаях это лучшая оценка, которая является как линейной, так и несмещенной.Например, легко показать, что среднее арифметическое набора измерений величины является оценкой значения этой величины методом наименьших квадратов. Если выполняются условия теоремы Гаусса – Маркова, среднее арифметическое является оптимальным, каким бы ни было распределение ошибок измерений.
Однако в случае, если экспериментальные ошибки действительно принадлежат нормальному распределению, оценщик наименьших квадратов также является оценщиком максимального правдоподобия .
Эти свойства лежат в основе использования метода наименьших квадратов для всех типов подгонки данных, даже если предположения не являются строго верными.
Ограничения
Предположение, лежащее в основе приведенного выше лечения, состоит в том, что независимая переменная x не содержит ошибок. На практике ошибки измерения независимой переменной обычно намного меньше, чем ошибки зависимой переменной, и поэтому ими можно пренебречь. Если это не так, следует использовать тотальный метод
наименьших квадратов или, в более общем смысле, модели ошибок в переменных или строгий метод наименьших квадратов . Это можно сделать, настроив схему взвешивания с учетом ошибок как зависимых, так и независимых переменных, а затем следуя стандартной процедуре.В некоторых случаях (весовые) нормальные уравнения матрицы X T X является плохо обусловленной . При подгонке полиномов матрица нормальных уравнений представляет собой матрицу Вандермонда . Матрицы Вандермонда становятся все более плохо обусловленными по мере увеличения порядка матрицы. В этих случаях оценка методом наименьших квадратов усиливает шум измерения и может быть очень неточным. В таких случаях могут применяться различные методы регуляризации , наиболее распространенный из которых называется гребневой регрессией . Если известна дополнительная информация о параметрах, например, диапазон возможных значений , то можно использовать различные методы для повышения стабильности решения. Например, см.
Метод наименьших квадратов с ограничениями .Другим недостатком оценщика наименьших квадратов является тот факт, что норма остатков минимизирована, тогда как в некоторых случаях действительно интересует получение небольшой ошибки в параметре , например, небольшого значения . Однако, поскольку истинный параметр обязательно неизвестен, эту величину нельзя напрямую минимизировать. Если
априорная вероятность на известна, то оценщик Байеса может использоваться для минимизации среднеквадратичной ошибки , . Метод наименьших квадратов часто применяется, когда априорное значение неизвестно. Удивительно, но когда несколько параметров оцениваются совместно, можно построить более точные оценки - эффект, известный как феномен Штейна . Например, если ошибка измерения гауссова , известно несколько оценщиков, которые преобладают или превосходят метод наименьших квадратов; Самая известная из них - оценка Джеймса – Стейна . Это пример более общих оценок усадки , которые были применены к задачам регрессии.Приложения
-
Подгонка полиномов : модели - это полиномы от независимой переменной x :
- Прямая линия: .
- Квадратное: .
- Кубические, квартичные и высшие многочлены. Для регрессии с многочленами высокого порядка рекомендуется использовать ортогональные многочлены .
- Численное сглаживание и дифференцирование - это приложение полиномиальной аппроксимации.
- Полиномы от более чем одной независимой переменной, включая аппроксимацию поверхности
- Подгонка кривой с помощью B-шлицев
- Хемометрия , Калибровочная кривая , Добавление стандарта , График Гран , анализ смесей
Использование при подборе данных
Основное применение линейных наименьших квадратов - аппроксимация данных . Дан набор из m точек данных, состоящий из экспериментально измеренных значений, взятых при
m значениях независимой переменной ( могут быть скалярными или векторными величинами), и заданной модельной функции с желательно найти такие параметры , чтобы модельная функция была "наилучшей" соответствует данным. В линейных методах наименьших квадратов линейность должна соответствовать параметрам, поэтомуЗдесь функции могут быть
нелинейными по переменной x .В идеале модельная функция точно соответствует данным, поэтому
После замены на, а затем на , эта задача минимизации превращается в приведенную выше задачу квадратичной минимизации с
Пример
В результате эксперимента были получены четыре точки данных, и (показаны красным на диаграмме справа). Мы надеемся найти линию, которая лучше всего соответствует этим четырем пунктам. Другими словами, мы хотели бы найти номера и что приблизительно решить Переопределенная линейную систему:
представляет собой остаток в каждой точке между аппроксимацией кривой и данными:
Квадратов не менее подход к решению этой проблемы заключается в попытке сделать сумму квадратов этих остатков как можно; то есть найти минимум функции:
Минимум определяется путем вычисления частных производных по отношению к и и установки их к нулю:
Это приводит к системе двух уравнений с двумя неизвестными, называемых нормальными уравнениями, которые при решении дают:
В более общем смысле, можно иметь регрессоры и линейную модель.
Использование квадратичной модели
Важно отметить, что в методе «линейных наименьших квадратов» мы не ограничены использованием линии в качестве модели, как в приведенном выше примере. Например, мы могли выбрать ограниченную квадратичную модель . Эта модель по-прежнему линейна по параметру, поэтому мы по-прежнему можем выполнить тот же анализ, построив систему уравнений из точек данных:
Частные производные по параметрам (на этот раз только одна) снова вычисляются и устанавливаются на 0:
Смотрите также
- Линия-линия пересечения # Ближайшая точка к непересекающимся линиям , приложение
- Линия фитинга
- Нелинейный метод наименьших квадратов
- Регуляризованный метод наименьших квадратов
- Простая линейная регрессия
- Частичная регрессия наименьших квадратов
- Линейная функция
использованная литература
дальнейшее чтение
- Бевингтон, Филип Р .; Робинсон, Кейт Д. (2003). Обработка данных и анализ ошибок для физических наук . Макгроу-Хилл. ISBN 978-0-07-247227-1.