Линейный метод наименьших квадратов - Linear least squares

Линейные наименьших квадратов ( LLS ) является приближением наименьших квадратов из линейных функций к данным. Это набор формулировок для решения статистических задач, связанных с линейной регрессией , включая варианты для обычных (невзвешенных), взвешенных и обобщенных (коррелированных) остатков . Численные методы линейных наименьших квадратов включают в себя обращение матрицы нормальных уравнений и методы ортогонального разложения .

Основные составы

Три основных линейных формулы наименьших квадратов:

  • Обычный метод наименьших квадратов (МНК) является наиболее распространенным оценщиком. Оценки OLS обычно используются для анализа как экспериментальных, так и наблюдательных данных.
    Метод OLS минимизирует сумму квадратов остатков и приводит к выражению в замкнутой форме для оценочного значения неизвестного вектора параметров β :
    где - вектор,
    i- й элемент которого является i- м наблюдением зависимой переменной , и - матрица, ij- элемент которой является i- м наблюдением j- й независимой переменной . (Примечание: это обратная функция Мура – ​​Пенроуза .) Оценка является несмещенной и непротиворечивой, если ошибки имеют конечную дисперсию и не коррелируют с регрессорами:
    где - транспонированная строка
    i матрицы. Это также эффективно при предположении, что ошибки имеют конечную дисперсию и гомоскедастичны , что означает, что E [ ε i 2 | x i ] не зависит от i . Условие, что ошибки не коррелируют с регрессорами, обычно выполняется в эксперименте, но в случае данных наблюдений трудно исключить возможность пропущенной ковариаты z, которая связана как с наблюдаемыми ковариатами, так и с переменной отклика. . Существование такой ковариаты обычно приводит к корреляции между регрессорами и переменной отклика и, следовательно, к непоследовательной оценке β . Условие гомоскедастичности может быть нарушено экспериментальными или наблюдательными данными. Если целью является либо логический вывод, либо прогнозное моделирование, эффективность оценок OLS может быть низкой, если присутствует мультиколлинеарность , если только размер выборки не велик.
  • Взвешенный метод наименьших квадратов (WLS) используется, когда гетероскедастичность присутствует в условиях ошибки модели.
  • Обобщенный метод наименьших квадратов (GLS) является расширением метода OLS, который позволяет эффективно оценивать β, когдасреди ошибок модели присутствуютлибо гетероскедастичность , либо корреляции, либо и то, и другое, если известна форма гетероскедастичности и корреляции. независимо от данных. Чтобы справиться с гетероскедастичностью, когда члены ошибок не коррелированы друг с другом, GLS минимизирует взвешенный аналог суммы квадратов остатков из регрессии OLS, где вес для i- го случая обратно пропорционален var ( ε i ). Этот частный случай GLS называется «взвешенными наименьшими квадратами». GLS-решение задачи оценки:
    где Ω - ковариационная матрица ошибок. GLS можно рассматривать как применение линейного преобразования к данным, чтобы выполнялись предположения OLS для преобразованных данных. Для применения GLS ковариационная структура ошибок должна быть известна с точностью до мультипликативной константы.

Альтернативные составы

Другие составы включают:

  • Метод наименьших квадратов с повторным взвешиванием (IRLS) используется, когда гетероскедастичность или корреляции, или и то, и другое присутствуют среди членов ошибки модели, но мало что известно о ковариационной структуре ошибок независимо от данных. В первой итерации выполняется OLS или GLS с предварительной ковариационной структурой, а остатки получаются из подгонки. На основе остатков обычно может быть получена улучшенная оценка ковариационной структуры ошибок. Затем выполняется последующая итерация GLS с использованием этой оценки структуры ошибок для определения весов. Процесс может быть повторен до сходимости, но во многих случаях только одной итерации достаточно для достижения эффективной оценки β .
  • Регрессия инструментальных переменных (IV) может быть выполнена, когда регрессоры коррелируют с ошибками. В этом случае нам необходимо наличие некоторых вспомогательных инструментальных переменных z i таких, что E [ z i ε i ] = 0. Если Z - матрица инструментов, то оценка может быть дана в замкнутой форме как
    Оптимальная регрессия
    инструментов - это расширение классической регрессии IV до ситуации, когда E [ ε i | z i ] = 0 .
  • Метод наименьших квадратов (TLS) - это подход к оценке методом наименьших квадратов модели линейной регрессии, который обрабатывает ковариаты и переменную ответа более геометрически симметрично, чем OLS. Это один из подходов к решению проблемы «ошибок в переменных», который также иногда используется, даже когда предполагается, что ковариаты не содержат ошибок.

Кроме того, метод наименьших квадратов в процентах направлен на уменьшение процентных ошибок, что полезно в области прогнозирования или анализа временных рядов. Это также полезно в ситуациях, когда зависимая переменная имеет широкий диапазон без постоянной дисперсии, поскольку здесь будут преобладать большие остатки на верхнем конце диапазона, если бы использовалась OLS. Когда процентная или относительная ошибка распределена нормально, регрессия процента наименьших квадратов обеспечивает оценки максимального правдоподобия. Процентная регрессия связана с моделью мультипликативной ошибки, тогда как OLS связана с моделями, содержащими дополнительный член ошибки.

В методе наименьших квадратов с ограничениями интересуется решением линейной задачи наименьших квадратов с дополнительным ограничением на решение.

Целевая функция

В МНК (то есть, если предположить , невзвешенные наблюдения), то оптимальное значение в целевой функции определяется путем подстановки выражения для оптимального вектора коэффициентов:

где последнее равенство выполняется, поскольку симметрично и идемпотентно. Можно показать , что из этого в рамках соответствующего присвоения весового коэффициента в ожидаемое значение из S является м  -  н . Если вместо этого предполагается использовать удельные веса, ожидаемое значение S равно , где - дисперсия каждого наблюдения.

Если предположить , что остатки принадлежат к нормальному распределению, целевой функции, будучи сумма взвешенных квадратов остатков, будет принадлежать к хи-квадрат ( ) распределения с т  -  п степенями свободы . Некоторые иллюстративные значения процентилей приведены в следующей таблице.

10 9,34 18,3 23,2
25 24,3 37,7 44,3
100 99,3 124 136

Эти значения могут использоваться в качестве статистического критерия качества соответствия . При использовании единичных весов числа следует разделить на дисперсию наблюдения.

Для WLS обычная целевая функция, приведенная выше, заменяется средневзвешенным значением остатков.

Обсуждение

В статистике и математике , линейной наименьших квадратов является подход к подбору математической или статистической модели к данным в тех случаях , когда идеализированный значение при условии , моделью для любой точки данных выражается линейно через неизвестных параметров модели. Полученную подобранную модель можно использовать для обобщения данных, прогнозирования ненаблюдаемых значений из той же системы и понимания механизмов, которые могут лежать в основе системы.

Математически, линейный наименьших квадратов является проблема приближенного решения в переопределенной системы линейных уравнений

х = Ь , где Ь не является элементом столбца пространства матрицы A . Приближенное решение реализуется как точное решение А х = Ь «где Ь» является проекцией Ь на колонке с пространством А . Тогда наилучшим приближением является то, которое минимизирует сумму квадратов разностей между значениями данных и их соответствующими смоделированными значениями. Такой подход называется линейным методом наименьших квадратов, поскольку предполагаемая функция линейна по параметрам, которые необходимо оценить. Линейные задачи наименьших квадратов являются выпуклыми и имеют уникальное решение в замкнутой форме при условии, что количество точек данных, используемых для подгонки, равно или превышает количество неизвестных параметров, за исключением особых вырожденных ситуаций. Напротив, нелинейные задачи наименьших квадратов обычно должны решаться с помощью итерационной процедуры , и проблемы могут быть невыпуклыми с множественными оптимумами для целевой функции. Если доступны предварительные распределения, то даже недоопределенная система может быть решена с помощью байесовской оценки MMSE .

В статистике задачи линейных наименьших квадратов соответствуют особенно важному типу статистической модели, называемой линейной регрессией, которая возникает как особая форма регрессионного анализа . Одна из основных форм такой модели - это обычная модель

наименьших квадратов . Настоящая статья концентрируется на математических аспектах линейных задач наименьших квадратов с обсуждением формулировки и интерпретации моделей статистической регрессии и статистических выводов, связанных с ними, которые рассматриваются в только что упомянутых статьях. См. Схему регрессионного анализа для описания темы.

Характеристики

Если экспериментальные ошибки некоррелированы, имеют нулевое среднее значение и постоянную дисперсию, то

теорема Гаусса – Маркова утверждает, что оценка методом наименьших квадратов имеет минимальную дисперсию всех оценок, которые являются линейными комбинациями наблюдений. В этом смысле это лучшая или оптимальная оценка параметров. Обратите особое внимание на то, что это свойство не зависит от функции статистического распределения ошибок. Другими словами, функция распределения ошибок не обязательно должна быть нормальным распределением . Однако для некоторых распределений вероятностей нет никакой гарантии, что решение методом наименьших квадратов возможно даже с учетом наблюдений; тем не менее, в таких случаях это лучшая оценка, которая является как линейной, так и несмещенной.

Например, легко показать, что среднее арифметическое набора измерений величины является оценкой значения этой величины методом наименьших квадратов. Если выполняются условия теоремы Гаусса – Маркова, среднее арифметическое является оптимальным, каким бы ни было распределение ошибок измерений.

Однако в случае, если экспериментальные ошибки действительно принадлежат нормальному распределению, оценщик наименьших квадратов также является оценщиком максимального правдоподобия .

Эти свойства лежат в основе использования метода наименьших квадратов для всех типов подгонки данных, даже если предположения не являются строго верными.

Ограничения

Предположение, лежащее в основе приведенного выше лечения, состоит в том, что независимая переменная x не содержит ошибок. На практике ошибки измерения независимой переменной обычно намного меньше, чем ошибки зависимой переменной, и поэтому ими можно пренебречь. Если это не так, следует использовать тотальный метод

наименьших квадратов или, в более общем смысле, модели ошибок в переменных или строгий метод наименьших квадратов . Это можно сделать, настроив схему взвешивания с учетом ошибок как зависимых, так и независимых переменных, а затем следуя стандартной процедуре.

В некоторых случаях (весовые) нормальные уравнения матрицы X T X является плохо обусловленной . При подгонке полиномов матрица нормальных уравнений представляет собой матрицу Вандермонда . Матрицы Вандермонда становятся все более плохо обусловленными по мере увеличения порядка матрицы. В этих случаях оценка методом наименьших квадратов усиливает шум измерения и может быть очень неточным. В таких случаях могут применяться различные методы регуляризации , наиболее распространенный из которых называется гребневой регрессией . Если известна дополнительная информация о параметрах, например, диапазон возможных значений , то можно использовать различные методы для повышения стабильности решения. Например, см.

Метод наименьших квадратов с ограничениями .

Другим недостатком оценщика наименьших квадратов является тот факт, что норма остатков минимизирована, тогда как в некоторых случаях действительно интересует получение небольшой ошибки в параметре , например, небольшого значения . Однако, поскольку истинный параметр обязательно неизвестен, эту величину нельзя напрямую минимизировать. Если

априорная вероятность на известна, то оценщик Байеса может использоваться для минимизации среднеквадратичной ошибки , . Метод наименьших квадратов часто применяется, когда априорное значение неизвестно. Удивительно, но когда несколько параметров оцениваются совместно, можно построить более точные оценки - эффект, известный как феномен Штейна . Например, если ошибка измерения гауссова , известно несколько оценщиков, которые преобладают или превосходят метод наименьших квадратов; Самая известная из них - оценка Джеймса – Стейна . Это пример более общих оценок усадки , которые были применены к задачам регрессии.

Приложения

Использование при подборе данных

Основное применение линейных наименьших квадратов - аппроксимация данных . Дан набор из m точек данных, состоящий из экспериментально измеренных значений, взятых при

m значениях независимой переменной ( могут быть скалярными или векторными величинами), и заданной модельной функции с желательно найти такие параметры , чтобы модельная функция была "наилучшей" соответствует данным. В линейных методах наименьших квадратов линейность должна соответствовать параметрам, поэтому

Здесь функции могут быть

нелинейными по переменной x .

В идеале модельная функция точно соответствует данным, поэтому

для всех На практике это обычно невозможно, так как точек данных больше, чем параметров, которые необходимо определить. Выбранный подход состоит в том, чтобы найти минимально возможное значение суммы квадратов
остатков
чтобы минимизировать функцию

После замены на, а затем на , эта задача минимизации превращается в приведенную выше задачу квадратичной минимизации с

и наилучшее соответствие можно найти, решив нормальные уравнения.

Пример

График точек данных (красный), линия наименьших квадратов наилучшего соответствия (синий) и остатки (зеленый)

В результате эксперимента были получены четыре точки данных, и (показаны красным на диаграмме справа). Мы надеемся найти линию, которая лучше всего соответствует этим четырем пунктам. Другими словами, мы хотели бы найти номера и что приблизительно решить Переопределенная линейную систему:

четырех уравнений с двумя неизвестными в каком-то «лучшем» смысле.

представляет собой остаток в каждой точке между аппроксимацией кривой и данными:

Квадратов не менее подход к решению этой проблемы заключается в попытке сделать сумму квадратов этих остатков как можно; то есть найти минимум функции:

Минимум определяется путем вычисления частных производных по отношению к и и установки их к нулю:

Это приводит к системе двух уравнений с двумя неизвестными, называемых нормальными уравнениями, которые при решении дают:

и уравнение является линией наилучшего соответствия. В невязках , то есть, разница между значениями из наблюдений и Предикатных переменных с использованием линии наилучшего соответствия, которые затем оказались и (смотрите схему справа). Минимальное значение суммы квадратов остатков составляет

В более общем смысле, можно иметь регрессоры и линейную модель.

Использование квадратичной модели

Результат подбора квадратичной функции (синим цветом) через набор точек данных (красный цвет). В линейных методах наименьших квадратов функция не должна быть линейной по аргументу, а только по параметрам , которые определены для наилучшего соответствия.

Важно отметить, что в методе «линейных наименьших квадратов» мы не ограничены использованием линии в качестве модели, как в приведенном выше примере. Например, мы могли выбрать ограниченную квадратичную модель . Эта модель по-прежнему линейна по параметру, поэтому мы по-прежнему можем выполнить тот же анализ, построив систему уравнений из точек данных:

Частные производные по параметрам (на этот раз только одна) снова вычисляются и устанавливаются на 0:

и решил
приводя к итоговой модели наилучшего соответствия

Смотрите также

использованная литература

дальнейшее чтение

  • Бевингтон, Филип Р .; Робинсон, Кейт Д. (2003). Обработка данных и анализ ошибок для физических наук . Макгроу-Хилл. ISBN 978-0-07-247227-1.

внешние ссылки