Всего наименьших квадратов - Total least squares

Двумерный (регрессия Деминга) случай общих наименьших квадратов. Красные линии показывают ошибку как по x, так и по y . Это отличается от традиционного метода наименьших квадратов, который измеряет ошибку параллельно оси y . Показанный случай с отклонениями, измеренными перпендикулярно, возникает, когда ошибки в x и y имеют одинаковую дисперсию.

В прикладной статистике , всего наименьших квадратов представляет собой тип ошибки-в-переменных регрессии , в наименьших квадратов данных моделирования методом , в котором ошибки наблюдений на обеих зависимых и независимых переменных принимаются во внимание. Это обобщение регрессии Деминга, а также ортогональной регрессии , и может применяться как к линейным, так и к нелинейным моделям.

Общее приближение наименьших квадратов данных является обобщенно эквивалент к лучшему, в норме Фробениуса , низкоразрядный приближение матрицы данных.

Линейная модель

Фон

В наименьших квадратов метода моделирования данных, целевая функция , S ,

${\ Displaystyle S = \ mathbf {r ^ {T} Wr},}$

минимизируется, где r - вектор остатков, а W - весовая матрица. В линейных методах наименьших квадратов модель содержит уравнения, которые являются линейными по параметрам, появляющимся в векторе параметров , поэтому невязки задаются выражением ${\ displaystyle {\ boldsymbol {\ beta}}}$

${\ displaystyle \ mathbf {r = yX {\ boldsymbol {\ beta}}}.}$

Имеется m наблюдений в параметрах y и n в параметрах β с m > n . X - это матрица размера m × n , элементы которой являются либо константами, либо функциями независимых переменных x . В идеале весовая матрица W является обратной матрицей дисперсии-ковариации наблюдений y . Предполагается, что независимые переменные не содержат ошибок. Оценки параметров находятся путем приведения градиентных уравнений к нулю, что приводит к нормальным уравнениям ${\ displaystyle \ mathbf {M} _ {y}}$

${\ displaystyle \ mathbf {X ^ {T} WX {\ boldsymbol {\ beta}} = X ^ {T} Wy}.}$

Разрешение ошибок наблюдения по всем переменным

Теперь предположим, что и x, и y наблюдаются с ошибкой с матрицами ковариации и соответственно. В этом случае целевую функцию можно записать как ${\ displaystyle \ mathbf {M} _ {x}}$${\ displaystyle \ mathbf {M} _ {y}}$

${\ Displaystyle S = \ mathbf {r_ {x} ^ {T} M_ {x} ^ {- 1} r_ {x} + r_ {y} ^ {T} M_ {y} ^ {- 1} r_ {y }},}$

где и - остатки по x и y соответственно. Ясно, что эти остатки не могут быть независимыми друг от друга, но они должны быть ограничены какими-то отношениями. Записывая модельную функцию как , ограничения выражаются m условными уравнениями. ${\ displaystyle \ mathbf {r} _ {x}}$${\ displaystyle \ mathbf {r} _ {y}}$${\ displaystyle \ mathbf {е (r_ {x}, r_ {y}, {\ boldsymbol {\ beta}})}}$

${\ displaystyle \ mathbf {F = \ Delta y - {\ frac {\ partial f} {\ partial r_ {x}}} r_ {x} - {\ frac {\ partial f} {\ partial r_ {y}} } r_ {y} -X \ Delta {\ boldsymbol {\ beta}} = 0}.}$

Таким образом, проблема состоит в том, чтобы минимизировать целевую функцию с учетом ограничений m . Решается с помощью множителей Лагранжа . После некоторых алгебраических манипуляций результат получен.

${\ displaystyle \ mathbf {X ^ {T} M ^ {- 1} X \ Delta {\ boldsymbol {\ beta}} = X ^ {T} M ^ {- 1} \ Delta y},}$

или, в качестве альтернативы, где M - матрица вариации-ковариации относительно как независимых, так и зависимых переменных. ${\ displaystyle \ mathbf {X ^ {T} M ^ {- 1} X {\ boldsymbol {\ beta}} = X ^ {T} M ^ {- 1} y},}$

${\ displaystyle \ mathbf {M = K_ {x} M_ {x} K_ {x} ^ {T} + K_ {y} M_ {y} K_ {y} ^ {T}; \ K_ {x} = - { \ frac {\ partial f} {\ partial r_ {x}}}, \ K_ {y} = - {\ frac {\ partial f} {\ partial r_ {y}}}}.}$

Пример

Когда ошибки данных некоррелированы, все матрицы M и W диагональны. Затем возьмем пример прямой подгонки.

${\ Displaystyle е (х_ {я}, \ бета) = \ альфа + \ бета х_ {я}}$

в этом случае

${\ displaystyle M_ {ii} = \ sigma _ {y, i} ^ {2} + \ beta ^ {2} \ sigma _ {x, i} ^ {2}}$

показывает, как дисперсия в i- й точке определяется дисперсией как независимых, так и зависимых переменных, а также моделью, используемой для подбора данных. Выражение можно обобщить, отметив, что параметр - это наклон линии. ${\ displaystyle \ beta}$

${\ displaystyle M_ {ii} = \ sigma _ {y, i} ^ {2} + \ left ({\ frac {dy} {dx}} \ right) _ {i} ^ {2} \ sigma _ {x , i} ^ {2}}$

Выражение этого типа используется при подборе данных титрования pH, где небольшая ошибка по x переводится в большую ошибку по y, когда наклон большой.

Алгебраическая точка зрения

Как показали Голуб и Ван Лоан в 1980 году, проблема TLS в целом не имеет решения. Ниже рассматривается простой случай, когда единственное решение существует без каких-либо конкретных предположений.

Вычисление TLS с использованием разложения по сингулярным числам (SVD) описано в стандартных текстах. Мы можем решить уравнение

${\ Displaystyle XB \ приблизительно Y}$

для B, где X - m -by- n, а Y - m -by- k .

То есть мы стремимся найти B, который минимизирует матрицы ошибок E и F для X и Y соответственно. То есть,

${\ Displaystyle \ mathrm {argmin} _ {B, E, F} \ | [E \; F] \ | _ {F}, \ qquad (X + E) B = Y + F}$

где - расширенная матрица с E и F рядом, и - норма Фробениуса , квадратный корень из суммы квадратов всех элементов в матрице и, что эквивалентно, квадратный корень из суммы квадратов длин строк или столбцы матрицы. ${\ displaystyle [E \; F]}$${\ Displaystyle \ | \ cdot \ | _ {F}}$

Это можно переписать как

${\ displaystyle [(X + E) \; (Y + F)] {\ begin {bmatrix} B \\ - I_ {k} \ end {bmatrix}} = 0.}$

где - единичная матрица. Затем цель состоит в том , чтобы найти, что понижает ранг на k . Определите как сингулярное разложение расширенной матрицы . ${\ displaystyle I_ {k}}$${\ Displaystyle к \ раз к}$${\ displaystyle [E \; F]}$${\ Displaystyle [X \; Y]}$${\ Displaystyle [U] [\ Sigma] [V] ^ {*}}$${\ Displaystyle [X \; Y]}$

${\ displaystyle [X \; Y] = [U_ {X} \; U_ {Y}] {\ begin {bmatrix} \ Sigma _ {X} & 0 \\ 0 & \ Sigma _ {Y} \ end {bmatrix}} {\ begin {bmatrix} V_ {XX} & V_ {XY} \\ V_ {YX} & V_ {YY} \ end {bmatrix}} ^ {*} = [U_ {X} \; U_ {Y}] {\ begin {bmatrix} \ Sigma _ {X} & 0 \\ 0 & \ Sigma _ {Y} \ end {bmatrix}} {\ begin {bmatrix} V_ {XX} ^ {*} & V_ {YX} ^ {*} \\ V_ {XY} ^ {*} & V_ {YY} ^ {*} \ end {bmatrix}}}$

где V разбивается на блоки , соответствующие форме X и Y .

Используя теорему Эккарта – Юнга , приближение, минимизирующее норму ошибки, таково, что матрицы и остаются неизменными, а наименьшие особые значения заменяются нулями. То есть мы хотим ${\ displaystyle U}$${\ displaystyle V}$${\ displaystyle k}$

${\ displaystyle [(X + E) \; (Y + F)] = [U_ {X} \; U_ {Y}] {\ begin {bmatrix} \ Sigma _ {X} & 0 \\ 0 & 0_ {k \ times k} \ end {bmatrix}} {\ begin {bmatrix} V_ {XX} & V_ {XY} \\ V_ {YX} & V_ {YY} \ end {bmatrix}} ^ {*}}$

так по линейности,

${\ displaystyle [E \; F] = - [U_ {X} \; U_ {Y}] {\ begin {bmatrix} 0_ {n \ times n} & 0 \\ 0 & \ Sigma _ {Y} \ end {bmatrix }} {\ begin {bmatrix} V_ {XX} & V_ {XY} \\ V_ {YX} & V_ {YY} \ end {bmatrix}} ^ {*}.}$

Затем мы можем удалить блоки из матриц U и Σ, упростив до

${\ displaystyle [E \; F] = - U_ {Y} \ Sigma _ {Y} {\ begin {bmatrix} V_ {XY} \\ V_ {YY} \ end {bmatrix}} ^ {*} = - [ X \; Y] {\ begin {bmatrix} V_ {XY} \\ V_ {YY} \ end {bmatrix}} {\ begin {bmatrix} V_ {XY} \\ V_ {YY} \ end {bmatrix}} ^ {*}.}$

Это обеспечивает E и F, так что

${\ displaystyle [(X + E) \; (Y + F)] {\ begin {bmatrix} V_ {XY} \\ V_ {YY} \ end {bmatrix}} = 0.}$

Теперь, если является невырожденной, что не всегда так (обратите внимание, что поведение TLS, когда она сингулярна, еще не очень хорошо изучена), мы можем затем умножить обе стороны справа, чтобы привести нижний блок правой матрицы к отрицательной единице, давая ${\ displaystyle V_ {YY}}$${\ displaystyle V_ {YY}}$${\ displaystyle -V_ {YY} ^ {- 1}}$

${\ displaystyle [(X + E) \; (Y + F)] {\ begin {bmatrix} -V_ {XY} V_ {YY} ^ {- 1} \\ - V_ {YY} V_ {YY} ^ { -1} \ end {bmatrix}} = [(X + E) \; (Y + F)] {\ begin {bmatrix} B \\ - I_ {k} \ end {bmatrix}} = 0,}$

так что

${\ displaystyle B = -V_ {XY} V_ {YY} ^ {- 1}.}$

Наивная реализация этого приложения в GNU Octave :

function B = tls(X, Y)

[m n]   = size(X);             % n is the width of X (X is m by n)
Z       = [X Y];               % Z is X augmented with Y.
[U S V] = svd(Z, 0);           % find the SVD of Z.
VXY     = V(1:n, 1+n:end);     % Take the block of V consisting of the first n rows and the n+1 to last column
VYY     = V(1+n:end, 1+n:end); % Take the bottom-right block of V.
B       = -VXY / VYY;

end

Описанный выше способ решения задачи, требующий, чтобы матрица была невырожденной, может быть немного расширен так называемым классическим алгоритмом TLS . ${\ displaystyle V_ {YY}}$

Вычисление

Стандартная реализация классического алгоритма TLS доступна через Netlib , см. Также. Все современные реализации, основанные, например, на решении последовательности обычных задач наименьших квадратов, аппроксимируют матрицу (обозначенную в литературе), как это было введено Ван Хаффелем и Вандеваллем. Стоит отметить, что это , однако, не решение TLS во многих случаях. ${\ displaystyle B}$${\ displaystyle X}$${\ displaystyle B}$

Нелинейная модель

Для нелинейных систем аналогичные рассуждения показывают, что нормальные уравнения для итерационного цикла можно записать как

${\ displaystyle \ mathbf {J ^ {T} M ^ {- 1} J \ Delta {\ boldsymbol {\ beta}} = J ^ {T} M ^ {- 1} \ Delta y},}$

где - матрица Якоби . ${\ displaystyle \ mathbf {J}}$

Геометрическая интерпретация

Если независимая переменная не содержит ошибок, остаток представляет собой «вертикальное» расстояние между наблюдаемой точкой данных и подобранной кривой (или поверхностью). Итого по методу наименьших квадратов остаток представляет собой расстояние между точкой данных и подобранной кривой, измеренное вдоль некоторого направления. Фактически, если обе переменные измеряются в одних и тех же единицах и ошибки для обеих переменных одинаковы, то невязка представляет собой кратчайшее расстояние между точкой данных и подобранной кривой , то есть вектор невязки перпендикулярен касательной к Кривая. По этой причине этот тип регрессии иногда называют двумерной евклидовой регрессией (Stein, 1983) или ортогональной регрессией .

Масштабно-инвариантные методы

Серьезная трудность возникает, если переменные не измеряются в одних и тех же единицах. Сначала рассмотрите возможность измерения расстояния между точкой данных и линией: каковы единицы измерения этого расстояния? Если мы рассмотрим измерение расстояния на основе теоремы Пифагора, то станет ясно, что мы будем добавлять величины, измеренные в разных единицах, что бессмысленно. Во-вторых, если мы изменим масштаб одной из переменных, например, измерим в граммах, а не в килограммах, мы получим другие результаты (другая линия). Чтобы избежать этих проблем, иногда предлагается преобразовать в безразмерные переменные - это можно назвать нормализацией или стандартизацией. Однако существуют различные способы сделать это, и они приводят к созданию подогнанных моделей, которые не эквивалентны друг другу. Один из подходов состоит в нормализации по известной (или предполагаемой) точности измерения, тем самым минимизируя расстояние Махаланобиса от точек до линии, обеспечивая решение с максимальной вероятностью ; неизвестная точность может быть обнаружена с помощью дисперсионного анализа .

Короче говоря, метод наименьших квадратов не обладает свойством инвариантности к единицам, т.е. не инвариантен к масштабу . Для содержательной модели мы требуем, чтобы это свойство соблюдалось. Путь вперед состоит в том, чтобы понять, что остатки (расстояния), измеренные в разных единицах, можно комбинировать, если вместо сложения использовать умножение. Рассмотрите возможность подгонки линии: для каждой точки данных произведение вертикальных и горизонтальных остатков равно удвоенной площади треугольника, образованного остаточными линиями и подогнанной линией. Мы выбираем линию, которая минимизирует сумму этих областей. Нобелевский лауреат Пол Самуэльсон доказал в 1942 году, что в двух измерениях это единственная линия, выражаемая исключительно в терминах отношений стандартных отклонений и коэффициента корреляции, которая (1) соответствует правильному уравнению, когда наблюдения попадают на прямую линию, ( 2) демонстрирует масштабную инвариантность, а (3) демонстрирует инвариантность при замене переменных. Это решение было переоткрыто в различных дисциплинах и по-разному известно как стандартизированная большая ось (Ricker 1975, Warton et al., 2006), уменьшенная большая ось , среднее геометрическое функциональное соотношение (Draper and Smith, 1998), регрессия наименьшего произведения , диагональная регрессия , линия органической корреляции и линия наименьшей площади (Tofallis, 2002). Тофаллис (2015) расширил этот подход для работы с несколькими переменными.

Смотрите также

• Регрессия Деминга , частный случай с двумя предикторами и независимыми ошибками.
• Модель ошибок в переменных
• Модель Гаусса-Гельмерта
• Линейная регрессия
• Наименьших квадратов

Примечания

использованная литература

Другие

• I. Hnětynková, M. Plešinger, DM Sima, Z. Strakoš, и S. Van Huffel , Полная задача наименьших квадратов в AX ≈ B. Новая классификация, связанная с классическими произведениями. SIMAX vol. 32, выпуск 3 (2011), стр. 748–770. Доступен в виде препринта .
• М. Плешингер, Проблема тотальных наименьших квадратов и сокращение данных в AX ≈ B. Докторская диссертация, Либерецкий университет и Институт компьютерных наук, AS CR Прага, 2008. Ph.D. Тезис
• CC Paige, Z. Strakoš, Основные проблемы линейных алгебраических систем. SIAM J. Matrix Anal. Прил. 27, 2006, стр. 861–875. DOI : 10,1137 / 040616991
• С. Ван Хаффель и П. Леммерлинг, Моделирование методом наименьших квадратов и ошибок в переменных: анализ, алгоритмы и приложения . Дордрехт, Нидерланды: Kluwer Academic Publishers, 2002.
• С. Джо и С. В. Ким, Последовательная нормализованная фильтрация методом наименьших квадратов с зашумленной матрицей данных. IEEE Trans. Сигнальный процесс., Т. 53, нет. 6. С. 2112–2123, июнь 2005 г.
• RD DeGroat и EM Dowling, Проблема наименьших квадратов данных и выравнивание каналов. IEEE Trans. Сигнальный процесс., Т. 41, нет. 1. С. 407–411, январь 1993 г.
• С. Ван Хаффель и Дж. Вандевалле, Задачи методом наименьших квадратов: вычислительные аспекты и анализ. SIAM Publications, Philadelphia PA, 1991. DOI : 10,1137 / +1,9781611971002
• T. Abatzoglou и J. Mendel, Метод наименьших квадратов с ограничениями , в Proc. IEEE Int. Конф. Акуст., Речь, сигнальный процесс. (ICASSP'87), апрель 1987 г., т. 12. С. 1485–1488.
• П. де Гроен Введение в метод наименьших квадратов , в Nieuw Archief voor Wiskunde, Vierde serie, deel 14, 1996, стр. 237–253 arxiv.org .
• GH Голуб и CF Van Loan, Анализ общей задачи наименьших квадратов. SIAM J. on Numer. Анализ., 17, 1980, с. 883–893. DOI : 10,1137 / 0717073
• Перпендикулярная регрессия линии на MathPages
• AR Amiri-Simkooei и S. Jazaeri Взвешенные общие наименьшие квадраты, сформулированные с помощью стандартной теории наименьших квадратов , в Journal of Geodetic Science, 2 (2): 113–124, 2012 [1] .