Матрица Гессе - Hessian matrix

Часть цикла статей о
Исчисление
Основная теорема Интегральное правило Лейбница Пределы функций Непрерывность Теорема о среднем значении Теорема Ролля
Дифференциальный Определения Производная  ( обобщения ) Дифференциальный бесконечно малый функции общий Концепции Обозначение дифференциации Вторая производная Неявное дифференцирование Логарифмическое дифференцирование Связанные ставки Теорема Тейлора Правила и личности Сумма Продукт Цепь Власть Частное Правило L'Hôpital Обратный Генерал Лейбниц Формула Фаа ди Бруно Рейнольдс
интеграл Списки интегралов Интегральное преобразование Определения Первообразный Интегральный  ( неправильный ) Интеграл Римана Интеграция Лебега Контурная интеграция Интеграл от обратных функций Интеграция Запчасти Диски Цилиндрические оболочки Подстановка  ( тригонометрическая , Вейерштрасса , Эйлера ) Формула Эйлера Неполные фракции Изменение порядка Формулы приведения Дифференцируя знаком интеграла Алгоритм риша
Серии Геометрический  ( арифметико-геометрический ) Гармонический Чередование Власть Биномиальный Тейлор Тесты сходимости Предел слагаемого (тест на срок) Соотношение Корень интеграл Прямое сравнение Сравнение пределов Чередование серий Конденсация Коши Дирихле Авель
Вектор Градиент Расхождение Завиток Лапласиан Производная по направлению Идентичности Теоремы Градиент Зелень Стокса Расхождение обобщенный Стокса
Многовариантный Формализмы Матрица Тензор Внешний вид Геометрический Определения Частная производная Кратный интеграл Линейный интеграл Поверхностный интеграл Объемный интеграл Якобиан Гессен
Специализированный Дробное Маллявин Стохастик Вариации
Разное Precalculus История Глоссарий Список тем Интеграционная пчела Анализ
v т е

В математике , то матрица Гесса или Гессиан является квадратной матрицей второго порядка в частных производных скалярной-значной функции , или скалярного поля . Он описывает локальную кривизну функции многих переменных. Матрица Гессе была разработана в XIX веке немецким математиком Людвигом Отто Гессе и позже названа в его честь. Первоначально Гессе использовал термин «функциональные детерминанты».

Определения и свойства

Предположим , что это функция принимает в качестве входных данных вектор и вывода скаляр Если все вторые частные производные от существуют и непрерывны по области функции, то матрицы Гессе из представляет собой квадратную матрицу, как правило , определены и расположены следующим образом : ${\ displaystyle f: \ mathbb {R} ^ {n} \ to \ mathbb {R}}$${\ displaystyle \ mathbf {x} \ in \ mathbb {R} ^ {n}}$${\ displaystyle f (\ mathbf {x}) \ in \ mathbb {R}.}$${\ displaystyle f}$${\ displaystyle \ mathbf {H}}$${\ displaystyle f}$${\ Displaystyle п \ раз п}$

или, сформулировав уравнение для коэффициентов с использованием индексов i и j,

Матрица Гессе является симметричной матрицей , поскольку из гипотезы непрерывности вторых производных следует, что порядок дифференцирования не имеет значения ( теорема Шварца ).

Определитель Гессе матрицы называется Hessian детерминант .

Матрица Гессе функции является матрица Якоби от градиента функции ; то есть:${\ displaystyle f}$${\ displaystyle f}$${\ Displaystyle \ mathbf {H} (е (\ mathbf {x})) = \ mathbf {J} (\ nabla f (\ mathbf {x})).}$

Приложения

Точки перегиба

Если это однородный многочлен три переменных, уравнение является неявным уравнением из кривых плоских проективных . В точки перегиба кривой в точности не-особые точки , где гессенская определитель равен нулю. Из теоремы Безу следует, что кубическая плоская кривая имеет не более чем точки перегиба, поскольку определитель Гессе является полиномом степени${\ displaystyle f}$${\ displaystyle f = 0}$${\ displaystyle 9}$${\ displaystyle 3.}$

Тест второй производной

Гессе матрица выпуклой функции является неотрицательно определенной . Уточнение этого свойства позволяет нам проверить, является ли критическая точка локальным максимумом, локальным минимумом или седловой точкой, как показано ниже: ${\ displaystyle x}$

Если гессиан положительно определен в точке, то достигает изолированного локального минимума в точке Если гессиан отрицательно определен в точке, то достигает изолированного локального максимума в точке Если гессиан имеет как положительные, так и отрицательные собственные значения , то является седловой точкой для В противном случае тест безрезультатно. Это означает, что в локальном минимуме гессиан положительно-полуопределенный, а в локальном максимуме гессиан отрицательно-полуопределенный. ${\ displaystyle x,}$${\ displaystyle f}$${\ displaystyle x.}$${\ displaystyle x,}$${\ displaystyle f}$${\ displaystyle x.}$${\ displaystyle x}$${\ displaystyle f.}$

Для положительно-полуопределенного и отрицательно-полуопределенного гессианов этот тест неубедителен (критическая точка, в которой гессиан является полуопределенным, но не определенным, может быть локальным экстремумом или седловой точкой). Однако с точки зрения теории Морса можно сказать больше .

Тест второй производной для функций одной и двух переменных проще, чем общий случай. В одной переменной гессиан содержит ровно одну вторую производную; если он положительный, то это локальный минимум, а если отрицательный, то локальный максимум; если он равен нулю, то проверка не дает результатов. В двух переменных можно использовать определитель , потому что определитель является произведением собственных значений. Если он положительный, то собственные значения либо положительны, либо отрицательны. Если он отрицательный, то два собственных значения имеют разные знаки. Если он равен нулю, то проверка второй производной неубедительна. ${\ displaystyle x}$${\ displaystyle x}$

Эквивалентно, условия второго порядка, достаточные для локального минимума или максимума, могут быть выражены в терминах последовательности главных (крайних левых) миноров (определителей подматриц ) гессиана; эти условия являются частным случаем тех, которые приведены в следующем разделе для гессианов с границами для оптимизации с ограничениями - случая, когда количество ограничений равно нулю. В частности, достаточным условием для минимума является то, что все эти главные миноры должны быть положительными, в то время как достаточным условием для максимума является то, что миноры чередуются по знаку, а минор является отрицательным. ${\ Displaystyle 1 \ раз 1}$

Критические точки

Если градиент (вектор частных производных) функции равен нулю в некоторой точке, то имеет критическую точку (или стационарную точку ) в точке . Определитель гессиана в точке называется в некоторых контекстах дискриминантом . Если этот определитель равен нуль , то называется вырожденная критической точкой из или неморсовской критической точки в противном случае она является невырожденной, и называется Морзе критической точкой из${\ displaystyle f}$${\ displaystyle \ mathbf {x},}$${\ displaystyle f}$${\ displaystyle \ mathbf {x}.}$${\ displaystyle \ mathbf {x}}$${\ displaystyle \ mathbf {x}}$${\ displaystyle f,}$${\ displaystyle f.}$${\ displaystyle f.}$

Матрица Гесса играет важную роль в теории Морса и теории катастроф , так как его ядро и собственные позволяют классификацию критических точек.

Определитель матрицы Гессе при вычислении в критической точке функции равен гауссовой кривизне функции, рассматриваемой как многообразие. Собственные значения гессиана в этой точке являются основными кривизнами функции, а собственные векторы - основными направлениями кривизны. (См. Гауссова кривизна § Отношение к главной кривизне .)

Использование в оптимизации

Матрицы Гессе используются в крупномасштабных задачах оптимизации в рамках методов типа Ньютона, поскольку они являются коэффициентом квадратичного члена локального разложения Тейлора функции. То есть,

где это градиент вычислений и хранения полной матрица Гессе занимает память, которая является неосуществимым для многомерных функций , таких как функции потерь от нейронных сетей , условных случайных полей и других статистических моделей с большим числом параметров. Для таких ситуаций были разработаны алгоритмы усеченного Ньютона и квазиньютона . Последнее семейство алгоритмов использует приближения к гессиану; один из самых популярных квазиньютоновских алгоритмов - BFGS . ${\ displaystyle \ nabla f}$ ${\ displaystyle \ left ({\ frac {\ partial f} {\ partial x_ {1}}}, \ ldots, {\ frac {\ partial f} {\ partial x_ {n}}} \ right).}$${\ Displaystyle \ Theta \ влево (п ^ {2} \ вправо)}$

Такие аппроксимации могут использовать тот факт, что алгоритм оптимизации использует гессиан только как линейный оператор, и сначала заметить, что гессиан также появляется в локальном разложении градиента: ${\ Displaystyle \ mathbf {H} (\ mathbf {v}),}$

$${\ Displaystyle \ набла е (\ mathbf {x} + \ Delta \ mathbf {x}) = \ nabla f (\ mathbf {x}) + \ mathbf {H} (\ mathbf {x}) \, \ Delta \ mathbf {x} + {\ mathcal {O}} (\ | \ Delta \ mathbf {x} \ | ^ {2})}$$

Допуская некоторый скаляр, это дает ${\ displaystyle \ Delta \ mathbf {x} = r \ mathbf {v}}$${\ displaystyle r,}$

$${\ Displaystyle \ mathbf {H} (\ mathbf {x}) \, \ Delta \ mathbf {x} = \ mathbf {H} (\ mathbf {x}) r \ mathbf {v} = r \ mathbf {H} (\ mathbf {x}) \ mathbf {v} = \ nabla f (\ mathbf {x} + r \ mathbf {v}) - \ nabla f (\ mathbf {x}) + {\ mathcal {O}} ( г ^ {2}),}$$

то есть,

$${\ Displaystyle \ mathbf {H} (\ mathbf {x}) \ mathbf {v} = {\ frac {1} {r}} \ left [\ nabla f (\ mathbf {x} + r \ mathbf {v} ) - \ nabla f (\ mathbf {x}) \ right] + {\ mathcal {O}} (r)}$$

поэтому, если градиент уже вычислен, приблизительный гессиан может быть вычислен с помощью линейного (по размеру градиента) числа скалярных операций. (Хотя эта схема аппроксимации проста в программировании, она не является численно стабильной, так как ее нужно делать небольшими, чтобы предотвратить ошибку из-за члена, но при ее уменьшении теряется точность в первом члене.) ${\ displaystyle r}$${\ Displaystyle {\ mathcal {O}} (г)}$

Другие приложения

Матрица Гессе обычно используется для выражения операторов обработки изображений при обработке изображений и компьютерном зрении (см. Лапласиан Гаусса (LoG) blob-детектор, детерминант Hessian (DoH) blob-детектор и масштабное пространство ). Матрица Гессе также может использоваться в анализе в нормальном режиме для расчета различных молекулярных частот в инфракрасной спектроскопии .

Обобщения

Гессен с окаймлением

Граничат Гессиан используется для второй производной теста в некоторых ограниченных задачах оптимизации с. Учитывая функцию, рассмотренную ранее, но добавляя функцию ограничения , при которой граничный гессиан является гессианом

функции Лагранжа${\ displaystyle f}$${\ displaystyle g}$${\ Displaystyle г (\ mathbf {x}) = с,}$ ${\ displaystyle \ Lambda (\ mathbf {x}, \ lambda) = f (\ mathbf {x}) + \ lambda [g (\ mathbf {x}) -c]:}$

Если есть, скажем, ограничения, то ноль в верхнем левом углу - это блок нулей, и есть граничные строки вверху и граничные столбцы слева. ${\ displaystyle m}$${\ displaystyle m \ times m}$${\ displaystyle m}$${\ displaystyle m}$

Приведенные выше правила, утверждающие, что экстремумы характеризуются (среди критических точек с неособым гессианом) положительно-определенным или отрицательно-определенным гессианом, здесь неприменимы, поскольку гессиан с границей не может быть ни отрицательно-определенным, ни положительно-определенным, как если бы он любой вектор, единственный ненулевой элемент которого является его первым. ${\ Displaystyle \ mathbf {z} ^ {\ mathsf {T}} \ mathbf {H} \ mathbf {z} = 0}$${\ displaystyle \ mathbf {z}}$

Тест второй производной состоит здесь из знаковых ограничений определителей некоторого набора подматриц гессиана с краем. Интуитивно можно представить, что ограничения сводят проблему к проблеме со свободными переменными. (Например, максимизация подчиненного ограничению может быть сведена к максимизации без ограничения.) ${\ displaystyle nm}$${\ displaystyle m}$${\ displaystyle nm}$${\ displaystyle f \ left (x_ {1}, x_ {2}, x_ {3} \ right)}$${\ displaystyle x_ {1} + x_ {2} + x_ {3} = 1}$${\ displaystyle f \ left (x_ {1}, x_ {2}, 1-x_ {1} -x_ {2} \ right)}$

В частности, знаковые условия накладываются на последовательность ведущих основных миноров (определителей выровненных по левому верху подматриц) ограниченного гессиана, для которого первые ведущие главные миноры не учитываются, а наименьший минор состоит из усеченных первых строк и столбцы, следующий из которых состоит из усеченных первых строк и столбцов и т. д., причем последний представляет собой весь гессен с окаймлением; если больше, то наименьший ведущий главный минор - это сам гессен. Таким образом, необходимо учитывать несовершеннолетних, каждый из которых оценивается в конкретном пункте, который рассматривается как максимальный или минимальный кандидат . Достаточным условием для локального максимума является то, что эти миноры чередуются по знаку с наименьшим, имеющим знак . Достаточным условием для локального минимума является то, что все эти миноры имеют знак (В неограниченном случае эти условия совпадают с условия, при которых гессиан без границ будет отрицательно определенным или положительно определенным соответственно). ${\ displaystyle 2m}$${\ displaystyle 2m + 1}$${\ displaystyle 2m + 2}$${\ displaystyle 2m + 1}$${\ Displaystyle п + м,}$${\ displaystyle nm}$${\ displaystyle (-1) ^ {m + 1}.}$${\ displaystyle (-1) ^ {m}.}$${\ displaystyle m = 0}$

Векторозначные функции

Если это векторное поле, то есть ${\ displaystyle f}$ ${\ displaystyle \ mathbf {f}: \ mathbb {R} ^ {n} \ to \ mathbb {R} ^ {m},}$

тогда набор вторых частных производных - это не матрица, а тензор третьего порядка . Это можно представить как массив матриц Гессе, по одной для каждого компонента : ${\ Displaystyle п \ раз п}$${\ displaystyle m}$${\ displaystyle \ mathbf {f}}$

$${\ Displaystyle \ mathbf {H} (\ mathbf {f}) = \ left (\ mathbf {H} (f_ {1}), \ mathbf {H} (f_ {2}), \ ldots, \ mathbf {H } (f_ {m}) \ right).}$$

Этот тензор вырождается в обычную матрицу Гессе, когда ${\ displaystyle m = 1.}$

Обобщение на сложный случай

В контексте нескольких сложных переменных гессиан можно обобщить. Предположим и запишем Тогда обобщенный гессиан равен Если удовлетворяет n-мерным

условиям Коши – Римана , то комплексная матрица Гессе тождественно равна нулю. ${\ displaystyle f: \ mathbb {C} ^ {n} \ to \ mathbb {C},}$${\ displaystyle f \ left (z_ {1}, \ ldots, z_ {n} \ right).}$${\ displaystyle {\ frac {\ partial ^ {2} f} {\ partial z_ {i} \ partial {\ overline {z_ {j}}}}}}.}$${\ displaystyle f}$

Обобщения на римановы многообразия

Пусть -

риманово многообразие и его связность Леви-Чивита . Позвольте быть гладкой функцией. Определим тензор Гессе как ${\ displaystyle (M, g)}$${\ displaystyle \ nabla}$${\ displaystyle f: M \ to \ mathbb {R}}$

$${\ displaystyle \ operatorname {Hess} (f) \ in \ Gamma \ left (T ^ {*} M \ otimes T ^ {*} M \ right) \ quad {\ text {by}} \ quad \ operatorname {Hess } (f): = \ nabla \ nabla f = \ nabla df,}$$

где это использует тот факт, что первая ковариантная производная функции такая же, как и ее обычная производная. Выбор локальных координат дает локальное выражение для гессиана как ${\ Displaystyle \ влево \ {х ^ {я} \ вправо \}}$

$${\ displaystyle \ operatorname {Hess} (f) = \ nabla _ {i} \, \ partial _ {j} f \ dx ^ {i} \! \ otimes \! dx ^ {j} = \ left ({\ frac {\ partial ^ {2} f} {\ partial x ^ {i} \ partial x ^ {j}}} - \ Gamma _ {ij} ^ {k} {\ frac {\ partial f} {\ partial x ^ {k}}} \ right) dx ^ {i} \ otimes dx ^ {j}}$$

где являются символами Кристоффеля соединения. Другие эквивалентные формы для гессиана даются формулами ${\ displaystyle \ Gamma _ {ij} ^ {k}}$

$${\ displaystyle \ operatorname {Hess} (f) (X, Y) = \ langle \ nabla _ {X} \ operatorname {grad} f, Y \ rangle \ quad {\ text {and}} \ quad \ operatorname {Hess } (f) (X, Y) = X (Yf) -df (\ nabla _ {X} Y).}$$

Смотрите также

• Определитель матрицы Гессе ковариант; см. Инвариант двоичной формы
• Идентичность поляризации , полезная для быстрых вычислений с использованием гессенских гессен.
• Матрица якобиана
• Уравнение Гессе

Примечания

дальнейшее чтение

• Льюис, Дэвид В. (1991). Матричная теория . Сингапур: World Scientific. ISBN 978-981-02-0689-5.
• Магнус, Ян Р .; Neudecker, Хайнц (1999). «Второй дифференциал». Матричное дифференциальное исчисление: с приложениями в статистике и эконометрике (пересмотренное издание). Нью-Йорк: Вили. С. 99–115. ISBN 0-471-98633-X.

внешние ссылки

• "Гессиан функции" , Математическая энциклопедия , EMS Press , 2001 [1994]
• Вайсштейн, Эрик В. «Гессен» . MathWorld .