Байесовская многомерная линейная регрессия - Bayesian multivariate linear regression

В статистике , байесовский многомерный линейной регрессии является байесовский подход к многомерной линейной регрессии , т.е. линейной регрессии , где прогнозируемый результат является вектором коррелированных случайных величин , а не одной скалярной случайной величины. Более общую трактовку этого подхода можно найти в статье « Оценка MMSE» .

подробности

Рассмотрим задачу регрессии, в которой предсказываемая зависимая переменная является не одним вещественным скаляром, а вектором коррелированных действительных чисел длиной m . Как и в стандартной настройке регрессии, есть n наблюдений, где каждое наблюдение i состоит из k -1 независимых переменных , сгруппированных в вектор длины k (где фиктивная переменная со значением 1 была добавлена, чтобы учесть коэффициент пересечения ). Это можно рассматривать как набор из m задач регрессии для каждого наблюдения i :

где набор ошибок все коррелирован. Эквивалентно, это можно рассматривать как единую проблему регрессии, где результатом является вектор-строка, а векторы коэффициентов регрессии уложены друг за другом, как показано ниже:

Матрица коэффициентов B представляет собой матрицу, в которой векторы коэффициентов для каждой задачи регрессии расположены горизонтально:

Вектор шума для каждого наблюдения i в совокупности нормален, так что результаты для данного наблюдения коррелированы:

Мы можем записать всю проблему регрессии в матричной форме как:

где Y и E - матрицы. Конструкции матрица X представляет собой матрицу с наблюдениями уложенных вертикально, как и в стандартной линейной регрессии установки:

Классическое решение частотного линейного метода наименьших квадратов состоит в простой оценке матрицы коэффициентов регрессии с использованием псевдообратной матрицы Мура-Пенроуза :

.

Чтобы получить байесовское решение, нам нужно указать условное правдоподобие, а затем найти подходящее сопряженное априорное значение. Как и в одномерном случае линейной байесовской регрессии , мы обнаружим, что можем указать естественный условный сопряженный априор (который зависит от масштаба).

Запишем нашу условную вероятность в виде

писать ошибки в терминах и урожайности

Мы ищем естественный сопряженный априор - совместную плотность, которая имеет ту же функциональную форму, что и вероятность. Поскольку вероятность квадратична по , мы переписываем правдоподобие так, чтобы оно было нормальным (отклонение от классической выборочной оценки).

Используя ту же технику, что и в случае с байесовской линейной регрессией , мы разлагаем экспоненциальный член, используя матричную форму метода суммы квадратов. Однако здесь нам также потребуется использовать матричное дифференциальное исчисление ( произведение Кронекера и преобразования векторизации ).

Во-первых, давайте применим сумму квадратов, чтобы получить новое выражение для вероятности:

Мы хотели бы разработать условную форму для априорных точек:

где - это распределение, обратное Вишарту, и - некоторая форма нормального распределения в матрице . Это достигается с помощью преобразования векторизации , которое преобразует вероятность из функции матриц в функцию векторов .

Напишите

Позволять

где обозначает произведение Кронекера матриц A и B , обобщение внешнего произведения, которое умножает матрицу на матрицу для создания матрицы, состоящей из каждой комбинации произведений элементов из двух матриц.

затем

что приведет к нормальной вероятности .

С вероятностью в более понятной форме, теперь мы можем найти естественное (условное) сопряжение априорной точки.

Сопряженное предварительное распределение

Естественное сопряжение до использования векторизованной переменной имеет вид:

,

где

и

Заднее распространение

Используя вышеупомянутые априорное значение и вероятность, апостериорное распределение можно выразить как:

где . Термины, в которых участвуют, могут быть сгруппированы (с ) с использованием:

,

с участием

.

Теперь это позволяет нам записать апостериор в более удобной форме:

.

Это принимает форму обратного распределения Уишарта, умноженного на матричное нормальное распределение :

и

.

Параметры этого апостериорного отдела определяются как:

Смотрите также

Ссылки

  • Коробка, ГЭП ; Тяо, GC (1973). «8». Байесовский вывод в статистическом анализе . Вайли. ISBN 0-471-57428-7.
  • Гейссер, С. (1965). «Байесовское оценивание в многомерном анализе». Анналы математической статистики . 36 (1): 150–159. JSTOR  2238083 .
  • Тяо, GC; Зеллнер, А. (1964). «О байесовской оценке многомерной регрессии». Журнал Королевского статистического общества. Серия Б (Методологическая) . 26 (2): 277–285. JSTOR  2984424 .