В статистике , байесовский многомерный линейной регрессии является
байесовский подход к многомерной линейной регрессии , т.е. линейной регрессии , где прогнозируемый результат является вектором коррелированных случайных величин , а не одной скалярной случайной величины. Более общую трактовку этого подхода можно найти в статье « Оценка MMSE» .
подробности
Рассмотрим задачу регрессии, в которой предсказываемая зависимая переменная является не одним вещественным скаляром, а вектором коррелированных действительных чисел длиной m . Как и в стандартной настройке регрессии, есть n наблюдений, где каждое наблюдение i состоит из k -1
независимых переменных , сгруппированных в вектор
длины k (где фиктивная переменная со значением 1 была добавлена, чтобы учесть коэффициент пересечения ). Это можно рассматривать как набор из m задач регрессии для каждого наблюдения i :
где набор ошибок
все коррелирован. Эквивалентно, это можно рассматривать как единую проблему регрессии, где результатом является вектор-строка,
а векторы коэффициентов регрессии уложены друг за другом, как показано ниже:
Матрица коэффициентов B представляет собой матрицу, в которой векторы коэффициентов для каждой задачи регрессии расположены горизонтально:
Вектор шума для каждого наблюдения i
в совокупности нормален, так что результаты для данного наблюдения коррелированы:
Мы можем записать всю проблему регрессии в матричной форме как:
где Y и E - матрицы. Конструкции матрица X представляет собой матрицу с наблюдениями уложенных вертикально, как и в стандартной линейной регрессии установки:
Классическое решение частотного линейного метода наименьших квадратов состоит в простой оценке матрицы коэффициентов регрессии с использованием псевдообратной матрицы Мура-Пенроуза :
-
.
Чтобы получить байесовское решение, нам нужно указать условное правдоподобие, а затем найти подходящее сопряженное априорное значение. Как и в одномерном случае линейной байесовской регрессии , мы обнаружим, что можем указать естественный условный сопряженный априор (который зависит от масштаба).
Запишем нашу условную вероятность в виде
писать ошибки в терминах и урожайности
Мы ищем естественный сопряженный априор - совместную плотность, которая имеет ту же функциональную форму, что и вероятность. Поскольку вероятность квадратична по , мы переписываем правдоподобие так, чтобы оно было нормальным (отклонение от классической выборочной оценки).
Используя ту же технику, что и в случае с байесовской линейной регрессией , мы разлагаем экспоненциальный член, используя матричную форму метода суммы квадратов. Однако здесь нам также потребуется использовать матричное дифференциальное исчисление ( произведение Кронекера и преобразования векторизации ).
Во-первых, давайте применим сумму квадратов, чтобы получить новое выражение для вероятности:
Мы хотели бы разработать условную форму для априорных точек:
где - это распределение, обратное Вишарту,
и - некоторая форма нормального распределения в матрице . Это достигается с помощью преобразования векторизации , которое преобразует вероятность из функции матриц в функцию векторов .
Напишите
Позволять
где обозначает произведение Кронекера матриц A и B , обобщение внешнего произведения, которое умножает матрицу на матрицу для создания матрицы, состоящей из каждой комбинации произведений элементов из двух матриц.
затем
что приведет к нормальной вероятности .
С вероятностью в более понятной форме, теперь мы можем найти естественное (условное) сопряжение априорной точки.
Сопряженное предварительное распределение
Естественное сопряжение до использования векторизованной переменной имеет вид:
-
,
где
и
Заднее распространение
Используя вышеупомянутые априорное значение и вероятность, апостериорное распределение можно выразить как:
где . Термины, в которых участвуют, могут быть сгруппированы (с ) с использованием:
-
,
с участием
-
.
Теперь это позволяет нам записать апостериор в более удобной форме:
-
.
Это принимает форму обратного распределения Уишарта, умноженного на матричное нормальное распределение :
и
-
.
Параметры этого апостериорного отдела определяются как:
Смотрите также
Ссылки