Полупараметрическая регрессия - Semiparametric regression

Часть серии по
Регрессионный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Надежный Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Предварительный расчет
Наименьших квадратов Линейный Нелинейный
Обыкновенный Взвешенный Обобщенный
Частичное Всего Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Задний план
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал
v т е

В статистике , полупараметрическая регрессии включает регрессии модели , которые сочетают в себе параметрические и непараметрические модели. Они часто используются в ситуациях, когда полностью непараметрическая модель может не работать, или когда исследователь хочет использовать параметрическую модель, но функциональная форма по отношению к подмножеству регрессоров или плотность ошибок неизвестны. Полупараметрические регрессионные модели представляют собой особый тип полупараметрического моделирования, и, поскольку полупараметрические модели содержат параметрический компонент, они полагаются на параметрические допущения и могут быть неправильно указаны и непоследовательны , как и полностью параметрическая модель.

Методы

Было предложено и разработано множество различных методов полупараметрической регрессии. Наиболее популярными методами являются частично линейные, индексные и вариативные модели коэффициентов.

Частично линейные модели

Частично линейная модель задается

${\ displaystyle Y_ {i} = X '_ {i} \ beta + g \ left (Z_ {i} \ right) + u_ {i}, \, \ quad i = 1, \ ldots, n, \,}$

где - зависимая переменная, - вектор независимых переменных, - вектор неизвестных параметров и . Параметрическая часть частично линейной модели задается вектором параметров, а непараметрическая часть - неизвестной функцией . Предполагается, что данные совпадают, а модель допускает условно гетероскедастический процесс ошибок неизвестной формы. Этот тип модели был предложен Робинсоном (1988) и расширен для обработки категориальных ковариатов Расином и Ли (2007). ${\ displaystyle Y_ {i}}$${\ displaystyle X_ {i}}$${\ displaystyle p \ times 1}$${\ displaystyle \ beta}$${\ displaystyle p \ times 1}$${\ displaystyle Z_ {i} \ in \ operatorname {R} ^ {q}}$${\ displaystyle \ beta}$${\ displaystyle g \ left (Z_ {i} \ right)}$${\ displaystyle E \ left (u_ {i} | X_ {i}, Z_ {i} \ right) = 0}$${\ displaystyle E \ left (u_ {i} ^ {2} | x, z \ right) = \ sigma ^ {2} \ left (x, z \ right)}$

Этот способ реализуется путем получения состоятельной оценки , а затем выводе оценки из непараметрической регрессии в по с использованием соответствующего метода непараметрической регрессии. ${\ displaystyle {\ sqrt {n}}}$${\ displaystyle \ beta}$${\ displaystyle g \ left (Z_ {i} \ right)}$${\ displaystyle Y_ {i} -X '_ {i} {\ hat {\ beta}}}$${\ displaystyle z}$

Индексные модели

Единая индексная модель принимает вид

${\ Displaystyle Y = г \ влево (X '\ beta _ {0} \ right) + U, \,}$

где , и определены как ранее, и условие ошибки удовлетворяет . Модель с одним индексом получила свое название от параметрической части модели, которая представляет собой единый скалярный индекс. Непараметрическая часть - это неизвестная функция . ${\ displaystyle Y}$${\ displaystyle X}$${\ displaystyle \ beta _ {0}}$${\ displaystyle u}$${\ Displaystyle Е \ влево (и | Х \ вправо) = 0}$${\ displaystyle x '\ beta}$${\ Displaystyle г \ влево (\ CDOT \ вправо)}$

Метод Ичимуры

Метод единой индексной модели, разработанный Ичимурой (1993), заключается в следующем. Рассмотрим ситуацию, в которой непрерывно. Учитывая известную форму функции , можно оценить с помощью нелинейного метода наименьших квадратов, чтобы минимизировать функцию ${\ displaystyle y}$${\ Displaystyle г \ влево (\ CDOT \ вправо)}$${\ displaystyle \ beta _ {0}}$

${\ displaystyle \ sum _ {i = 1} \ left (Y_ {i} -g \ left (X '_ {i} \ beta \ right) \ right) ^ {2}.}$

Поскольку функциональная форма неизвестна, нам необходимо ее оценить. По заданному значению для оценки функции ${\ Displaystyle г \ влево (\ CDOT \ вправо)}$${\ displaystyle \ beta}$

${\ Displaystyle G \ left (X '_ {i} \ beta \ right) = E \ left (Y_ {i} | X' _ {i} \ beta \ right) = E \ left [g \ left (X ' _ {i} \ beta _ {o} \ right) | X '_ {i} \ beta \ right]}$

используя метод ядра . Ичимура (1993) предлагает оценивать с помощью ${\ displaystyle g \ left (X '_ {i} \ beta \ right)}$

${\ displaystyle {\ hat {G}} _ {- i} \ left (X '_ {i} \ beta \ right), \,}$

несмываемые один выход непараметрического ядра оценки . ${\ displaystyle G \ left (X '_ {i} \ beta \ right)}$

Оценка Клейна и Спади

Если в качестве зависимой переменной является двоичным и и предполагаются независимыми , Клейн и Spady (1993) предлагают методику оценки с использованием максимального правдоподобия методов. Функция логарифмического правдоподобия определяется выражением ${\ displaystyle y}$${\ displaystyle X_ {i}}$${\ displaystyle u_ {i}}$${\ displaystyle \ beta}$

${\ displaystyle L \ left (\ beta \ right) = \ sum _ {i} \ left (1-Y_ {i} \ right) \ ln \ left (1 - {\ hat {g}} _ {- i} \ left (X '_ {i} \ beta \ right) \ right) + \ sum _ {i} Y_ {i} \ ln \ left ({\ hat {g}} _ {- i} \ left (X' _ {i} \ beta \ right) \ right),}$

где - оценка исключения одного исключения . ${\ displaystyle {\ hat {g}} _ {- i} \ left (X '_ {i} \ beta \ right)}$

Модели с гладкими / переменными коэффициентами

Хасти и Тибширани (1993) предлагают модель сглаженных коэффициентов, определяемую

${\ displaystyle Y_ {i} = \ alpha \ left (Z_ {i} \ right) + X '_ {i} \ beta \ left (Z_ {i} \ right) + u_ {i} = \ left (1+ X '_ {i} \ right) \ left ({\ begin {array} {c} \ alpha \ left (Z_ {i} \ right) \\\ beta \ left (Z_ {i} \ right) \ end { array}} \ right) + u_ {i} = W '_ {i} \ gamma \ left (Z_ {i} \ right) + u_ {i},}$

где - вектор, а - вектор неопределенных гладких функций от . ${\ displaystyle X_ {i}}$${\ Displaystyle к \ раз 1}$${\ Displaystyle \ бета \ влево (г \ вправо)}$${\ displaystyle z}$

${\ Displaystyle \ гамма \ влево (\ CDOT \ вправо)}$ может быть выражено как

${\ displaystyle \ gamma \ left (Z_ {i} \ right) = \ left (E \ left [W_ {i} W '_ {i} | Z_ {i} \ right] \ right) ^ {- 1} E \ left [W_ {i} Y_ {i} | Z_ {i} \ right].}$

Смотрите также

• Непараметрическая регрессия
• Эффективная степень свободы

Ноты

Рекомендации

• Робинсон, PM (1988). «Root- п Последовательная Полупараметрическая регрессия». Econometrica . Эконометрическое общество. 56 (4): 931–954. DOI : 10.2307 / 1912705 . JSTOR   1912705 .
• Ли, Ци; Расин, Джеффри С. (2007). Непараметрическая эконометрика: теория и практика . Издательство Принстонского университета. ISBN   978-0-691-12161-1 .
• Расин, Дж. С.; Куи, Л. (2007). «Частично линейный оценщик ядра для категориальных данных». Неопубликованная рукопись, Университет Макмастера .
• Ичимура, Х. (1993). «Полупараметрический метод наименьших квадратов (SLS) и взвешенная оценка SLS для моделей с одним индексом» . Журнал эконометрики . 58 (1–2): 71–120. DOI : 10.1016 / 0304-4076 (93) 90114-K .
• Кляйн, RW; RH Spady (1993). «Эффективный полупараметрический оценщик для моделей двоичного ответа». Econometrica . Эконометрическое общество. 61 (2): 387–421. CiteSeerX   10.1.1.318.4925 . DOI : 10.2307 / 2951556 . JSTOR   2951556 .
• Hastie, T .; Р. Тибширани (1993). «Модели с переменным коэффициентом». Журнал Королевского статистического общества, Series B . 55 : 757–796.