Непараметрическая регрессия - Nonparametric regression

Часть серии по
Регрессионный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Надежный Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Предварительный расчет
Наименьших квадратов Линейный Нелинейный
Обыкновенный Взвешенный Обобщенный
Частичное Всего Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Задний план
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал
v т е

Непараметрическая регрессия - это категория регрессионного анализа, в которой предиктор не принимает заранее заданную форму, а строится в соответствии с информацией, полученной из данных. То есть не предполагается параметрической формы для отношения между предикторами и зависимой переменной. Непараметрическая регрессия требует больших размеров выборки, чем регрессия, основанная на параметрических моделях, потому что данные должны содержать структуру модели, а также оценки модели.

Определение

В непараметрической регрессии, мы имеем случайные величины и и предположим следующее соотношение: ${\ displaystyle X}$${\ displaystyle Y}$

${\ displaystyle \ mathbb {E} [Y \ mid X = x] = m (x),}$

где - некоторая детерминированная функция. Линейная регрессия - это ограниченный случай непараметрической регрессии, где предполагается, что она аффинная. Некоторые авторы используют более сильное предположение об аддитивном шуме: ${\ Displaystyle м (х)}$${\ Displaystyle м (х)}$

${\ Displaystyle Y = м (Х) + U,}$

где случайная величина - это "шумовой член" со средним 0. Без предположения, что принадлежит определенному параметрическому семейству функций, невозможно получить несмещенную оценку для , однако большинство оценок согласованы при подходящих условиях. ${\ displaystyle U}$${\ displaystyle m}$${\ displaystyle m}$

Список универсальных алгоритмов непараметрической регрессии

Это неполный список алгоритмов, подходящих для задач непараметрической регрессии.

• ближайшие соседи, см ближайшего соседа интерполяция и к-ближайшие соседи алгоритм
• деревья регрессии
• регрессия ядра
• локальная регрессия
• многомерные сплайны адаптивной регрессии
• нейронные сети
• опорная векторная регрессия
• сглаживающие шлицы

Примеры

Регрессия гауссовского процесса или кригинг

В регрессии гауссовского процесса, также известной как кригинг, для кривой регрессии предполагается гауссовский априор. Предполагается, что ошибки имеют многомерное нормальное распределение, а кривая регрессии оценивается по ее апостериорной моде . Гауссовский априор может зависеть от неизвестных гиперпараметров, которые обычно оцениваются эмпирическим методом Байеса . Гиперпараметры обычно определяют предварительное ядро ​​ковариации. В случае, если ядро ​​также должно быть выведено непараметрическим образом из данных, можно использовать критический фильтр .

Сглаживающие сплайны интерпретируются как апостериорная мода регрессии гауссовского процесса.

Регрессия ядра

Пример кривой (красная линия), соответствующей небольшому набору данных (черные точки) с непараметрической регрессией с использованием сглаживания ядра Гаусса. Розовая заштрихованная область иллюстрирует функцию ядра, применяемую для получения оценки y для заданного значения x. Функция ядра определяет вес, присвоенный каждой точке данных при оценке целевой точки.

Регрессия ядра оценивает непрерывную зависимую переменную по ограниченному набору точек данных путем свертки местоположений точек данных с помощью функции ядра - приблизительно говоря, функция ядра указывает, как «размыть» влияние точек данных, чтобы их значения могли быть используется для прогнозирования стоимости для ближайших местоположений.

Деревья регрессии

Алгоритмы обучения дерева решений могут применяться, чтобы научиться предсказывать зависимую переменную на основе данных. Хотя исходная формулировка дерева классификации и регрессии (CART) применялась только для прогнозирования одномерных данных, эту структуру можно использовать для прогнозирования многомерных данных, включая временные ряды.

Смотрите также

• Лассо (статистика)
• Локальная регрессия
• Непараметрическая статистика
• Полупараметрическая регрессия
• Изотоническая регрессия
• Многомерные сплайны адаптивной регрессии

Рекомендации

дальнейшее чтение

• Боуман, AW; Аззалини, А. (1997). Прикладные методы сглаживания для анализа данных . Оксфорд: Clarendon Press. ISBN   0-19-852396-3 .
• Fan, J .; Гиджбельс, И. (1996). Локальное полиномиальное моделирование и его приложения . Бока-Ратон: Чепмен и Холл. ISBN   0-412-98321-4 .
• Хендерсон, диджей; Парметр, CF (2015). Прикладная непараметрическая эконометрика . Нью-Йорк: Издательство Кембриджского университета. ISBN   978-1-107-01025-3 .
• Li, Q .; Расин, Дж. (2007). Непараметрическая эконометрика: теория и практика . Принстон: Издательство Принстонского университета. ISBN   978-0-691-12161-1 .
• Пэган, А .; Уллах, А. (1999). Непараметрическая эконометрика . Нью-Йорк: Издательство Кембриджского университета. ISBN   0-521-35564-8 .

внешние ссылки

• HyperNiche, программа для непараметрической мультипликативной регрессии .
• Масштабная непараметрическая регрессия (с программным обеспечением Matlab).