Нормальное распределение - Normal distribution

Нормальное распределение
Функция плотности вероятности
Нормальное распределение PDF.svg
Красная кривая - стандартное нормальное распределение.
Кумулятивная функция распределения
Нормальное распределение CDF.svg
Обозначение
Параметры = среднее значение ( местоположение ) = дисперсия (квадратная шкала )
Служба поддержки
PDF
CDF
Квантиль
Иметь в виду
Медиана
Режим
Дисперсия
СУМАСШЕДШИЙ
Асимметрия
Бывший. эксцесс
Энтропия
MGF
CF
Информация Fisher

Дивергенция Кульбака-Лейблера

В теории вероятностей , в нормальном (или гауссовой или Гаусса или Лапласа-Гаусса ) распределение представляет собой тип непрерывного распределения вероятностей для вещественной случайной величины . Общий вид его функции плотности вероятности :

Параметр - это среднее значение или математическое ожидание распределения (а также его медиана и мода ), а параметр - его стандартное отклонение . Дисперсия распределения является . Случайная величина с гауссовым распределением называется нормально распределенной и называется нормальным отклонением .

Нормальные распределения важны в статистике и часто используются в естественных и социальных науках для представления случайных величин с действительными значениями , распределения которых неизвестны. Их важность частично объясняется центральной предельной теоремой . В нем говорится, что при некоторых условиях среднее из многих выборок (наблюдений) случайной величины с конечным средним значением и дисперсией само по себе является случайной величиной, распределение которой сходится к нормальному распределению по мере увеличения количества выборок. Следовательно, физические величины, которые, как ожидается, будут суммой многих независимых процессов, таких как ошибки измерения , часто имеют почти нормальные распределения.

Более того, гауссовские распределения обладают некоторыми уникальными свойствами, которые ценны для аналитических исследований. Например, любая линейная комбинация фиксированного набора нормальных отклонений является нормальным отклонением. Многие результаты и методы, такие как распространение неопределенности и подгонка параметров методом наименьших квадратов , могут быть получены аналитически в явной форме, когда соответствующие переменные распределены нормально.

Нормальное распределение иногда неофициально называют кривой колокола . Однако многие другие распределения имеют форму колокола (например, распределение Коши , t Стьюдента и логистические распределения).

Определения

Стандартное нормальное распределение

Простейший случай нормального распределения известен как стандартное нормальное распределение или единичное нормальное распределение . Это частный случай, когда и , и он описывается этой функцией плотности вероятности :

Здесь коэффициент гарантирует, что общая площадь под кривой равна единице. Фактор в показателе степени гарантирует, что распределение имеет единичную дисперсию (т. Е. Дисперсию, равную единице), и, следовательно, также единичное стандартное отклонение. Эта функция симметрична относительно точки , где она достигает своего максимального значения и имеет точки перегиба в и .

Авторы расходятся во мнениях относительно того, какое нормальное распределение следует называть "стандартным". Карл Фридрих Гаусс , например, определил стандартную нормаль как имеющую дисперсию . То есть:

С другой стороны, Стивен Стиглер идет еще дальше, определяя стандартную нормаль как имеющую дисперсию :

Общее нормальное распределение

Каждое нормальное распределение является версией стандартного нормального распределения, область значений которого была растянута на коэффициент (стандартное отклонение), а затем переведена на (среднее значение):

Плотность вероятности должна быть увеличена таким образом, чтобы интеграл по-прежнему равнялся 1.

Если это стандартное нормальное отклонение , тогда будет нормальное распределение с ожидаемым значением и стандартным отклонением . Это эквивалентно тому, что «стандартное» нормальное распределение можно масштабировать / растягивать в раз и сдвигать, чтобы получить другое нормальное распределение, называемое . И наоборот, если это нормальное отклонение с параметрами и , то это распределение можно масштабировать и сдвигать с помощью формулы, чтобы преобразовать его в «стандартное» нормальное распределение. Эта разновидность также называется стандартизированной формой .

Обозначение

Плотность вероятности стандартного распределения Гаусса (стандартное нормальное распределение с нулевым средним и единичной дисперсией) часто обозначается греческой буквой ( фи ). Альтернативная форма греческой буквы фи также используется довольно часто.

Нормальное распределение часто называют или . Таким образом, когда случайная величина нормально распределена со средним значением и стандартным отклонением , можно написать

Альтернативные параметризации

Некоторые авторы рекомендуют использовать точность в качестве параметра, определяющего ширину распределения, вместо отклонения или дисперсии . Точность обычно определяется как величина, обратная дисперсии . Формула распределения тогда принимает вид

Утверждается, что этот выбор имеет преимущества в численных вычислениях, когда он очень близок к нулю, и упрощает формулы в некоторых контекстах, таких как байесовский вывод переменных с многомерным нормальным распределением .

В качестве альтернативы, величина, обратная стандартному отклонению, может быть определена как точность , и в этом случае выражение нормального распределения становится

По словам Стиглера, эта формулировка выгодна из-за гораздо более простой и легко запоминающейся формулы, а также простых приближенных формул для квантилей распределения.

Нормальные распределения образуют экспоненциальное семейство с природными параметрами и , природной статистикой х и х 2 . Параметры двойного ожидания для нормального распределения: η 1 = μ и η 2 = μ 2 + σ 2 .

Кумулятивная функция распределения

Кумулятивная функция распределения (CDF) стандартного нормального распределения, обычно обозначаемой с заглавной греческой буквой ( фи ), является неотъемлемой

Связанная функция ошибок дает вероятность случайной величины с нормальным распределением среднего 0 и дисперсией 1/2, попадающими в диапазон . То есть:

Эти интегралы не могут быть выражены в терминах элементарных функций, и их часто называют специальными функциями . Однако известно много численных приближений; подробнее см. ниже .

Эти две функции тесно связаны, а именно:

Для общего нормального распределения с плотностью , средним значением и отклонением кумулятивная функция распределения имеет вид

Дополнение к стандартному нормальному CDF, часто называют Q-функцией , особенно в технических текстах. Это дает вероятность того, что значение стандартной нормальной случайной переменной будет превышать : . Иногда используются и другие определения -функции, все из которых являются простыми преобразованиями .

График стандартного нормального КОРА имеет 2-кратную поворотную симметрию вокруг точки (0,1 / 2); то есть . Его первообразная (неопределенный интеграл) может быть выражена следующим образом:

CDF стандартного нормального распределения может быть расширен путем интеграции по частям в ряд:

где обозначает двойной факториал .

Асимптотическое разложение ВПР при больших х также может быть получена с помощью интегрирования по частям. Для получения дополнительной информации см. Функция ошибок # Асимптотическое расширение .

Быстрое приближение к CDF стандартного нормального распределения можно найти с помощью приближения ряда Тейлора:

Стандартное отклонение и охват

Для нормального распределения значения менее одного стандартного отклонения от среднего составляют 68,27% от набора; в то время как два стандартных отклонения от среднего составляют 95,45%; и три стандартных отклонения составляют 99,73%.

Около 68% значений, взятых из нормального распределения, находятся в пределах одного стандартного отклонения σ от среднего; около 95% значений лежат в пределах двух стандартных отклонений; и около 99,7% находятся в пределах трех стандартных отклонений. Этот факт известен как правило 68-95-99,7 (эмпирическое) или правило трех сигм .

Точнее, вероятность того, что нормальное отклонение находится в диапазоне между и определяется выражением

Для 12 значащих цифр значения :

OEIS
1 0,682 689 492 137 0,317 310 507 863
3 .151 487 187 53
OEISA178647
2 0,954 499 736 104 0,045 500 263 896
21 год .977 894 5080
OEISA110894
3 0,997 300 203 937 0,002 699 796 063
370 0,398 347 345
OEISA270712
4 0,999 936 657 516 0,000 063 342 484
15 787 .192 7673
5 0,999 999 426 697 0,000 000 573 303
1 744 277 .893 62
6 0,999 999 998 027 0,000 000 001 973
506 797 345 .897

Для больших можно использовать приближение .

Квантильная функция

Функция квантиля из распределения является обратной кумулятивной функцией распределения. Функция квантиля стандартного нормального распределения называется пробит-функцией и может быть выражена через обратную функцию ошибок :

Для нормальной случайной величины со средним значением и дисперсией функция квантиля имеет вид

Квантиль стандартного нормального распределения обычно обозначается как . Эти значения используются в проверке гипотез , построение доверительных интервалов и Q-Q участков . Нормальная случайная величина превысит с вероятностью , и будет лежать вне интервала с вероятностью . В частности, квантиль равен 1,96 ; поэтому нормальная случайная величина будет находиться вне интервала только в 5% случаев.

В следующей таблице приведен такой квантиль , который с заданной вероятностью будет лежать в диапазоне . Эти значения полезны для определения интервала допуска для выборочных средних и других статистических оценок с нормальным (или асимптотически нормальным) распределением. Обратите внимание, что в следующей таблице показано , что не так, как определено выше.

 
0,80 1,281 551 565 545 0,999 3,290 526 731 492
0,90 1.644 853 626 951 0,9999 3,890 591 886 413
0,95 1,959 963 984 540 0,99999 4,417 173 413 469
0,98 2,326 347 874 041 0,999999 4,891 638 475 699
0,99 2,575 829 303 549 0,9999999 5,326 723 886 384
0,995 2,807 033 768 344 0,99999999 5,730 728 868 236
0,998 3,090 232 306 168 0,999999999 6,109 410 204 869

Для малых функция квантили имеет полезное асимптотическое разложение

Характеристики

Нормальное распределение - это единственное распределение, у которого кумулянты за пределами первых двух (т. Е. Кроме среднего и дисперсии ) равны нулю. Это также непрерывное распределение с максимальной энтропией для указанного среднего значения и дисперсии. Гири показал, предполагая, что среднее значение и дисперсия конечны, что нормальное распределение - это единственное распределение, в котором среднее и дисперсия, вычисленные из набора независимых выборок, не зависят друг от друга.

Нормальное распределение является подклассом эллиптических распределений . Нормальное распределение симметрично относительно своего среднего значения и не равно нулю по всей действительной прямой. Как таковая, она может не подходить для переменных, которые по своей природе положительны или сильно искажены, таких как вес человека или цена акции . Такие переменные могут быть лучше описаны другими распределениями, такими как логнормальное распределение или распределение Парето .

Значение нормального распределения практически равно нулю, когда значение находится более чем на несколько стандартных отклонений от среднего (например, разброс в три стандартных отклонения покрывает все, кроме 0,27% от общего распределения). Следовательно, эта модель может быть неподходящей, если ожидается значительная часть выбросов - значений, которые лежат на многих стандартных отклонениях от среднего - а метод наименьших квадратов и другие методы статистического вывода , оптимальные для нормально распределенных переменных, часто становятся крайне ненадежными при применении. к таким данным. В этих случаях следует предполагать более тяжелое распределение и применять соответствующие надежные методы статистического вывода .

Гауссово распределение принадлежит к семейству стабильных распределений, которые являются аттракторами сумм независимых, одинаково распределенных распределений, независимо от того, конечны ли среднее значение или дисперсия. За исключением гауссова, который является предельным случаем, все стабильные распределения имеют тяжелые хвосты и бесконечную дисперсию. Это один из немногих дистрибутивов, которые стабильны и имеют функции плотности вероятности , которые могут быть выражены аналитически, остальные на распределение Коши и распределение Леви .

Симметрии и производные

Нормальное распределение с плотностью (среднее и стандартное отклонение ) имеет следующие свойства:

  • Он симметричен относительно точки, которая одновременно является модой , медианой и средним значением распределения.
  • Он унимодален : его первая производная положительна при отрицательном при и равна нулю только при
  • Площадь, ограниченная кривой и осью, равна единице (т.е. равна единице).
  • Его первая производная
  • Его плотность имеет две точки перегиба (где вторая производная равна нулю и меняет знак), расположенных на одно стандартное отклонение от среднего, а именно при и
  • Его плотность бревенчато-вогнутая .
  • Его плотность бесконечно дифференцируема , даже сверхгладкая порядка 2.

Кроме того, плотность стандартного нормального распределения (т.е. и ) также имеет следующие свойства:

  • Его первая производная
  • Его вторая производная
  • В более общем смысле , ее п - й производная , где есть п - й (вероятностник) полином Эрмита .
  • Вероятность того, что нормально распределенная переменная с известным и находится в конкретном наборе, может быть рассчитана с использованием того факта, что дробь имеет стандартное нормальное распределение.

Моменты

Простой и абсолютный моменты переменной - это ожидаемые значения и , соответственно. Если ожидаемое значение в ноль, эти параметры называются центральными моментами; в противном случае эти параметры называются нецентральными моментами. Обычно нас интересуют только моменты с целым порядком .

Если имеет нормальное распределение, нецентральные моменты существуют и конечны для любого , действительная часть которого больше -1. Для любого неотрицательного целого числа простыми центральными моментами являются:

Здесь обозначает двойной факториал , то есть произведение всех чисел от до 1, имеющих ту же четность, что и

Центральные абсолютные моменты совпадают с простыми моментами для всех четных порядков, но отличны от нуля для нечетных порядков. Для любого неотрицательного целого числа

Последняя формула действительна также для любого нецелого числа, когда среднее значение простого и абсолютного моментов может быть выражено через конфлюэнтные гипергеометрические функции и


Эти выражения остаются действительными, даже если не является целым числом. См. Также обобщенные многочлены Эрмита .

порядок Нецентральный момент Центральный момент
1
2
3
4
5
6
7
8

Если случайная величина нормально распределена со средним и конечным ненулевым отклонением , то для ожидаемого обратного значения для абсолютного значения будет

Ожидание обусловлено событием, которое находится в интервале , определяется выражением

где и соответственно - плотность и кумулятивная функция распределения . Для этого известно как отношение обратного Миллса . Следует отметить , что выше, плотность от используются вместо стандартной нормальной плотности , как и в обратной пропорции Миллс, поэтому здесь мы имеем вместо .

Преобразование Фурье и характеристическая функция

Преобразование Фурье нормальной плотности со средним значением и стандартным отклонением имеет вид

где - мнимая единица . Если среднее значение , первый множитель равен 1, а преобразование Фурье, помимо постоянного множителя, представляет собой нормальную плотность в частотной области со средним значением 0 и стандартным отклонением . В частности, стандартное нормальное распределение является собственной функцией преобразования Фурье.

В теории вероятностей, преобразование Фурье распределения вероятностей вещественной случайной величины тесно связана с характеристической функции этой переменной, которая определяется как ожидаемое значение в качестве функции действительного переменного (на частотный параметр преобразование Фурье). Это определение может быть аналитически расширено до переменной со сложным значением . Связь между ними такова:

Производящие функции момента и кумулянта

Функция создания момента реальной случайной величины - это ожидаемое значение как функция реального параметра . Для нормального распределения с плотностью , средним значением и отклонением производящая функция момента существует и равна

Функция генерирования кумулянта представляет собой логарифм порождающей функции момента, а именно :

Поскольку это квадратичный полином от , только первые два кумулянта отличны от нуля, а именно среднее значение  и дисперсия  .

Оператор Штейна и класс

В рамках метода Штейна оператор Штейна и класс случайной величины являются и классом всех абсолютно непрерывных функций .

Предел нулевой дисперсии

В пределе, когда стремится к нулю, плотность вероятности в конечном итоге стремится к нулю при любом , но неограниченно растет, если , в то время как ее интеграл остается равным 1. Следовательно, нормальное распределение не может быть определено как обычная функция при .

Однако можно определить нормальное распределение с нулевой дисперсией как обобщенную функцию ; в частности, поскольку «дельта-функция» Дирака, переведенная средним значением , то есть ее CDF является тогда ступенчатой ​​функцией Хевисайда, переведенной средним значением , а именно

Максимальная энтропия

Из всех распределений вероятностей для вещественных чисел с указанным средним значением и дисперсией  нормальное распределение - это распределение с максимальной энтропией . Если - непрерывная случайная величина с плотностью вероятности , то энтропия определяется как

где всегда понимается равным нулю . Этот функционал можно максимизировать при условии, что распределение правильно нормализовано и имеет заданную дисперсию, с помощью вариационного исчисления . Определена функция с двумя множителями Лагранжа :

где пока рассматривается как некоторая функция плотности со средним значением и стандартным отклонением .

При максимальной энтропии небольшое отклонение около приведет к изменению около 0:

Поскольку это должно выполняться для любого малого , член в скобках должен быть равен нулю, а решение для доходности:

Использование уравнений связи для решения и дает плотность нормального распределения:

Энтропия нормального распределения равна

Прочие свойства

  1. Если характеристическая функция некоторой случайной величины имеет вид , где - многочлен , то теорема Марцинкевича (названная в честь Юзефа Марцинкевича ) утверждает, что она может быть не более чем квадратичным многочленом и, следовательно, является нормальной случайной величиной. Следствием этого результата является то, что нормальное распределение является единственным распределением с конечным числом (двумя) ненулевых кумулянтов .
  2. Если и это совместно нормально и некоррелированы , то они независимы . Требование, что и должны быть вместе нормальными, является существенным; без него собственность не удерживается. [доказательство] Для ненормальных случайных величин некоррелированность не означает независимости.
  3. Кульбак-Либлер дивергенции одного нормального распределения от другого определяется по формуле:

    Расстояние Хеллингера между одинаковыми распределениями равно

  4. Информационная матрица Фишера для нормального распределения диагоналей и имеет вид
  5. Конъюгат до средней величины нормального распределения является еще одним нормальным распределением. В частности, если iid и предшествующее , то апостериорное распределение для оценки будет
  6. Семейство нормальных распределений не только образует экспоненциальное семейство (EF), но фактически образует естественное экспоненциальное семейство (NEF) с квадратичной функцией дисперсии ( NEF-QVF ). Многие свойства нормальных распределений обобщаются на свойства распределений NEF-QVF, распределений NEF или распределений EF в целом. Распределения NEF-QVF включают 6 семейств, включая пуассоновское, гамма, биномиальное и отрицательное биномиальное распределения, в то время как многие из общих семейств, изучаемых в области вероятности и статистики, являются NEF или EF.
  7. В информационной геометрии , семейство нормальных распределений образует статистическое многообразие с постоянной кривизной . Это же семейство является плоским относительно (± 1) -связности ∇ и .

Связанные дистрибутивы

Центральная предельная теорема

По мере увеличения количества дискретных событий функция начинает напоминать нормальное распределение
Сравнение функций плотности вероятности для суммы справедливых 6-сторонних игральных костей, чтобы показать их сходимость к нормальному распределению с увеличением в соответствии с центральной предельной теоремой. На нижнем правом графике сглаженные профили предыдущих графиков масштабируются, накладываются друг на друга и сравниваются с нормальным распределением (черная кривая).

Центральная предельная теорема утверждает, что при определенных (довольно общих) условиях сумма многих случайных величин будет иметь приблизительно нормальное распределение. Более конкретно, где - независимые и одинаково распределенные случайные величины с одинаковым произвольным распределением, нулевым средним и дисперсией, а их среднее значение масштабируется с помощью

Затем, по мере увеличения, распределение вероятностей будет стремиться к нормальному распределению с нулевым средним и дисперсией .

Теорема может быть распространена на переменные , которые не являются независимыми и / или неравномерно распределенными, если наложены определенные ограничения на степень зависимости и моменты распределений.

Многие статистические данные тестов , баллы и оценщики, встречающиеся на практике, содержат в себе суммы определенных случайных величин, и даже больше оценщиков могут быть представлены в виде сумм случайных величин с помощью функций влияния . Центральная предельная теорема подразумевает, что эти статистические параметры будут иметь асимптотически нормальные распределения.

Центральная предельная теорема также подразумевает, что некоторые распределения могут быть аппроксимированы нормальным распределением, например:

  • Биномиальное распределение является приблизительно нормальным со средним и дисперсией для больших и не слишком близко к 0 или 1.
  • Распределение Пуассона с параметром приблизительно нормально со средним значением и дисперсией для больших значений .
  • Распределение хи-квадрат примерно нормальное со средним значением и дисперсией для больших .
  • Распределение Стьюдента приблизительно нормально со средним значением 0 и дисперсией 1, когда оно велико.

Достаточно ли точность этих приближений зависит от цели, для которой они нужны, и скорости сходимости к нормальному распределению. Обычно такие приближения менее точны в хвостах распределения.

Общая оценка сверху ошибки аппроксимации в центральной предельной теореме дается теоремой Берри – Эссеена , улучшения приближения даются разложениями Эджворта .

Эта теорема также может быть использована для обоснования моделирования суммы многих однородных источников шума как гауссовского шума. См. AWGN .

Операции и функции нормальных переменных

a: Плотность вероятности функции нормальной переменной с и . б: плотность вероятности функции двух нормальных переменных и , где , , , , и . C: Тепловая карта совместной плотности вероятности двух функций двух коррелированных нормальных переменных и , где , , , , и . d: Плотность вероятности функции 4 стандартных нормальных переменных. Они вычисляются численным методом трассировки лучей.

Плотность вероятности , кумулятивное распределение и обратное кумулятивное распределение любой функции одной или нескольких независимых или коррелированных нормальных переменных можно вычислить с помощью численного метода трассировки лучей ( код Matlab ). В следующих разделах мы рассмотрим некоторые частные случаи.

Операции с одной нормальной переменной

Если распределяется нормально со средним значением и дисперсией , то

  • , для любых действительных чисел и также имеет нормальное распределение со средним значением и стандартным отклонением . То есть семейство нормальных распределений замкнуто относительно линейных преобразований.
  • Показатель экспоненты распределен логарифмически нормально : e X ~ ln ( N ( μ , σ 2 )) .
  • Абсолютное значение имеет сложенный нормальное распределение : | X | ~ N f ( μ , σ 2 ) . Если это известно как полунормальное распределение .
  • Абсолютное значение нормированных остатков, | X - μ | / σ , имеет распределение хи с одной степенью свободы: | X - μ | / σ ~ .
  • Квадрат X / σ имеет нецентральное распределение хи-квадрат с одной степенью свободы: X 2 / σ 2 ~ ( μ 2 / σ 2 ) . Если , то распределение называется просто хи-квадрат .
  • Логарифмическая вероятность нормальной переменной - это просто логарифм ее функции плотности вероятности :

Поскольку это масштабированный и сдвинутый квадрат стандартной нормальной переменной, он распределяется как масштабированная и сдвинутая переменная хи-квадрат .

Операции над двумя независимыми нормальными переменными
  • Если и две независимые нормальные случайные величины, с помощью , и стандартные отклонения , , то их сумма также будет нормально распределена, [доказательство] со средним значением и дисперсией .
  • В частности, если и являются независимыми нормальными отклонениями с нулевым средним и дисперсией , то и также являются независимыми и нормально распределенными, с нулевым средним и дисперсией . Это частный случай поляризационного тождества .
  • Если , две независимые нормальные величины с средним и отклонением , и , произвольные действительные числа, то переменная

также нормально распределяется со средним значением и отклонением . Отсюда следует, что нормальное распределение устойчиво (с показателем степени ).

Операции над двумя независимыми стандартными нормальными переменными

Если и - две независимые стандартные нормальные случайные величины со средним 0 и дисперсией 1, то

  • Их сумма и разность имеют нормальное распределение с нулевым средним и дисперсией два: .
  • Их произведение следует распределению Произведения с функцией плотности, где - модифицированная функция Бесселя второго рода . Это распределение симметрично относительно нуля, неограничено при и имеет характеристическую функцию .
  • Их отношение следует стандартное распределение Коши : .
  • Их евклидова норма имеет распределение Рэлея .

Операции над несколькими независимыми нормальными переменными

  • Любая линейная комбинация независимых нормальных отклонений является нормальным отклонением.
  • Если это независимые стандартные нормальные случайные величины, то сумма их квадратов имеет распределение хи-квадрат со степенями свободы
  • Если , являются независимыми стандартными нормальными случайными величинами, то отношение их нормализованных сумм квадратов будет иметь F-распределение с ( n , m ) степенями свободы:

Операции с несколькими коррелированными нормальными переменными

Операции над функцией плотности

Нормальное распределение раскола наиболее непосредственно определяются в терминах присоединения масштабируемых секций функций плотности различных нормальных распределений и масштабировании плотности интеграции в один. Усечен нормальное распределение результатов от перемасштабирования сечения функции одной плотности.

Бесконечная делимость и теорема Крамера

Для любого положительного целого числа любое нормальное распределение со средним значением и дисперсией является распределением суммы независимых нормальных отклонений, каждое из которых имеет среднее значение и дисперсию . Это свойство называется бесконечной делимостью .

И наоборот, если и являются независимыми случайными величинами и их сумма имеет нормальное распределение, то обе и должны иметь нормальные отклонения.

Этот результат известен как теорема разложения Крамера и эквивалентен утверждению, что свертка двух распределений нормальна тогда и только тогда, когда оба нормальны. Теорема Крамера подразумевает, что линейная комбинация независимых негауссовских переменных никогда не будет иметь точно нормального распределения, хотя она может приближаться к нему сколь угодно близко.

Теорема Бернштейна

Теорема утверждает Бернштейн , что если и независимы и и также независимы, то оба X и Y должны обязательно иметь нормальное распределение.

В более общем смысле, если являются независимыми случайными величинами, то две различные линейные комбинации и будут независимыми тогда и только тогда, когда все они нормальны и , где обозначает дисперсию .

Расширения

Понятие нормального распределения, являющегося одним из наиболее важных распределений в теории вероятностей, было расширено далеко за пределы стандартных рамок одномерного (то есть одномерного) случая (случай 1). Все эти расширения также называются нормальными или гауссовскими законами, поэтому существует определенная двусмысленность в названиях.

Случайная величина X имеет нормальное распределение, состоящее из двух частей, если она имеет распределение

где μ - среднее значение, а σ 1 и σ 2 - стандартные отклонения распределения слева и справа от среднего значения соответственно.

Были определены среднее значение, дисперсия и третий центральный момент этого распределения.

где E ( X ), V ( X ) и T ( X ) - среднее значение, дисперсия и третий центральный момент соответственно.

Одним из основных практических применений закона Гаусса является моделирование эмпирических распределений многих различных случайных величин, встречающихся на практике. В таком случае возможным расширением могло бы стать более богатое семейство распределений, имеющее более двух параметров и, следовательно, способное более точно соответствовать эмпирическому распределению. Примеры таких расширений:

  • Распределение Пирсона - семейство четырехпараметрических распределений вероятностей, которые расширяют нормальный закон, чтобы включить различные значения асимметрии и эксцесса.
  • Обобщенное нормальное распределение , также известное как экспоненциальное распределение мощности, позволяет хвосты распределения с толще или тоньше асимптотиком.

Статистические выводы

Оценка параметров

Часто бывает так, что мы не знаем параметров нормального распределения, а вместо этого хотим их оценить . То есть, имея выборку из нормальной генеральной совокупности, мы хотели бы узнать приблизительные значения параметров и . Стандартный подход к этой проблеме - метод максимального правдоподобия , который требует максимизации функции логарифмического правдоподобия :

Взятие производных по и и решение полученной системы условий первого порядка дает оценки максимального правдоподобия :

Выборочное среднее

Оценщик называется выборочным средним , поскольку это среднее арифметическое всех наблюдений. Статистика является полной и достаточной для , и, следовательно, по теореме Лемана – Шеффе , является несмещенной оценкой с равномерной минимальной дисперсией (UMVU). В конечных выборках распределяется нормально:

Дисперсия этой оценки равна μμ -элементу обратной информационной матрицы Фишера . Это означает, что оценка эффективна для конечных выборок . Из практическое значение имеет тот факт , что стандартная ошибка из пропорционально , то есть, если кто -то желает уменьшить стандартную ошибку с коэффициентом 10, необходимо увеличить число точек в образце на коэффициент 100. Этот факт широко используется при определении размеров выборки для опросов общественного мнения и количества испытаний при моделировании Монте-Карло .

С точки зрения асимптотической теории , является последовательным , то есть, она сходится по вероятности к а . Оценка также является асимптотически нормальной , что является простым следствием того факта, что она нормальна в конечных выборках:

Выборочная дисперсия

Оценщик называется дисперсией выборки , поскольку это дисперсия выборки ( ). На практике вместо . Эта другая оценка обозначается и также называется выборочной дисперсией , что представляет определенную двусмысленность в терминологии; его квадратный корень называется стандартным отклонением выборки . Оценка отличается от наличия ( n - 1) вместо  n в знаменателе (так называемая поправка Бесселя ):

Разница между и становится пренебрежимо малой при большом п ' с. Однако в конечных выборках мотивация использования заключается в том, что это объективная оценка базового параметра , в то время как она является необъективной. Кроме того, по теореме Лемана – Шеффе оценка является несмещенной с равномерной минимальной дисперсией (UMVU), что делает ее «лучшей» оценкой среди всех несмещенных оценок. Однако можно показать , что смещенная оценка «лучше» , чем в терминах среднеквадратичной ошибки (MSE) критерия. В конечных выборках оба и имеют масштабированное распределение хи-квадрат с ( n - 1) степенями свободы:

Первое из этих выражений показывает, что дисперсия равна , что немного больше, чем σσ -элемент обратной информационной матрицы Фишера . Таким образом, не является эффективным оценщиком для , и, более того, поскольку это UMVU, мы можем сделать вывод, что эффективный оценщик с конечной выборкой для не существует.

Применяя асимптотическую теорию, обе оценки и согласованы, то есть они сходятся по вероятности к размеру выборки . Обе оценки также являются асимптотически нормальными:

В частности, обе оценки асимптотически эффективны при .

Доверительные интервалы

По теореме Кохрен , для нормальных распределений выборочной средней и выборочная дисперсия s 2 являются независимыми , а это означает , что не может быть никакого выигрыша при рассмотрении их совместного распределения . Существует также обратная теорема: если в выборке среднее значение выборки и дисперсия выборки независимы, тогда выборка должна быть получена из нормального распределения. Независимость между и s может использоваться для построения так называемой t-статистики :

Эта величина t имеет t-распределение Стьюдента с ( n - 1) степенями свободы и является вспомогательной статистикой (не зависящей от значений параметров). Обращение распределения этой t- статистики позволит нам построить доверительный интервал для μ ; аналогично, инвертирование распределения χ 2 статистики s 2 даст нам доверительный интервал для σ 2 :

где t k, p и χ 2
к, п
 
являются р - я квантилей из т - и χ 2 -распределений соответственно. Эти доверительные интервалы имеют уровень достоверности 1 - α , что означает, что истинные значения μ и σ 2 выходят за пределы этих интервалов с вероятностью (или уровнем значимости ) α . На практике люди обычно принимают α = 5% , что дает 95% доверительный интервал. Приближенные формулы на изображении выше были получены из асимптотических распределений и s 2 . Приближенные формулы становятся действительными для больших значений n и более удобны для ручного расчета, поскольку стандартные нормальные квантили z α / 2 не зависят от n . В частности, наиболее популярное значение α = 5% приводит к | z 0,025 | = 1,96 .

Тесты на нормальность

Тесты нормальности оценивают вероятность того, что данный набор данных { x 1 , ..., x n } получен из нормального распределения. Обычно нулевая гипотеза H 0 состоит в том, что наблюдения распределены нормально с неопределенным средним μ и дисперсией σ 2 , в отличие от альтернативы H a , согласно которой распределение является произвольным. Для решения этой проблемы было разработано множество тестов (более 40), наиболее известные из них описаны ниже:

Диагностические графики более интуитивно привлекательны, но в то же время субъективны, поскольку они полагаются на неформальное человеческое суждение, чтобы принять или отклонить нулевую гипотезу.

  • График Q – Q , также известный как график нормальной вероятности или график ранжирования, представляет собой график отсортированных значений из набора данных против ожидаемых значений соответствующих квантилей из стандартного нормального распределения. То есть это график точки вида (Φ −1 ( p k ), x ( k ) ), где точки построения p k равны p k  = ( k  -  α ) / ( n  + 1-2 α ), а α - константа настройки, которая может принимать значения от 0 до 1. Если нулевая гипотеза верна, нанесенные на график точки должны приблизительно лежать на прямой линии.
  • График P – P - аналогичен графику Q – Q, но используется гораздо реже. Этот метод состоит в построении точек (Φ ( z ( k ) ), p k ), где . Для нормально распределенных данных этот график должен лежать на линии под углом 45 ° между (0, 0) и (1, 1).

Тесты согласия :

Моментные тесты :

  • К-квадрат Д'Агостино
  • Тест Жарка – Бера
  • Тест Шапиро-Уилка : он основан на том факте, что линия на графике Q – Q имеет наклон σ . Тест сравнивает оценку этого наклона методом наименьших квадратов со значением выборочной дисперсии и отклоняет нулевую гипотезу, если эти две величины значительно различаются.

Тесты на основе эмпирической функции распределения :

Байесовский анализ нормального распределения

Байесовский анализ нормально распределенных данных осложняется множеством различных возможностей, которые можно рассмотреть:

  • Либо среднее значение, либо дисперсия, либо ни то, ни другое может считаться фиксированной величиной.
  • Когда дисперсия неизвестна, анализ может быть выполнен непосредственно с точки зрения дисперсии или с точки зрения точности , обратной дисперсии. Причина, по которой формулы выражаются с точки зрения точности, заключается в том, что анализ большинства случаев упрощается.
  • Необходимо рассматривать как одномерные, так и многомерные случаи.
  • На неизвестные переменные могут быть помещены либо сопряженные, либо неправильные априорные распределения .
  • Дополнительный набор случаев возникает в байесовской линейной регрессии , где в базовой модели предполагается, что данные имеют нормальное распределение, а нормальные априорные значения помещаются в коэффициенты регрессии . Результирующий анализ аналогичен базовым случаям независимых одинаково распределенных данных.

Формулы для случаев нелинейной регрессии обобщены в сопряженной предыдущей статье.

Сумма двух квадратичных

Скалярная форма

Следующая вспомогательная формула полезна для упрощения уравнений апостериорного обновления, которые в противном случае становятся довольно утомительными.

Это уравнение переписывает сумму двух квадратов по x , расширяя квадраты, группируя члены по x и завершая квадрат . Обратите внимание на следующие моменты о сложных постоянных факторах, связанных с некоторыми терминами:

  1. Фактор имеет форму взвешенного среднего по у и г .
  2. Это показывает, что этот фактор можно рассматривать как результат ситуации, когда величины, обратные величине a и b, складываются напрямую, поэтому, чтобы объединить сами a и b , необходимо снова реагировать, складывать и возвращать результат, чтобы вернуться в исходное положение. оригинальные единицы. Именно такая операция выполняется с помощью среднего гармонического , поэтому неудивительно, что оно составляет половину гармонического среднего значений a и b .
Векторная форма

Аналогичная формула может быть записана на сумму два векторных квадратичные: Если х , у , г являются векторами длиной к , а и В являются симметричными , обратимыми матрицами размера , то

куда

Обратите внимание, что форма xA x называется квадратичной формой и является скаляром :

Другими словами, он суммирует все возможные комбинации произведений пар элементов из x с отдельным коэффициентом для каждого. Кроме того, поскольку для любых недиагональных элементов A имеет значение только сумма , и можно без потери общности предположить, что A является симметричным . Кроме того, если A симметрична, то форма

Сумма отличий от среднего

Еще одна полезная формула выглядит следующим образом:

куда

С известной дисперсией

Для набора iid нормально распределенных точек данных X размера n, где каждая отдельная точка x следует с известной дисперсией σ 2 , сопряженное предварительное распределение также нормально распределено.

Это можно легко показать, переписав дисперсию как точность , т. Е. Используя τ = 1 / σ 2 . Тогда если и поступим следующим образом.

Во-первых, функция правдоподобия (используя приведенную выше формулу для суммы отличий от среднего):

Затем действуем следующим образом:

В приведенном выше выводе мы использовали приведенную выше формулу для суммы двух квадратичных величин и исключили все постоянные множители, не включающие  μ . Результатом является ядро нормального распределения со средним значением и точностью , т. Е.

Это можно записать как набор уравнений байесовского обновления для апостериорных параметров в терминах априорных параметров:

То есть, чтобы объединить n точек данных с общей точностью (или, что эквивалентно, общей дисперсией n / σ 2 ) и средним значением , получить новую общую точность, просто добавив общую точность данных к предыдущей общей точности, и формируют новое среднее значение посредством взвешенного по точности среднего , т. е. средневзвешенного среднего значения данных и предыдущего среднего, каждое из которых взвешено по соответствующей общей точности. Это имеет логический смысл, если считается, что точность указывает на достоверность наблюдений: в распределении апостериорного среднего каждый из входных компонентов взвешивается по своей достоверности, а достоверность этого распределения является суммой индивидуальных достоверностей. . (Чтобы понять это, сравните выражение «целое больше (или нет) суммы его частей». Кроме того, учтите, что знание апостериорного происходит из комбинации знания априорного и вероятностного , поэтому имеет смысл, что мы более уверены в нем, чем в любом из его компонентов.)

Выше формула показывает , почему это более удобно делать байесовский анализ из сопряженных априорий для нормального распределения с точкой зрения точности. Апостериорная точность - это просто сумма априорной точности и вероятности, а апостериорное среднее вычисляется посредством взвешенного с точностью до среднего, как описано выше. Те же формулы могут быть записаны в терминах дисперсии, взаимно меняя все точности, давая более уродливые формулы

С известным средним

Для набора IID нормально распределенной точек данных X размера п , где каждая отдельная точка х следует с известным средним ц, то сопряженная до из дисперсии имеет гамма - распределение обратной или ее масштабируется обратного распределения хи-квадрат . Оба они эквивалентны, за исключением того, что имеют разные параметризации . Хотя чаще используется обратная гамма, для удобства мы используем масштабированный обратный хи-квадрат. Априор для σ 2 выглядит следующим образом:

Функция правдоподобия сверху, записанная в терминах дисперсии, имеет следующий вид:

куда

Потом:

Вышеупомянутое также является масштабированным обратным распределением хи-квадрат, где

или эквивалентно

Повторная параметризация с точки зрения обратного гамма-распределения дает следующий результат:

С неизвестным средним и неизвестной дисперсией

Для набора iid нормально распределенных точек данных X размера n, где каждая отдельная точка x следует с неизвестным средним μ и неизвестной дисперсией σ 2 , комбинированное (многомерное) сопряженное априорное значение помещается над средним и дисперсией, состоящее из нормально-обратного -гамма-распределение . Логически это происходит следующим образом:

  1. Из анализа случая с неизвестным средним, но известной дисперсией мы видим, что уравнения обновления включают в себя достаточную статистику, вычисленную из данных, состоящих из среднего значения точек данных и общей дисперсии точек данных, вычисленной, в свою очередь, из известной дисперсии. делится на количество точек данных.
  2. Из анализа случая с неизвестной дисперсией, но известным средним, мы видим, что уравнения обновления включают достаточную статистику по данным, состоящим из количества точек данных и суммы квадратов отклонений .
  3. Имейте в виду, что значения апостериорного обновления служат в качестве предварительного распределения при обработке дальнейших данных. Таким образом, мы должны логически думать о наших априорных значениях в терминах только что описанной достаточной статистики с максимально возможной сохранением той же семантики.
  4. Чтобы справиться со случаем, когда и среднее значение, и дисперсия неизвестны, мы могли бы разместить независимые априорные значения над средним и дисперсией с фиксированными оценками среднего среднего, общей дисперсии, количеством точек данных, используемых для вычисления априорной дисперсии, и суммой квадратов отклонений. . Однако обратите внимание, что в действительности общая дисперсия среднего зависит от неизвестной дисперсии, а сумма квадратов отклонений, которые входят в дисперсию до (кажется), зависит от неизвестного среднего. На практике последняя зависимость относительно не важна: сдвиг фактического среднего сдвигает сгенерированные точки на равную величину, и в среднем квадраты отклонений останутся прежними. Однако это не относится к общей дисперсии среднего: по мере увеличения неизвестной дисперсии общая дисперсия среднего будет пропорционально увеличиваться, и мы хотели бы зафиксировать эту зависимость.
  5. Это предполагает, что мы создаем условный априор среднего для неизвестной дисперсии с гиперпараметром, определяющим среднее значение псевдонаблюдений, связанных с предыдущим, и другим параметром, определяющим количество псевдонаблюдений. Это число служит параметром масштабирования дисперсии, позволяя контролировать общую дисперсию среднего значения относительно фактического параметра дисперсии. Априор для дисперсии также имеет два гиперпараметра: один определяет сумму квадратов отклонений псевдонаблюдений, связанных с априорными наблюдениями, а другой снова определяет количество псевдонаблюдений. Обратите внимание, что каждый из априорных значений имеет гиперпараметр, определяющий количество псевдонаблюдений, и в каждом случае это контролирует относительную дисперсию этого априорного значения. Они представлены как два отдельных гиперпараметра, так что дисперсию (также известную как достоверность) двух априорных значений можно контролировать отдельно.
  6. Это немедленно приводит к нормальному-обратному-гамма-распределению , которое является продуктом двух только что определенных распределений с использованием сопряженных априорных значений ( обратное гамма-распределение по дисперсии и нормальное распределение по среднему, обусловленное дисперсией), и с теми же четырьмя только что определенными параметрами.

Приоры обычно определяются следующим образом:

Уравнения обновления могут быть выведены и выглядеть следующим образом:

Соответствующее количество псевдонаблюдений добавляет к ним количество фактических наблюдений. Новый гиперпараметр среднего значения снова является средневзвешенным, на этот раз взвешенным по относительному количеству наблюдений. Наконец, обновление для аналогично случаю с известным средним, но в этом случае сумма квадратов отклонений берется по отношению к среднему значению наблюдаемых данных, а не истинному среднему значению, и в результате требуется новый «член взаимодействия». быть добавленным, чтобы позаботиться о дополнительном источнике ошибок, возникающем из-за отклонения между предыдущим средним значением и средним значением данных.

[Доказательство]

Предыдущие распределения

Следовательно, совместный приор

Функция правдоподобия из приведенного выше раздела с известной дисперсией:

Записывая это в терминах дисперсии, а не точности, мы получаем:

куда

Следовательно, апостериорная (исключение гиперпараметров как обусловливающих факторов):

Другими словами, апостериорное распределение имеет форму произведения нормального распределения по p ( μ  |  σ 2 ) на обратное гамма-распределение по p2 ) с параметрами, такими же, как приведенные выше уравнения обновления.

Возникновение и приложения

Возникновение нормального распределения в практических задачах можно условно разделить на четыре категории:

  1. Точно нормальные распределения;
  2. Приблизительно нормальные законы, например, когда такое приближение оправдано центральной предельной теоремой ; а также
  3. Распределения смоделированы как нормальные - нормальное распределение - это распределение с максимальной энтропией для данного среднего значения и дисперсии.
  4. Проблемы регрессии - нормальное распределение находится после достаточно хорошего моделирования систематических эффектов.

Точная нормальность

Некоторые величины в физике распределены нормально, как впервые продемонстрировал Джеймс Клерк Максвелл . Примеры таких количеств:

  • Функция плотности вероятности основного состояния в квантовом гармоническом осцилляторе .
  • Положение частицы, которая испытывает диффузию . Если изначально частица находится в определенной точке (то есть ее распределение вероятностей является дельта-функцией Дирака ), то после времени t ее местоположение описывается нормальным распределением с дисперсией t , которое удовлетворяет уравнению диффузии  . Если начальное местоположение задается некоторой функцией плотности , то плотность в момент времени т является сверткой из г и нормальный PDF.

Примерная нормальность

Приблизительно нормальные распределения встречаются во многих ситуациях, как объясняется центральной предельной теоремой . Когда результат создается множеством небольших эффектов, действующих аддитивно и независимо , его распределение будет близко к нормальному. Нормальное приближение будет недействительным, если эффекты действуют мультипликативно (а не аддитивно) или если существует единичное внешнее влияние, которое имеет значительно большую величину, чем остальные эффекты.

Предполагаемая нормальность

Гистограмма ширины чашелистиков для Iris versicolor из набора данных о цветках Fisher's Iris с наложенным наиболее подходящим нормальным распределением.

Я могу признать появление нормальной кривой - кривой ошибок Лапласа - очень ненормальным явлением. В некоторых дистрибутивах он приблизительно равен; по этой причине и из-за его прекрасной простоты мы, вероятно, можем использовать его в качестве первого приближения, особенно в теоретических исследованиях.

Существуют статистические методы для эмпирической проверки этого предположения, см. Выше раздел « Проверка нормальности ».

  • В биологии , то логарифм различных переменных , как правило, имеют нормальное распределение, то есть, они , как правило, имеют логарифмически нормальное распределение (после разделения на мужских / женских субпопуляций), с примерами в том числе:
    • Меры размера живой ткани (длина, рост, площадь кожи, вес);
    • Длина из инертных придатки (волосы, когти, ногти, зубы) биологических образцов, в направлении роста ; предположительно толщина коры дерева также попадает в эту категорию;
    • Определенные физиологические измерения, такие как артериальное давление у взрослых людей.
  • В финансах, в частности в модели Блэка – Шоулза , изменения логарифма обменных курсов, индексов цен и индексов фондового рынка считаются нормальными (эти переменные ведут себя как сложные проценты , а не как простые проценты, и поэтому являются мультипликативными). Некоторые математики , такие как Бенуа Мандельброт утверждал , что лог-Леви распределения , который обладает тяжелыми хвостами бы более подходящей моделью, в частности , для анализа на фондовом рынке аварий . Использование предположения о нормальном распределении в финансовых моделях также подвергалось критике со стороны Нассима Николаса Талеба в его работах.
  • Ошибки измерения в физических экспериментах часто моделируются нормальным распределением. Такое использование нормального распределения не означает, что предполагается, что ошибки измерения имеют нормальное распределение, скорее, использование нормального распределения дает наиболее консервативные прогнозы из возможных, учитывая только знания о среднем значении и дисперсии ошибок.
  • В стандартизированном тестировании результаты могут иметь нормальное распределение, либо путем выбора количества и сложности вопросов (как в тесте IQ ), либо путем преобразования исходных результатов теста в «выходные» баллы путем подгонки их к нормальному распределению. Например, традиционный диапазон SAT 200–800 основан на нормальном распределении со средним значением 500 и стандартным отклонением 100.
Подгонка кумулятивного нормального распределения к осадкам в октябре, см. Подбор распределения


Методологические проблемы и экспертная оценка

Джон Иоаннидис утверждает, что использование нормально распределенных стандартных отклонений в качестве стандартов для проверки результатов исследований оставляет фальсифицируемые прогнозы о явлениях, которые обычно не распространяются, непроверенными. Сюда входят, например, явления, которые возникают только тогда, когда присутствуют все необходимые условия, и одно не может быть заменой другого способом, подобным сложению, и явления, которые не распределены случайным образом. Иоаннидис утверждает, что проверка, ориентированная на стандартное отклонение, дает ложное представление о достоверности гипотез и теорий, в которых некоторые, но не все фальсифицируемые предсказания обычно распределяются, поскольку часть фальсифицируемых предсказаний, против которых имеются свидетельства, могут, а в некоторых случаях находятся в ненормальном состоянии. распределенные части диапазона поддающихся проверке прогнозов, а также необоснованное отклонение гипотез, для которых ни одно из поддающихся опровержению прогнозов обычно не распределяется, как если бы они не поддавались сомнению, хотя на самом деле они делают опровержимые прогнозы. Иоаннидис утверждает, что многие случаи признания взаимоисключающих теорий «подтвержденными» исследовательскими журналами вызваны неспособностью журналов принять эмпирические фальсификации предсказаний с ненормальным распределением, а не потому, что взаимоисключающие теории верны, что они не могут быть, хотя две взаимоисключающие теории могут быть ошибочными, а третья - правильной.

Вычислительные методы

Генерация значений из нормального распределения

Фасоли машину , устройство изобретено Фрэнсис Гальтон , можно назвать первым генератором нормальных случайных величин. Эта машина состоит из вертикальной доски с чередующимися рядами штифтов. Маленькие шарики падают сверху, а затем случайным образом отскакивают влево или вправо, когда попадают в кегли. Шары собираются в ящики внизу и располагаются в виде узора, напоминающего кривую Гаусса.

В компьютерном моделировании, особенно в приложениях метода Монте-Карло , часто желательно генерировать значения с нормальным распределением. Все перечисленные ниже алгоритмы генерируют стандартные нормальные отклонения, поскольку N ( μ, σ2
)
может быть сгенерировано как X = μ + σZ , где Z - стандартная нормаль. Все эти алгоритмы полагаются на наличие генератора случайных чисел U, способного производить однородные случайные величины.

  • Самый простой метод основан на свойстве интегрального преобразования вероятности : если U равномерно распределен на (0,1), то Φ −1 ( U ) будет иметь стандартное нормальное распределение. Недостатком этого метода является то, что он основан на вычислении пробит-функции Φ −1 , что не может быть выполнено аналитически. Некоторые приблизительные методы описаны в Hart (1968) и в статье erf . Вичура дает быстрый алгоритм вычисления этой функции до 16 знаков после запятой, который используется R для вычисления случайных переменных нормального распределения.
  • Простой в программировании приближенный подход, основанный на центральной предельной теореме , заключается в следующем: сгенерируйте 12 однородных отклонений U (0,1), сложите их все и вычтите 6 - полученная случайная величина будет иметь приблизительно стандартное нормальное распределение. По правде говоря, это распределение будет Ирвином – Холлом , которое представляет собой 12-секционное полиномиальное приближение одиннадцатого порядка к нормальному распределению. Это случайное отклонение будет иметь ограниченный диапазон (−6, 6).
  • В методе Бокса – Мюллера используются два независимых случайных числа U и V, равномерно распределенных на (0,1). Тогда две случайные величины X и Y
оба будут иметь стандартное нормальное распределение и будут независимыми . Эта формулировка возникает потому, что для двумерного нормального случайного вектора ( X , Y ) квадрат нормы X 2 + Y 2 будет иметь распределение хи-квадрат с двумя степенями свободы, которое является легко генерируемой экспоненциальной случайной величиной, соответствующей величине −2ln ( U ) в этих уравнениях; и угол распределяется равномерно по кругу, выбранный случайной величины V .
  • Полярный метод Marsaglia является модификацией метода Бокса-Мюллера , который не требует вычисления синуса и косинуса. В этом методе U и V извлекаются из равномерного (-1,1) распределения, а затем вычисляется S = U 2 + V 2 . Если S больше или равно 1, то метод начинается заново, в противном случае две величины
возвращаются. Опять же, X и Y - независимые стандартные нормальные случайные величины.
  • Метод Ratio - это метод отклонения. Алгоритм работает следующим образом:
    • Создайте два независимых равномерных отклонения U и V ;
    • Вычислить X = 8 / e ( V - 0,5) / U ;
    • Необязательно: если X 2 ≤ 5 - 4 e 1/4 U, тогда принять X и завершить алгоритм;
    • Необязательно: если X 2 ≥ 4 e −1,35 / U + 1,4, тогда отклонить X и начать с шага 1;
    • Если X 2 ≤ −4 ln U, тогда примите X , в противном случае начните алгоритм заново.
Два дополнительных шага позволяют избежать вычисления логарифма на последнем шаге в большинстве случаев. Эти шаги можно значительно улучшить, так что логарифм будет редко вычисляться.
  • Алгоритм зиккурат быстрее , чем преобразование Бокса-Мюллера и до сих пор точно. Примерно в 97% всех случаев он использует только два случайных числа, одно случайное целое и одно случайное равномерное, одно умножение и if-тест. Только в 3% случаев, когда комбинация этих двух выходит за пределы «ядра зиккурата» (разновидность выборки с отклонением с использованием логарифмов), необходимо использовать экспоненты и более однородные случайные числа.
  • Целочисленную арифметику можно использовать для выборки из стандартного нормального распределения. Этот метод точен в том смысле, что он удовлетворяет условиям идеального приближения ; т.е. это эквивалентно выборке действительного числа из стандартного нормального распределения и округлению его до ближайшего представимого числа с плавающей запятой.
  • Также проводится некоторое исследование связи между быстрым преобразованием Адамара и нормальным распределением, поскольку преобразование использует только сложение и вычитание, и по центральной предельной теореме случайные числа из почти любого распределения будут преобразованы в нормальное распределение. В этом отношении серию преобразований Адамара можно комбинировать со случайными перестановками, чтобы превратить произвольные наборы данных в нормально распределенные данные.

Численные приближения для нормальной функции CDF и нормальной функции квантили

Стандартный нормальный CDF широко используется в научных и статистических вычислениях.

Значения Φ ( x ) могут быть очень точно аппроксимированы различными методами, такими как численное интегрирование , ряд Тейлора , асимптотический ряд и непрерывные дроби . В зависимости от желаемого уровня точности используются разные приближения.

  • Зелен и Северо (1964) дают приближение для Φ ( x ) для x> 0 с абсолютной ошибкой | ε ( x ) | <7,5 · 10 −8 (алгоритм 26.2.17 ):
    где ϕ ( x ) - стандартная нормальная PDF, а b 0 = 0,2316419, b 1 = 0,319381530, b 2 = −0,356563782, b 3 = 1,781477937, b 4 = −1,821255978, b 5 = 1,330274429.
  • Харт (1968) перечисляет несколько десятков приближений - с помощью рациональных функций, с экспонентами или без них - для функции erfc () . Его алгоритмы различаются по степени сложности и получаемой точности с максимальной абсолютной точностью до 24 цифр. Алгоритм Уэста (2009) объединяет алгоритм Харта 5666 с приближением непрерывной дроби в хвосте, чтобы обеспечить быстрый алгоритм вычислений с точностью до 16 цифр.
  • Коди (1969), вспомнив, что решение Hart68 не подходит для erf, дает решение как для erf, так и для erfc с максимальной относительной погрешностью с помощью рационального приближения Чебышева .
  • Марсаглия (2004) предложил простой алгоритм, основанный на разложении в ряд Тейлора.
    для вычисления Φ ( x ) с произвольной точностью. Недостатком этого алгоритма является сравнительно медленное время вычисления (например, требуется более 300 итераций для вычисления функции с точностью до 16 знаков при x = 10 ).
  • GNU Scientific Library вычисляет значения стандартного нормального КОРА , используя алгоритмы и приближение Харта с полиномами Чебышева .

Шор (1982) ввел простые аппроксимации, которые могут быть включены в модели стохастической оптимизации инженерных и операционных исследований, такие как проектирование надежности и анализ запасов. Обозначая p = Φ (z), простейшее приближение для функции квантили:

Это приближение обеспечивает для z максимальную абсолютную ошибку 0,026 (для 0,5 ≤  p  ≤ 0,9999, что соответствует 0 ≤  z  ≤ 3,719). Если p  <1/2, замените p на 1 -  p и измените знак. Другое приближение, несколько менее точное, - это однопараметрическое приближение:

Последний служил для получения простой аппроксимации интеграла потерь нормального распределения, определяемого формулой

Это приближение особенно точно для правого дальнего хвоста (максимальная ошибка 10 −3 для z≥1,4). Высокоточные приближения для CDF, основанные на методологии моделирования отклика (RMM, Shore, 2011, 2012), показаны в Shore (2005).

Еще несколько приближений можно найти по адресу: Функция ошибок # Приближение с элементарными функциями . В частности, небольшая относительная ошибка во всей области для CDF и функции квантиля достигается с помощью явно обратимой формулы Сергея Виницкого в 2008 году.

История

Разработка

Некоторые авторы приписывают заслугу открытия нормального распределения к Муавру , который в 1738 году опубликован во втором издании своей « Доктрину Возможностей » изучение коэффициентов в биномиальном разложении в ( + б ) п . Де Муавр доказал, что средний член в этом разложении имеет приблизительную величину , и что «Если m или1/2п быть количеством бесконечно велико, то логарифм отношения, которым срок отстоит от середины отрезка л , имеет в среднесрочную перспективу, является «. Хотя этой теорема может быть истолкована как первое неясным выражение для нормальной вероятности Согласно закону, Стиглер указывает, что сам де Муавр не интерпретировал свои результаты как нечто большее, чем приблизительное правило для биномиальных коэффициентов, и, в частности, де Муавру не хватало концепции функции плотности вероятности.

Карл Фридрих Гаусс открыл нормальное распределение в 1809 году как способ рационализировать метод наименьших квадратов .

В 1823 году Гаусс опубликовал свою монографию « Theoriacommoniois monitoringum erroribus minimis obnoxiae », где, среди прочего, он вводит несколько важных статистических концепций, таких как метод наименьших квадратов , метод максимального правдоподобия и нормальное распределение . Гаусс использовал M , M , M ′ ′, ... для обозначения измерений некоторой неизвестной величины  V и искал «наиболее вероятную» оценку этой величины: ту, которая максимизирует вероятность φ ( M  -  V ) · φ ( M ′  -  V ) · φ ( M ′ ′ -  V ) · ... получения наблюдаемых экспериментальных результатов. В его обозначениях φΔ - это функция плотности вероятности ошибки измерения величины Δ. Не зная, что такое функция φ , Гаусс требует, чтобы его метод сводился к хорошо известному ответу: среднему арифметическому измеренных значений. Исходя из этих принципов, Гаусс демонстрирует, что единственный закон, который рационализирует выбор среднего арифметического в качестве оценки параметра местоположения, - это нормальный закон ошибок:

где h - «мера точности наблюдений». Используя этот нормальный закон в качестве общей модели ошибок в экспериментах, Гаусс формулирует то, что теперь известно как метод нелинейных взвешенных наименьших квадратов (NWLS).

Пьер-Симон Лаплас доказал центральную предельную теорему в 1810 году, закрепив важность нормального распределения в статистике.

Хотя Гаусс был первым, кто предложил закон нормального распределения, Лаплас внес существенный вклад. Именно Лаплас первым поставил задачу объединения нескольких наблюдений в 1774 году, хотя его собственное решение привело к распределению Лапласа . Это был Лаплас , который первый вычислил значение из интеграла е - т 2  дт = л в 1782 году, обеспечивая постоянные нормализации для нормального распределения. Наконец, именно Лаплас в 1810 году доказал и представил Академии фундаментальную центральную предельную теорему , подчеркивавшую теоретическую важность нормального распределения.

Интересно отметить, что в 1809 году ирландский математик Адрейн опубликовал два вывода нормального вероятностного закона одновременно и независимо от Гаусса. Его работы оставались в значительной степени незамеченными научным сообществом, пока в 1871 году они не были «заново открыты» Аббе .

В середине XIX века Максвелл продемонстрировал, что нормальное распределение - это не только удобный математический инструмент, но также может иметь место в природных явлениях: «Число частиц, скорость которых при разрешении в определенном направлении лежит между x и x  +  dx. является

Именование

С момента своего появления нормальное распределение было известно под множеством разных названий: закон ошибки, закон легкости ошибок, второй закон Лапласа, закон Гаусса и т. Д. Сам Гаусс, по-видимому, ввел термин со ссылкой на «нормальные уравнения» участвуют в его приложениях, причем нормальный имеет свое техническое значение ортогонального, а не «обычного». Однако к концу XIX века некоторые авторы начали использовать название « нормальное распределение» , где слово «нормальный» использовалось как прилагательное - этот термин теперь рассматривается как отражение того факта, что это распределение считалось типичным, обычное - а значит, «нормальное». Пирс (один из этих авторов) однажды определил «нормальный» следующим образом: «...« нормальное »- это не среднее (или любое другое среднее значение) того, что на самом деле происходит, но того, что в конечном итоге могло бы произойти. при определенных обстоятельствах ". Примерно на рубеже 20-го века Пирсон популяризировал термин « нормальный» как обозначение этого распределения.

Много лет назад я назвал кривую Лапласа – Гаусса нормальной кривой, что, хотя и позволяет избежать международного вопроса о приоритете, имеет тот недостаток, что заставляет людей поверить в то, что все другие распределения частот в том или ином смысле являются «ненормальными».

Кроме того, именно Пирсон первым написал распределение в терминах стандартного отклонения σ в современных обозначениях. Вскоре после этого, в 1915 году, Фишер добавил параметр местоположения в формулу нормального распределения, выразив его так, как это пишется сейчас:

Термин «стандартное нормальное», которое обозначает нормальное распределение с нулевым средним и единичной дисперсией, стал широко использоваться примерно в 1950-х годах, появившись в популярных учебниках П.Г. Хоэля (1947) « Введение в математическую статистику » и AM Mood (1950) ». Введение в теорию статистики ».

Смотрите также

Примечания

использованная литература

Цитаты

Источники

внешние ссылки