Функция плотности вероятности - Probability density function

Коробчатая диаграмма и функция плотности вероятности нормального распределения N (0,  σ 2 ) .
Геометрическая визуализация режима , медианы и среднего значения произвольной функции плотности вероятности.

В теории вероятностей , А функция плотности вероятности ( PDF ), или плотность из непрерывных случайных переменных , является функцией , значение которой в любом данном образце (или точка) в выборочном пространстве (множество возможных значений , принимаемых случайной величина) может интерпретироваться как обеспечение относительной вероятности того, что значение случайной величины будет близко к этой выборке. Другими словами, хотя абсолютная вероятность того, что непрерывная случайная переменная примет какое-либо конкретное значение, равна 0 (поскольку существует бесконечный набор возможных значений для начала), значение PDF в двух разных выборках может использоваться для вывода , насколько более вероятно, что случайная величина будет близка к одной выборке по сравнению с другой выборкой, при любом конкретном розыгрыше случайной величины.

В более точном смысле PDF используется для указания вероятности попадания случайной величины в определенный диапазон значений , в отличие от принятия какого-либо одного значения. Эта вероятность дается интегралом PDF этой переменной в этом диапазоне, то есть она дается площадью под функцией плотности, но над горизонтальной осью и между наименьшим и наибольшим значениями диапазона. Функция плотности вероятности всюду неотрицательна, а ее интеграл по всему пространству равен 1.

Термины « функция распределения вероятностей » и « функция вероятности » также иногда использовались для обозначения функции плотности вероятности. Однако такое использование не является стандартным среди специалистов по теории вероятностей и статистиков. В других источниках «функция распределения вероятностей» может использоваться, когда распределение вероятностей определяется как функция по общим наборам значений, или оно может относиться к кумулятивной функции распределения , или это может быть функция массы вероятности (PMF), а не плотность. Сама «функция плотности» также используется для функции массы вероятности, что приводит к дальнейшему недоразумению. Однако в целом PMF используется в контексте дискретных случайных величин (случайных величин, принимающих значения в счетном наборе), тогда как PDF используется в контексте непрерывных случайных величин.

Пример

Предположим, бактерии определенного вида обычно живут от 4 до 6 часов. Вероятность того, что бактерия живет ровно 5 часов, равна нулю. Многие бактерии живут примерно 5 часов, но нет шансов, что какая-либо конкретная бактерия погибнет ровно через 5 часов ... часов. Однако вероятность того, что бактерия погибнет в период от 5 часов до 5,01 часа, поддается количественной оценке. Предположим, ответ - 0,02 (т. Е. 2%). Тогда вероятность того, что бактерия погибнет в период от 5 часов до 5,001 часа, должна быть около 0,002, так как этот временной интервал в десять раз короче предыдущего. Вероятность того, что бактерия погибнет в период от 5 часов до 5.0001 часа, должна быть около 0,0002 и так далее.

В этом примере отношение (вероятность смерти во время интервала) / (продолжительность интервала) приблизительно постоянное и равно 2 в час (или 2 час -1 ). Например, вероятность смерти составляет 0,02 в интервале 0,01 часа между 5 и 5,01 часами, а (вероятность 0,02 / 0,01 часа) = 2 час -1 . Эта величина 2 час -1 называется плотностью вероятности смерти примерно через 5 часов. Следовательно, вероятность того, что бактерия погибнет через 5 часов, может быть записана как (2 час -1 ) dt . Это вероятность того, что бактерия погибнет в бесконечно малом временном окне около 5 часов, где dt - продолжительность этого окна. Например, вероятность того, что он живет дольше 5 часов, но короче (5 часов + 1 наносекунда), составляет (2 час −1 ) × (1 наносекунда) ≈6 × 10 −13 (с использованием преобразования единиц измерения 3,6 × 10 12 наносекунд = 1 час).

Существует функция плотности вероятности f с f (5 часов) = 2 час −1 . Интеграл от F над любым окном времени (не только бесконечно малые окна , но и большие окна) есть вероятность того, что бактерия умирает в этом окне.

Абсолютно непрерывные одномерные распределения

Функция плотности вероятности чаще всего ассоциируется с абсолютно непрерывными одномерными распределениями . Случайная величина имеет плотность , где является неотрицательным интегрируемой по Лебегу функции, если:

Следовательно, если это кумулятивная функция распределения из , то:

и (если непрерывна при )

Интуитивно это можно представить как вероятность попадания в бесконечно малый интервал .

Формальное определение

( Это определение может быть распространено на любое распределение вероятностей, используя теоретико-мерное определение вероятности . )

Случайная величина со значениями в измеримом пространстве ( как правило , с множествами борелевскими как измеримых подмножеств) имеет в качестве распределения вероятностей мера Х * Р на : по плотности от по отношению к эталонной мере на это производная Радона-Никодима :

То есть f - это любая измеримая функция, обладающая следующим свойством:

для любого измеримого множества

Обсуждение

В непрерывном одномерном случае выше эталонной мерой является мера Лебега . Функция вероятности массы из дискретной случайной величины плотности по отношению к счетным мерам по образцу пространству (обычно множество целых чисел , или некоторое их подмножества).

Невозможно определить плотность со ссылкой на произвольную меру (например, нельзя выбрать счетную меру в качестве эталона для непрерывной случайной величины). Более того, когда он действительно существует, плотность почти везде уникальна.

Дальнейшие подробности

В отличие от вероятности функция плотности вероятности может принимать значения больше единицы; например, равномерное распределение на интервале [0, 1/2] имеет плотность вероятности f ( x ) = 2 для 0 ≤  x  ≤ 1/2 и f ( x ) = 0 в другом месте.

Стандартное нормальное распределение имеет плотность вероятности

Если случайная величина Х задана и ее распределение допускает функцию плотности вероятности п , затем ожидаемое значение из X (если ожидаемое значение существует) может быть вычислена как

Не каждое распределение вероятностей имеет функцию плотности: распределения дискретных случайных величин не имеют; также нет распределения Кантора , даже если оно не имеет дискретной составляющей, т. е. не приписывает положительную вероятность какой-либо отдельной точке.

Распределение имеет функцию плотности тогда и только тогда, когда его кумулятивная функция распределения F ( x ) абсолютно непрерывна . В этом случае: F является почти всюду дифференцируема , и ее производная может быть использована в качестве плотности вероятности:

Если распределение вероятностей допускает плотность, тогда вероятность каждого одноточечного набора { a } равна нулю; то же самое верно для конечных и счетных множеств.

Две плотности вероятности f и g представляют одно и то же распределение вероятностей, если они различаются только на множестве нулевой меры Лебега .

В области статистической физики в качестве определения функции плотности вероятности обычно используется неформальная переформулировка приведенного выше отношения между производной кумулятивной функции распределения и функцией плотности вероятности. Это альтернативное определение следующее:

Если dt - бесконечно малое число, вероятность того, что X входит в интервал ( tt  +  dt ), равна f ( tdt , или:

Связь между дискретным и непрерывным распределениями

Можно представить определенные дискретные случайные величины, а также случайные величины, включающие как непрерывную, так и дискретную части, с обобщенной функцией плотности вероятности, используя дельта-функцию Дирака . (Это невозможно с функцией плотности вероятности в смысле, определенном выше, это можно сделать с помощью распределения .) Например, рассмотрим двоичную дискретную случайную величину, имеющую распределение Радемахера, то есть принимая -1 или 1 для значений, с вероятностью ½ каждое. Плотность вероятности, связанная с этой переменной, равна:

В более общем плане, если дискретная переменная может принимать n различных значений среди действительных чисел, тогда соответствующая функция плотности вероятности имеет вид:

где - дискретные значения, доступные для переменной, и - вероятности, связанные с этими значениями.

Это существенно унифицирует рассмотрение дискретных и непрерывных распределений вероятностей. Например, приведенное выше выражение позволяет определить статистические характеристики такой дискретной переменной (такие как ее среднее значение , дисперсия и эксцесс ), исходя из формул, приведенных для непрерывного распределения вероятности ...

Семейства плотностей

Обычно функции плотности вероятности (и функции массы вероятности ) параметризуются, то есть характеризуются неопределенными параметрами . Например, нормальное распределение параметризуется в терминах среднего и дисперсии , обозначенных и соответственно, давая семейство плотностей

Важно помнить о различии между областью плотностей семейства и параметрами этого семейства. Различные значения параметров описывают разные распределения разных случайных величин в одном и том же пространстве выборки (один и тот же набор всех возможных значений переменной); это пространство выборки является областью семейства случайных величин, которое описывает это семейство распределений. Данный набор параметров описывает единичное распределение внутри семейства, разделяющее функциональную форму плотности. С точки зрения данного распределения параметры являются константами, а члены функции плотности, которые содержат только параметры, но не переменные, являются частью коэффициента нормализации распределения (мультипликативный коэффициент, который гарантирует, что площадь под плотностью: вероятность того, что что- то произойдет в домене - равна 1). Этот коэффициент нормализации находится вне ядра дистрибутива.

Поскольку параметры являются константами, изменение параметров плотности с точки зрения различных параметров, чтобы дать характеристику другой случайной переменной в семействе, означает простую замену новых значений параметров в формулу вместо старых. Однако изменение области определения плотности вероятности сложнее и требует дополнительных усилий: см. Раздел ниже, посвященный замене переменных.

Плотности, связанные с несколькими переменными

Для непрерывных случайных величин X 1 ,…, X n также можно определить функцию плотности вероятности, связанную с множеством в целом, часто называемую совместной функцией плотности вероятности . Эта функция плотности определяется как функция n переменных, так что для любой области D в n -мерном пространстве значений переменных X 1 ,…, X n вероятность того, что реализация заданных переменных падает внутри области D находится

Если F ( x 1 ,…,  x n ) = Pr ( X 1  ≤  x 1 ,…,  X n  ≤  x n ) - кумулятивная функция распределения вектора ( X 1 ,…,  X n ), то совместная вероятность функция плотности может быть вычислена как частная производная

Предельные плотности

Для i = 1, 2,…, n пусть f X i ( x i ) будет функцией плотности вероятности, связанной только с переменной X i . Это называется функцией предельной плотности, и ее можно вывести из плотности вероятности, связанной со случайными величинами X 1 ,…, X n, путем интегрирования по всем значениям других n  - 1 переменных:

Независимость

Непрерывные случайные величины X 1 ,…, X n, допускающие совместную плотность, независимы друг от друга тогда и только тогда, когда

Следствие

Если совместная функция плотности вероятности вектора из n случайных величин может быть разложена на произведение n функций одной переменной

(где каждое f i не обязательно является плотностью), тогда все n переменных в наборе независимы друг от друга, а предельная функция плотности вероятности каждой из них определяется выражением

Пример

Этот элементарный пример иллюстрирует приведенное выше определение многомерных функций плотности вероятности в простом случае функции от набора двух переменных. Назовем двумерный случайный вектор координат ( X , Y ): вероятность получить в четверть плоскости положительных значений x и y равна

Функция случайных величин и замена переменных в функции плотности вероятности

Если функция плотности вероятности случайной величины (или вектора) X задана как f X ( x ), можно (но часто не обязательно; см. Ниже) вычислить функцию плотности вероятности некоторой переменной Y = g ( X ) . Это также называется «изменением переменной» и на практике используется для генерации случайной величины произвольной формы f g ( X ) = f Y с использованием известного (например, равномерного) генератора случайных чисел.

Заманчиво думать, что для того, чтобы найти ожидаемое значение E ( g ( X )), нужно сначала найти плотность вероятности f g ( X ) новой случайной величины Y = g ( X ) . Однако вместо вычислений

вместо этого можно найти

Значения двух интегралов одинаковы во всех случаях, когда и X, и g ( X ) фактически имеют функции плотности вероятности. Необязательно, чтобы функция g была взаимно однозначной . В некоторых случаях последний интеграл вычисляется намного проще, чем первый. См. Закон бессознательного статистика .

Скалярное в скалярное

Пусть - монотонная функция , тогда результирующая функция плотности будет

Здесь g −1 обозначает обратную функцию .

Это следует из того факта, что вероятность, содержащаяся в дифференциальной области, должна быть инвариантной относительно замены переменных. То есть,

или

Для функций, которые не являются монотонными, функция плотности вероятности для y равна

где n ( y ) - количество решений по x уравнения , а - эти решения.

Вектор в вектор

Предположим, что x - n -мерная случайная величина с совместной плотностью f . Если у = Н ( х ) , где Н представляет собой биективен , дифференцируемая функция , то у имеет плотность г :

с дифференциалом, рассматриваемым как якобиан обратного к H (), вычисляемого в y .

Например, в двумерном случае x  = ( x 1x 2 ) предположим, что преобразование H задано как y 1  = H 1 ( x 1x 2 ), y 2  = H 2 ( x 1x 2 ) с обратными x 1  = H 1 −1 ( y 1y 2 ), x 2  = H 2 −1 ( y 1y 2 ). Совместное распределение для y  = ( y 1 , y 2 ) имеет плотность

Вектор в скаляр

Позвольте быть дифференцируемой функцией и быть случайным вектором, принимающим значения , быть функцией плотности вероятности и быть дельта- функцией Дирака . Можно использовать приведенные выше формулы для определения функции плотности вероятности , которая будет определяться выражением

Этот результат приводит к закону бессознательного статистика :

Доказательство:

Позвольте быть свернутой случайной величиной с функцией плотности вероятности ( т. Е. Константой, равной нулю). Пусть случайный вектор и преобразование определены как

Ясно, что это биективное отображение, и якобиан отображения определяется по формуле :

которая является верхнетреугольной матрицей с единицами на главной диагонали, поэтому ее определитель равен 1. Применяя теорему о замене переменной из предыдущего раздела, получаем, что

что при маргинализации приводит к желаемой функции плотности вероятности.

Суммы независимых случайных величин

Функция плотности вероятности суммы двух независимых случайных величин U и V , каждая из которых имеет функцию плотности вероятности, представляет собой свертку их отдельных функций плотности:

Можно обобщить предыдущее соотношение на сумму N независимых случайных величин с плотностями U 1 ,…, U N :

Это может быть получено путем двусторонней замены переменных с участием Y = U + V и Z = V , аналогично приведенному ниже примеру для отношения независимых случайных величин.

Произведения и отношения независимых случайных величин

Учитывая две независимые случайные величины U и V , каждая из которых имеет функцию плотности вероятности, плотность продукта Y  =  UV и частного Y = U / V можно вычислить путем замены переменных.

Пример: частное распределение

Чтобы вычислить частное Y  =  U / V двух независимых случайных величин U и V , определите следующее преобразование:

Затем совместная плотность p ( y , z ) может быть вычислена путем замены переменных с U, V на Y, Z и Y может быть получена путем исключения Z из совместной плотности.

Обратное преобразование:

Матрица Якоби этого преобразования

Таким образом:

А распределение Y можно вычислить, исключив Z :

Этот метод критически требует, чтобы преобразование из U , V в Y , Z было биективным . Вышеупомянутое преобразование соответствует этому, потому что Z может быть отображено непосредственно обратно в V , и для данного V отношение U / V является монотонным . То же самое и для суммы U  +  V , разности U  -  V и произведения UV .

Точно такой же метод можно использовать для вычисления распределения других функций от нескольких независимых случайных величин.

Пример: частное двух стандартных нормалей

Учитывая две стандартные нормальные переменные U и V , частное можно вычислить следующим образом. Во-первых, переменные имеют следующие функции плотности:

Трансформируем как описано выше:

Это ведет к:

Это плотность стандартного распределения Коши .

Смотрите также

использованная литература

дальнейшее чтение

внешние ссылки