Центральная предельная теорема - Central limit theorem

В теории вероятностей , то центральные предельная теорема ( ЦПТ ) устанавливает , что во многих ситуациях, когда независимые случайные величины суммируются, их должным образом нормированная сумма стремится к нормальному распределению (неформально кривой колокол ) , даже если сами исходные переменные не являются нормально распределены. Теорема является ключевым понятием в теории вероятностей, потому что она подразумевает, что вероятностные и статистические методы, которые работают для нормальных распределений, могут быть применимы ко многим задачам, связанным с другими типами распределений. Эта теорема претерпела множество изменений за время формального развития теории вероятностей. Предыдущие версии теоремы датируются 1811 годом, но в своей современной общей форме этот фундаментальный результат теории вероятностей был точно сформулирован еще в 1920 году, тем самым служа мостом между классической и современной теорией вероятностей.

Если есть случайные выборки , взятые из популяции с общим средним и конечной дисперсией , и , если это выборочное среднее , то предельная форма распределения, , является стандартным нормальным распределением. ${\ textstyle X_ {1}, X_ {2}, \ dots, X_ {n}}$${\ textstyle n}$ ${\ textstyle \ mu}$ ${\ textstyle \ sigma ^ {2}}$${\ textstyle {\ bar {X}} _ {n}}$${\ textstyle Z = \ lim _ {n \ to \ infty} {\ sqrt {n}} {\ left ({\ frac {{\ bar {X}} _ {n} - \ mu} {\ sigma}} \Правильно)}}$

Например, предположим, что получена выборка, содержащая множество наблюдений , причем каждое наблюдение генерируется случайным образом таким образом, чтобы не зависеть от значений других наблюдений, и что вычисляется среднее арифметическое наблюдаемых значений. Если эта процедура выполняется много раз, центральная предельная теорема гласит, что распределение вероятностей среднего будет близко приближаться к нормальному распределению. Простым примером этого является то, что если кто- то подбрасывает монету много раз , вероятность получить заданное количество орлов будет приближаться к нормальному распределению со средним значением, равным половине общего количества подбрасываний. На пределе бесконечного числа флипов оно будет равно нормальному распределению.

Центральная предельная теорема имеет несколько вариантов. В своем обычном виде случайные величины должны быть одинаково распределены. В вариантах сходимость среднего к нормальному распределению также происходит для неидентичных распределений или для независимых наблюдений, если они соответствуют определенным условиям.

Самая ранняя версия этой теоремы, согласно которой нормальное распределение может использоваться как приближение к биномиальному распределению , - это теорема де Муавра – Лапласа .

Независимые последовательности

Распределение «сглаживается» суммированием , показывая исходную плотность распределения и три последующих суммирования; подробнее см. иллюстрацию к центральной предельной теореме .

Какой бы ни была форма распределения населения, выборочное распределение стремится к гауссову, а его дисперсия определяется центральной предельной теоремой.

Классический CLT

Пусть будет случайной выборкой размера, то есть последовательностью независимых и одинаково распределенных (iid) случайных величин, взятых из распределения ожидаемого значения, заданного как, и конечной дисперсии, заданной как . Предположим, нас интересует выборочное среднее${\ textstyle \ {X_ {1}, \ ldots, X_ {n} \}}$${\ textstyle n}$${\ textstyle \ mu}$${\ textstyle \ sigma ^ {2}}$

${\ displaystyle {\ bar {X}} _ {n} \ Equiv {\ frac {X_ {1} + \ cdots + X_ {n}} {n}}}$

этих случайных величин. По закону больших чисел выборочные средние почти наверняка сходятся (и, следовательно, также сходятся по вероятности ) к ожидаемому значению как . Классическая центральная предельная теорема описывает размер и форму распределения стохастических флуктуаций вокруг детерминированного числа во время этой сходимости. Точнее, это указывает , что , как становится больше, распределение разности между средней пробы и ее предела , когда умноженной на коэффициент ( то есть ) приближается к нормальному распределению со средним 0 и дисперсией . Для достаточно больших n распределение близко к нормальному распределению со средним значением и дисперсией . Полезность теоремы заключается в том, что распределение приближается к нормальному, независимо от формы распределения индивида . Формально теорему можно сформулировать следующим образом: ${\ textstyle \ mu}$${\ textstyle п \ к \ infty}$${\ textstyle \ mu}$${\ textstyle n}$${\ textstyle {\ bar {X}} _ {n}}$${\ textstyle \ mu}$${\ textstyle {\ sqrt {n}}}$ ${\ textstyle {\ sqrt {n}} ({\ bar {X}} _ {n} - \ mu)}$${\ textstyle \ sigma ^ {2}}$${\ textstyle {\ bar {X}} _ {n}}$${\ textstyle \ mu}$${\ textstyle \ sigma ^ {2} / n}$${\ textstyle {\ sqrt {n}} ({\ bar {X}} _ {n} - \ mu)}$${\ textstyle X_ {i}}$

Линдеберг – Леви CLT. Предположим , это последовательность iid случайных величин с и . Затем по мере приближения к бесконечности случайные величины сходятся по распределению к нормальному :${\ textstyle \ {X_ {1}, \ ldots, X_ {n} \}}$${\ textstyle \ mathbb {E} [X_ {i}] = \ mu}$${\ textstyle \ operatorname {Var} [X_ {i}] = \ sigma ^ {2} <\ infty}$${\ textstyle n}$${\ textstyle {\ sqrt {n}} ({\ bar {X}} _ {n} - \ mu)}$ ${\ textstyle {\ mathcal {N}} (0, \ sigma ^ {2})}$

${\ displaystyle {\ sqrt {n}} \ left ({\ bar {X}} _ {n} - \ mu \ right) \ \ xrightarrow {d} \ {\ mathcal {N}} \ left (0, \ сигма ^ {2} \ right).}$

В случае , сходимость в средствах распределения , что кумулятивные функции распределения по сходиться точечно к ВПРУ от распределения: для каждого вещественного числа ,${\ textstyle \ sigma> 0}$${\ textstyle {\ sqrt {n}} ({\ bar {X}} _ {n} - \ mu)}$${\ textstyle {\ mathcal {N}} (0, \ sigma ^ {2})}$${\ textstyle z}$

${\ displaystyle \ lim _ {n \ to \ infty} \ mathbb {P} \ left [{\ sqrt {n}} ({\ bar {X}} _ {n} - \ mu) \ leq z \ right] = \ lim _ {n \ to \ infty} \ mathbb {P} \ left [{\ frac {{\ sqrt {n}} ({\ bar {X}} _ {n} - \ mu)} {\ sigma }} \ leq {\ frac {z} {\ sigma}} \ right] = \ Phi \ left ({\ frac {z} {\ sigma}} \ right),}$

где - стандартный нормальный cdf, оцениваемый в . Сходимость равномерна в том смысле, что ${\ textstyle \ Phi (z)}$${\ textstyle z}$${\ textstyle z}$

${\ displaystyle \ lim _ {n \ to \ infty} \; \ sup _ {z \ in \ mathbb {R}} \; \ left | \ mathbb {P} \ left [{\ sqrt {n}} ({ \ bar {X}} _ {n} - \ mu) \ leq z \ right] - \ Phi \ left ({\ frac {z} {\ sigma}} \ right) \ right | = 0 ~,}$

где обозначает точную верхнюю грань (или супремум ) множества. ${\ textstyle \ sup}$

Ляпунов ЦЛТ

Теорема названа в честь русского математика Александра Ляпунова . В этом варианте центральной предельной теоремы случайные величины должны быть независимыми, но не обязательно одинаково распределенными. Теорема также требует , чтобы случайные величины имеют моменты некоторого порядка , и что темпы роста этих моментов ограничены условием Ляпунова , приведенное ниже. ${\ textstyle X_ {i}}$${\ textstyle \ left | X_ {i} \ right |}$${\ textstyle (2+ \ delta)}$

Ляпунов ЦЛТ. Предположим , это последовательность независимых случайных величин, каждая из которых имеет конечное ожидаемое значение и дисперсию . Определять ${\ textstyle \ {X_ {1}, \ ldots, X_ {n} \}}$${\ textstyle \ mu _ {я}}$${\ textstyle \ sigma _ {я} ^ {2}}$

${\ displaystyle s_ {n} ^ {2} = \ sum _ {i = 1} ^ {n} \ sigma _ {i} ^ {2}.}$

Если для некоторых , условие Ляпунова${\ textstyle \ delta> 0}$

${\ displaystyle \ lim _ {n \ to \ infty} \; {\ frac {1} {s_ {n} ^ {2+ \ delta}}} \, \ sum _ {i = 1} ^ {n} \ mathbb {E} \ left [\ left | X_ {i} - \ mu _ {i} \ right | ^ {2+ \ delta} \ right] = 0}$

выполняется, то сумма сходится по распределению к стандартной нормальной случайной величине, которая стремится к бесконечности: ${\ textstyle {\ frac {X_ {i} - \ mu _ {i}} {s_ {n}}}}$${\ textstyle n}$

${\ displaystyle {\ frac {1} {s_ {n}}} \, \ sum _ {i = 1} ^ {n} \ left (X_ {i} - \ mu _ {i} \ right) \ \ xrightarrow {d} \ {\ mathcal {N}} (0,1).}$

На практике обычно проще всего проверить условие Ляпунова .${\ textstyle \ delta = 1}$

Если последовательность случайных величин удовлетворяет условию Ляпунова, то она также удовлетворяет условию Линдеберга. Однако обратное утверждение неверно.

Lindeberg CLT

В тех же условиях и с теми же обозначениями, что и выше, условие Ляпунова можно заменить следующим, более слабым (из Линдеберга в 1920 г.).

Предположим, что для каждого ${\ textstyle \ varepsilon> 0}$

${\ displaystyle \ lim _ {n \ to \ infty} {\ frac {1} {s_ {n} ^ {2}}} \ sum _ {i = 1} ^ {n} \ mathbb {E} \ left [ (X_ {i} - \ mu _ {i}) ^ {2} \ cdot \ mathbf {1} _ {\ left \ {X_ {i}: \ left | X_ {i} - \ mu _ {i} \ right |> \ varepsilon s_ {n} \ right \}} \ right] = 0}$

где - индикаторная функция . Тогда распределение стандартизированных сумм ${\ textstyle \ mathbf {1} _ {\ {\ ldots \}}}$

${\ displaystyle {\ frac {1} {s_ {n}}} \ sum _ {i = 1} ^ {n} \ left (X_ {i} - \ mu _ {i} \ right)}$

сходится к стандартному нормальному распределению .${\ textstyle {\ mathcal {N}} (0,1)}$

Многомерный CLT

Доказательства, использующие характеристические функции, могут быть распространены на случаи, когда каждый индивидуум является случайным вектором в , со средним вектором и матрицей ковариации (среди компонентов вектора), и эти случайные векторы независимы и одинаково распределены. Суммирование этих векторов производится покомпонентно. Многомерная центральная предельная теорема утверждает, что при масштабировании суммы сходятся к многомерному нормальному распределению . ${\ textstyle \ mathbf {X} _ {я}}$${\ textstyle \ mathbb {R} ^ {k}}$${\ textstyle {\ boldsymbol {\ mu}} = \ mathbb {E} [\ mathbf {X} _ {i}]}$ ${\ textstyle \ mathbf {\ Sigma}}$

Позволять

${\ displaystyle \ mathbf {X} _ {i} = {\ begin {bmatrix} X_ {i (1)} \\\ vdots \\ X_ {i (k)} \ end {bmatrix}}}$

быть k -вектором. Жирный шрифт означает, что это случайный вектор, а не случайная (одномерная) переменная. Тогда сумма случайных векторов будет ${\ textstyle \ mathbf {X} _ {я}}$

${\ displaystyle {\ begin {bmatrix} X_ {1 (1)} \\\ vdots \\ X_ {1 (k)} \ end {bmatrix}} + {\ begin {bmatrix} X_ {2 (1)} \ \\ vdots \\ X_ {2 (k)} \ end {bmatrix}} + \ cdots + {\ begin {bmatrix} X_ {n (1)} \\\ vdots \\ X_ {n (k)} \ end {bmatrix}} = {\ begin {bmatrix} \ sum _ {i = 1} ^ {n} \ left [X_ {i (1)} \ right] \\\ vdots \\\ sum _ {i = 1} ^ {n} \ left [X_ {i (k)} \ right] \ end {bmatrix}} = \ sum _ {i = 1} ^ {n} \ mathbf {X} _ {i}}$

и в среднем

${\ displaystyle {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} \ mathbf {X} _ {i} = {\ frac {1} {n}} {\ begin {bmatrix } \ sum _ {i = 1} ^ {n} X_ {i (1)} \\\ vdots \\\ sum _ {i = 1} ^ {n} X_ {i (k)} \ end {bmatrix} } = {\ begin {bmatrix} {\ bar {X}} _ {i (1)} \\\ vdots \\ {\ bar {X}} _ {i (k)} \ end {bmatrix}} = \ mathbf {{\ bar {X}} _ {n}}}$

и поэтому

${\ displaystyle {\ frac {1} {\ sqrt {n}}} \ sum _ {i = 1} ^ {n} \ left [\ mathbf {X} _ {i} - \ mathbb {E} \ left ( X_ {i} \ right) \ right] = {\ frac {1} {\ sqrt {n}}} \ sum _ {i = 1} ^ {n} (\ mathbf {X} _ {i} - {\ boldsymbol {\ mu}}) = {\ sqrt {n}} \ left ({\ overline {\ mathbf {X}}} _ {n} - {\ boldsymbol {\ mu}} \ right) ~.}$

Многомерная центральная предельная теорема утверждает, что

${\ displaystyle {\ sqrt {n}} \ left ({\ overline {\ mathbf {X}}} _ {n} - {\ boldsymbol {\ mu}} \ right) \, \ xrightarrow {D} ​​\ {\ mathcal {N}} _ {k} (0, {\ boldsymbol {\ Sigma}})}$

где ковариационная матрица равна ${\ displaystyle {\ boldsymbol {\ Sigma}}}$

${\ displaystyle {\ boldsymbol {\ Sigma}} = {\ begin {bmatrix} {\ operatorname {Var} \ left (X_ {1 (1)} \ right)} & \ operatorname {Cov} \ left (X_ {1 (1)}, X_ {1 (2)} \ right) & \ operatorname {Cov} \ left (X_ {1 (1)}, X_ {1 (3)} \ right) & \ cdots & \ operatorname {Cov } \ left (X_ {1 (1)}, X_ {1 (k)} \ right) \\\ имя оператора {Cov} \ left (X_ {1 (2)}, X_ {1 (1)} \ right) & \ operatorname {Var} \ left (X_ {1 (2)} \ right) & \ operatorname {Cov} \ left (X_ {1 (2)}, X_ {1 (3)} \ right) & \ cdots & \ operatorname {Cov} \ left (X_ {1 (2)}, X_ {1 (k)} \ right) \\\ operatorname {Cov} \ left (X_ {1 (3)}, X_ {1 (1) } \ right) & \ operatorname {Cov} \ left (X_ {1 (3)}, X_ {1 (2)} \ right) & \ operatorname {Var} \ left (X_ {1 (3)} \ right) & \ cdots & \ operatorname {Cov} \ left (X_ {1 (3)}, X_ {1 (k)} \ right) \\\ vdots & \ vdots & \ vdots & \ ddots & \ vdots \\\ имя оператора {Cov} \ left (X_ {1 (k)}, X_ {1 (1)} \ right) & \ operatorname {Cov} \ left (X_ {1 (k)}, X_ {1 (2)} \ right ) & \ operatorname {Cov} \ left (X_ {1 (k)}, X_ {1 (3)} \ right) & \ cdots & \ operatorname {Var} \ left (X_ {1 (k)} \ right) \\\ конец {bmatrix}} ~.}$

Скорость сходимости определяется следующим результатом типа Берри – Эссеена :

Теорема. Пусть будут независимые -значные случайные векторы, каждый из которых имеет нулевое среднее значение. Пиши и считай обратимым. Пусть будет -мерный гауссовский с тем же средним и той же ковариационной матрицей, что и . Тогда для всех множеств выпуклых ,${\ Displaystyle X_ {1}, \ точки, X_ {n}}$${\ Displaystyle \ mathbb {R} ^ {d}}$${\ Displaystyle S = \ сумма _ {я = 1} ^ {п} X_ {я}}$${\ Displaystyle \ Sigma = \ OperatorName {Cov} [S]}$${\ Displaystyle Z \ sim {\ mathcal {N}} (0, \ Sigma)}$${\ displaystyle d}$${\ displaystyle S}$${\ Displaystyle U \ substeq \ mathbb {R} ^ {d}}$

${\ displaystyle \ left | \ mathbb {P} [S \ in U] - \ mathbb {P} [Z \ in U] \ right | \ leq C \, d ^ {1/4} \ gamma ~,}$

где универсальная постоянная, , и обозначает евклидову норму о .${\ displaystyle C}$${\ Displaystyle \ гамма = \ сумма _ {я = 1} ^ {п} \ mathbb {E} \ left [\ left \ | \ Sigma ^ {- 1/2} X_ {i} \ right \ | _ {2 } ^ {3} \ right]}$${\ Displaystyle \ | \ cdot \ | _ {2}}$${\ Displaystyle \ mathbb {R} ^ {d}}$

Неизвестно, нужен ли фактор . ${\ textstyle d ^ {1/4}}$

Обобщенная теорема

Центральная предельная теорема утверждает, что сумма ряда независимых и одинаково распределенных случайных величин с конечной дисперсией будет стремиться к нормальному распределению по мере роста числа переменных. Обобщение Гнеденко и Колмогорова утверждает, что сумма ряда случайных величин со степенным хвостом ( паретианским хвостом ) распределений, убывающими как где (и, следовательно, имеющими бесконечную дисперсию), будет стремиться к устойчивому распределению по мере роста числа слагаемых. . Если тогда сумма сходится к устойчивому распределению с параметром устойчивости, равному 2, то есть к распределению Гаусса. ${\ textstyle {| х |} ^ {- \ альфа -1}}$${\ textstyle 0 <\ альфа <2}$${\ textstyle f (х; \ альфа, 0, c, 0)}$${\ textstyle \ alpha> 2}$

Зависимые процессы

CLT при слабой зависимости

Полезным обобщением последовательности независимых одинаково распределенных случайных величин является перемешивание случайных величин в дискретное время; «смешивание» означает, грубо говоря, что случайные величины, удаленные друг от друга во времени, почти независимы. В эргодической теории и теории вероятностей используется несколько видов перемешивания. См особенно сильное перемешивание (также называемый α-перемешивания) , определенный в котором так называемый сильный коэффициент смешения . ${\ textstyle \ альфа (п) \ до 0}$${\ textstyle \ альфа (п)}$

Упрощенная формулировка центральной предельной теоремы при сильном перемешивании:

Теорема. Предположим, что это стационарный и -смешивающийся с и что и . Обозначим , тогда предел ${\ textstyle \ {X_ {1}, \ ldots, X_ {n} \}}$${\ displaystyle \ alpha}$${\ textstyle \ alpha _ {n} = O \ left (n ^ {- 5} \ right)}$${\ textstyle \ mathbb {E} [X_ {n}] = 0}$${\ textstyle \ mathbb {E} [{X_ {n}} ^ {12}] <\ infty}$${\ textstyle S_ {n} = X_ {1} + \ cdots + X_ {n}}$

${\ displaystyle \ sigma ^ {2} = \ lim _ {n} {\ frac {\ mathbb {E} \ left (S_ {n} ^ {2} \ right)} {n}}}$

существует, а если тогда сходится по распределению к .${\ textstyle \ sigma \ neq 0}$${\ textstyle {\ frac {S_ {n}} {\ sigma {\ sqrt {n}}}}}$${\ textstyle {\ mathcal {N}} (0,1)}$

По факту,

${\ Displaystyle \ sigma ^ {2} = \ mathbb {E} \ left (X_ {1} ^ {2} \ right) +2 \ sum _ {k = 1} ^ {\ infty} \ mathbb {E} \ влево (X_ {1} X_ {1 + k} \ right),}$

где ряд абсолютно сходится.

Предположение о том, не может быть опущено, так как асимптотическая нормальность не выполняется для где еще одна стационарной последовательности . ${\ textstyle \ sigma \ neq 0}$${\ textstyle X_ {n} = Y_ {n} -Y_ {n-1}}$${\ textstyle Y_ {n}}$

Существует более сильная версия теоремы: предположение заменяется на , а предположение заменяется на ${\ textstyle \ mathbb {E} \ left [{X_ {n}} ^ {12} \ right] <\ infty}$${\ textstyle \ mathbb {E} \ left [{\ left | X_ {n} \ right |} ^ {2+ \ delta} \ right] <\ infty}$${\ textstyle \ alpha _ {n} = O \ left (n ^ {- 5} \ right)}$

${\ displaystyle \ sum _ {n} \ alpha _ {n} ^ {\ frac {\ delta} {2 (2+ \ delta)}} <\ infty.}$

Наличие такового обеспечивает вывод. Для энциклопедической трактовки предельных теорем в условиях перемешивания см. ( Bradley 2007 ). ${\ textstyle \ delta> 0}$

Разница по мартингейлу CLT

Теорема . Пусть мартингал удовлетворяет ${\ textstyle M_ {n}}$

• ${\ displaystyle {\ frac {1} {n}} \ sum _ {k = 1} ^ {n} \ mathbb {E} \ left (\ left (M_ {k} -M_ {k-1} \ right) ^ {2} | M_ {1}, \ dots, M_ {k-1} \ right) \ to 1}$ по вероятности при n → ∞ ,
• для каждого е > 0 , а п → ∞ ,${\ displaystyle {\ frac {1} {n}} \ sum _ {k = 1} ^ {n} \ mathbb {E} \ left (\ left (M_ {k} -M_ {k-1} \ right) ^ {2}; | M_ {k} -M_ {k-1} |> \ varepsilon {\ sqrt {n}} \ right) \ to 0}$

затем сходится по распределению к as .${\ textstyle {\ frac {M_ {n}} {\ sqrt {n}}}}$${\ textstyle N (0,1)}$${\ textstyle п \ к \ infty}$

Внимание: ограниченное ожидание не следует путать с условным ожиданием .${\ textstyle \ mathbb {E} [X; A]}$${\ textstyle \ mathbb {E} [X \ mid A] = {\ frac {\ mathbb {E} [X; A]} {\ mathbb {P} (A)}}}$

Замечания

Доказательство классической CLT

Центральная предельная теорема имеет доказательство с использованием характеристических функций . Это похоже на доказательство (слабого) закона больших чисел .

Предположим, что это независимые и одинаково распределенные случайные величины, каждая из которых имеет среднее значение и конечную дисперсию . У суммы есть среднее значение и дисперсия . Рассмотрим случайную величину ${\ textstyle \ {X_ {1}, \ ldots, X_ {n} \}}$${\ textstyle \ mu}$${\ textstyle \ sigma ^ {2}}$${\ textstyle X_ {1} + \ cdots + X_ {n}}$ ${\ textstyle n \ mu}$ ${\ textstyle п \ сигма ^ {2}}$

${\ displaystyle Z_ {n} = {\ frac {X_ {1} + \ cdots + X_ {n} -n \ mu} {\ sqrt {n \ sigma ^ {2}}}} = \ sum _ {i = 1} ^ {n} {\ frac {X_ {i} - \ mu} {\ sqrt {n \ sigma ^ {2}}}} = \ sum _ {i = 1} ^ {n} {\ frac {1 } {\ sqrt {n}}} Y_ {i},}$

где на последнем шаге мы определили новые случайные величины , каждая с нулевым средним и единичной дисперсией ( ). Характеристическая функция от задается ${\ textstyle Y_ {i} = {\ frac {X_ {i} - \ mu} {\ sigma}}}$${\ textstyle \ OperatorName {var} (Y) = 1}$${\ textstyle Z_ {n}}$

${\ displaystyle \ varphi _ {Z_ {n}} \! (t) = \ varphi _ {\ sum _ {i = 1} ^ {n} {{\ frac {1} {\ sqrt {n}}} Y_ {i}}} \! (t) \ = \ \ varphi _ {Y_ {1}} \! \! \ left ({\ frac {t} {\ sqrt {n}}} \ right) \ varphi _ { Y_ {2}} \! \! \ Left ({\ frac {t} {\ sqrt {n}}} \ right) \ cdots \ varphi _ {Y_ {n}} \! \! \ Left ({\ frac {t} {\ sqrt {n}}} \ right) \ = \ \ left [\ varphi _ {Y_ {1}} \! \! \ left ({\ frac {t} {\ sqrt {n}}} \ right) \ right] ^ {n},}$

где на последнем шаге мы использовали тот факт, что все они одинаково распределены. Характеристическая функция есть, по теореме Тейлора , ${\ textstyle Y_ {i}}$${\ textstyle Y_ {1}}$

${\ displaystyle \ varphi _ {Y_ {1}} \! \ left ({\ frac {t} {\ sqrt {n}}} \ right) = 1 - {\ frac {t ^ {2}} {2n} } + o \! \ left ({\ frac {t ^ {2}} {n}} \ right), \ quad \ left ({\ frac {t} {\ sqrt {n}}} \ right) \ чтобы 0}$

где есть « немного о нотации » для некоторой функции , которая стремится к нулю быстрее . В пределе показательной функции ( ) характеристическая функция равна ${\ textstyle о (т ^ {2} / п)}$${\ textstyle t}$${\ textstyle т ^ {2} / п}$ ${\ textstyle e ^ {x} = \ lim _ {n \ to \ infty} \ left (1 + {\ frac {x} {n}} \ right) ^ {n}}$${\ displaystyle Z_ {n}}$

${\ displaystyle \ varphi _ {Z_ {n}} (t) = \ left (1 - {\ frac {t ^ {2}} {2n}} + o \ left ({\ frac {t ^ {2}}) {n}} \ right) \ right) ^ {n} \ rightarrow e ^ {- {\ frac {1} {2}} t ^ {2}}, \ quad n \ to \ infty.}$

В пределе исчезают все члены высшего порядка . Правая часть равна характеристической функции стандартного нормального распределения , из чего следует через теорему Леви о непрерывности, что распределение воли приближается как . Следовательно, выборочное среднее${\ textstyle п \ к \ infty}$${\ textstyle N (0,1)}$${\ textstyle Z_ {n}}$${\ textstyle N (0,1)}$${\ textstyle п \ к \ infty}$

${\ displaystyle {\ bar {X}} _ {n} = {\ frac {X_ {1} + \ cdots + X_ {n}} {n}}}$

таково, что

${\ displaystyle {\ frac {\ sqrt {n}} {\ sigma}} ({\ bar {X}} _ {n} - \ mu)}$

сходится к нормальному распределению , из которого следует центральная предельная теорема. ${\ textstyle N (0,1)}$

Сходимость до предела

Центральная предельная теорема дает только асимптотическое распределение . В качестве приближения для конечного числа наблюдений оно обеспечивает разумное приближение только тогда, когда оно близко к пику нормального распределения; требуется очень большое количество наблюдений, чтобы простираться до хвоста.

Сходимость в центральной предельной теореме равномерна, поскольку предельная кумулятивная функция распределения непрерывна. Если третий центральный момент существует и конечен, то скорость сходимости по крайней мере порядка (см. Теорему Берри – Эссеена ). Метод Стейна можно использовать не только для доказательства центральной предельной теоремы, но и для оценки скорости сходимости выбранных метрик. ${\ textstyle \ OperatorName {E} \ left [(X_ {1} - \ mu) ^ {3} \ right]}$${\ textstyle 1 / {\ sqrt {n}}}$

Сходимость к нормальному распределению монотонна, в том смысле , что энтропия в возрастает монотонно к тому из нормального распределения. ${\ textstyle Z_ {n}}$

Центральная предельная теорема применима, в частности, к суммам независимых и одинаково распределенных дискретных случайных величин . Сумма дискретных случайных величин по-прежнему является дискретной случайной величиной , так что мы сталкиваемся с последовательностью дискретных случайных величин, чья кумулятивная функция распределения вероятностей сходится к кумулятивной функции распределения вероятностей, соответствующей непрерывной переменной (а именно нормальному распределению ). . Это означает, что если мы построим гистограмму реализаций суммы n независимых идентичных дискретных переменных, кривая, соединяющая центры верхних граней прямоугольников, образующих гистограмму, сходится к гауссовой кривой, когда n приближается к бесконечности, это соотношение будет известна как теорема де Муавра – Лапласа . В статье о биномиальном распределении подробно описывается такое применение центральной предельной теоремы в простом случае дискретной переменной, принимающей только два возможных значения.

Связь с законом больших чисел

Закон больших чисел, а также центральная предельная теорема являются частичными решениями общей проблемы: «Каково предельное поведение S _n, когда n приближается к бесконечности?» В математическом анализе асимптотические ряды являются одним из самых популярных инструментов, используемых для решения таких вопросов.

Предположим, у нас есть асимптотическое разложение : ${\ textstyle f (n)}$

${\ displaystyle f (n) = a_ {1} \ varphi _ {1} (n) + a_ {2} \ varphi _ {2} (n) + O {\ big (} \ varphi _ {3} (n ) {\ big)} \ qquad (n \ to \ infty).}$

Разделив обе части по φ ₁ ( п ) и переходя к пределу будет производить ₁ , коэффициент термина высшего порядка в разложении, который представляет собой скорость , при которой е ( п ) изменяется в его переднем плане.

${\ displaystyle \ lim _ {n \ to \ infty} {\ frac {f (n)} {\ varphi _ {1} (n)}} = a_ {1}.}$

Неформально, можно сказать: « е ( п ) возрастает примерно как в ₁ φ ₁ ( п ) ». Взяв разницу между f ( n ) и ее приближением, а затем разделив на следующий член в разложении, мы приходим к более тонкому утверждению о f ( n ) :

${\ displaystyle \ lim _ {n \ to \ infty} {\ frac {f (n) -a_ {1} \ varphi _ {1} (n)} {\ varphi _ {2} (n)}} = a_ {2}.}$

Здесь можно сказать, что разница между функцией и ее приближением растет примерно как a ₂ φ ₂ ( n ) . Идея состоит в том, что разделение функции на соответствующие нормализующие функции и рассмотрение ограничивающего поведения результата может многое рассказать нам об ограничивающем поведении самой исходной функции.

Неформально нечто подобное происходит, когда сумма S _n независимых одинаково распределенных случайных величин X ₁ ,…, X _n изучается в классической теории вероятностей. Если каждое X _i имеет конечное среднее μ , то по закону больших чисел S _n/п→ μ . Если вдобавок каждое X _i имеет конечную дисперсию σ ² , то по центральной предельной теореме

${\ displaystyle {\ frac {S_ {n} -n \ mu} {\ sqrt {n}}} \ rightarrow \ xi,}$

где ξ распределяется как N (0, σ ² ) . Это обеспечивает значения первых двух констант в неформальном разложении

${\ displaystyle S_ {n} \ приблизительно \ mu n + \ xi {\ sqrt {n}}.}$

В случае, когда X _i не имеет конечного среднего или дисперсии, сходимость смещенной и масштабированной суммы также может происходить с различными коэффициентами центрирования и масштабирования:

${\ displaystyle {\ frac {S_ {n} -a_ {n}} {b_ {n}}} \ rightarrow \ Xi,}$

или неофициально

${\ Displaystyle S_ {n} \ приблизительно a_ {n} + \ Xi b_ {n}.}$

Распределения Ξ, которые могут возникать таким образом, называются стабильными . Ясно, что нормальное распределение является стабильным, но существуют и другие стабильные распределения, такие как распределение Коши , для которых не определены среднее значение или дисперсия. Коэффициент масштабирования b _n может быть пропорционален n ^c для любого c ≥1/2; она также может быть умножена на медленно меняющуюся функцию от п .

Закон повторного логарифма специфицирует , что происходит «между» в законе больших чисел и центральной предельной теоремы. В частности, в нем говорится, что нормализующая функция √ n log log n , промежуточная по размеру между n закона больших чисел и √ n центральной предельной теоремы, обеспечивает нетривиальное предельное поведение.

Альтернативные формулировки теоремы

Функции плотности

Плотности суммы двух или более независимых переменных является сверткой их плотностей (если существуют эти плотности). Таким образом, центральную предельную теорему можно интерпретировать как утверждение о свойствах функций плотности при свертке: свертка ряда функций плотности стремится к нормальной плотности по мере неограниченного увеличения числа функций плотности. Эти теоремы требуют более сильных гипотез, чем приведенные выше формы центральной предельной теоремы. Теоремы этого типа часто называют локальными предельными теоремами. См. У Петрова конкретную локальную предельную теорему для сумм независимых и одинаково распределенных случайных величин .

Характерные функции

Поскольку характеристическая функция свертки является произведением характеристических функций задействованных плотностей, центральная предельная теорема имеет еще одну формулировку: произведение характеристических функций ряда функций плотности становится близким к характеристической функции нормальной плотности при неограниченном увеличении числа функций плотности при указанных выше условиях. В частности, к аргументу характеристической функции должен применяться соответствующий коэффициент масштабирования.

Эквивалентное утверждение можно сделать о преобразованиях Фурье , поскольку характеристическая функция по существу является преобразованием Фурье.

Расчет дисперсии

Пусть S _n будет суммой n случайных величин. Многие центральные предельные теоремы предоставляют такие условия, что S _n / √ Var ( S _n ) сходится по распределению к N (0,1) (нормальное распределение со средним 0, дисперсией 1) при n → ∞ . В некоторых случаях можно найти константу σ ² и функцию f (n) такие, что S _n / (σ √ n⋅f ( n ) ) сходится по распределению к N (0,1) при n → ∞ .

Лемма. Пусть последовательность вещественных и строго стационарных случайных величин с для всех , , и . Построить ${\ Displaystyle X_ {1}, X_ {2}, \ точки}$${\ Displaystyle \ mathbb {E} (X_ {i}) = 0}$${\ displaystyle i}$ ${\ displaystyle g: [0,1] \ to \ mathbb {R}}$${\ displaystyle S_ {n} = \ sum _ {i = 1} ^ {n} g \ left ({\ tfrac {i} {n}} \ right) X_ {i}}$

${\ displaystyle \ sigma ^ {2} = \ mathbb {E} (X_ {1} ^ {2}) + 2 \ sum _ {i = 1} ^ {\ infty} \ mathbb {E} (X_ {1} X_ {1 + i})}$

1. Если абсолютно сходится , а потом что и где .${\ Displaystyle \ сумма _ {я = 1} ^ {\ infty} \ mathbb {E} (X_ {1} X_ {1 + i})}$${\ displaystyle \ left | \ int _ {0} ^ {1} g (x) g '(x) \, dx \ right | <\ infty}$${\ Displaystyle 0 <\ int _ {0} ^ {1} (г (х)) ^ {2} дх <\ infty}$${\ displaystyle \ mathrm {Var} (S_ {n}) / (n \ gamma _ {n}) \ to \ sigma ^ {2}}$${\ Displaystyle п \ к \ infty}$${\ displaystyle \ gamma _ {n} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} \ left (g \ left ({\ tfrac {i} {n}} \ вправо) \ вправо) ^ {2}}$
2. Если дополнительно и сходится в распределении к as, то также сходится в распределении к as .${\ displaystyle \ sigma> 0}$${\ Displaystyle S_ {п} / {\ sqrt {\ mathrm {Var} (S_ {п})}}}$${\ Displaystyle {\ mathcal {N}} (0,1)}$${\ Displaystyle п \ к \ infty}$${\ Displaystyle S_ {п} / (\ сигма {\ sqrt {п \ гамма _ {п}}})}$${\ Displaystyle {\ mathcal {N}} (0,1)}$${\ Displaystyle п \ к \ infty}$

Расширения

Произведения положительных случайных величин

Логарифм продукта просто сумма логарифмов сомножителей. Следовательно, когда логарифм произведения случайных величин, принимающих только положительные значения, приближается к нормальному распределению, сам продукт приближается к логарифмически нормальному распределению . Многие физические величины (особенно масса или длина, которые зависят от масштаба и не могут быть отрицательными) являются продуктами различных случайных факторов, поэтому они подчиняются логнормальному распределению. Эту мультипликативную версию центральной предельной теоремы иногда называют законом Гибрата .

В то время как центральная предельная теорема для сумм случайных величин требует условия конечной дисперсии, соответствующая теорема для произведений требует соответствующего условия, что функция плотности интегрируема с квадратом.

За пределами классических рамок

Асимптотическая нормальность, то есть сходимость к нормальному распределению после соответствующего сдвига и масштабирования, является явлением гораздо более общим, чем классическая структура, рассмотренная выше, а именно суммы независимых случайных величин (или векторов). Время от времени появляются новые рамки; единой объединяющей основы пока нет.

Выпуклое тело

Теорема. Существует последовательность ε _n ↓ 0, для которой выполняется следующее. Пусть n ≥ 1 , и пусть случайные величины X ₁ ,…, X _n имеют логарифмически вогнутую плотность соединений f такую, что f ( x ₁ ,…, x _n ) = f (| x ₁ |,…, | x _n | ) для всех x ₁ ,…, x _n и E ( X²
_к) = 1 для всех k = 1,…, n . Тогда распределение

${\ displaystyle {\ frac {X_ {1} + \ cdots + X_ {n}} {\ sqrt {n}}}}$

является ε _п -близкого к N (0,1) в общей вариации расстоянии .

Эти два ε _n -близких распределения имеют плотности (фактически, логарифмически вогнутые плотности), таким образом, общее расстояние дисперсии между ними является интегралом абсолютного значения разницы между плотностями. Сходимость в полной вариации сильнее слабой.

Важным примером логарифмической плотности является функция, постоянная внутри данного выпуклого тела и исчезающая снаружи; она соответствует равномерному распределению на выпуклом теле, что объясняет термин «центральная предельная теорема для выпуклых тел».

Другой пример: f ( x ₁ ,…, x _n ) = const · exp (- (| x ₁ | ^α + ⋯ + | x _n | ^α ) ^β ), где α > 1 и αβ > 1 . Если β = 1, то f ( x ₁ ,…, x _n ) факторизуется в const · exp (- | x ₁ | ^α )… exp (- | x _n | ^α ), что означает , что X ₁ ,…, X _n независимы. . Однако в целом они зависимы.

Условие f ( x ₁ ,…, x _n ) = f (| x ₁ |,…, | x _n |) гарантирует, что X ₁ ,…, X _n имеют нулевое среднее и некоррелированы ; тем не менее, они не обязательно должны быть независимыми или даже попарно независимыми . Кстати, попарная независимость не может заменить независимость в классической центральной предельной теореме.

Вот результат типа Берри – Эссеена .

Теорема. Пусть X ₁ ,…, X _n удовлетворяют условиям предыдущей теоремы, тогда

${\ displaystyle \ left | \ mathbb {P} \ left (a \ leq {\ frac {X_ {1} + \ cdots + X_ {n}} {\ sqrt {n}}} \ leq b \ right) - { \ frac {1} {\ sqrt {2 \ pi}}} \ int _ {a} ^ {b} e ^ {- {\ frac {1} {2}} t ^ {2}} \, dt \ right | \ leq {\ frac {C} {n}}}$

для всех a < b ; здесь C - универсальная (абсолютная) постоянная . Более того, для любых c ₁ ,…, c _n ∈ ℝ таких, что c²
₁+ ⋯ + c²
_п= 1 ,

${\ displaystyle \ left | \ mathbb {P} \ left (a \ leq c_ {1} X_ {1} + \ cdots + c_ {n} X_ {n} \ leq b \ right) - {\ frac {1} {\ sqrt {2 \ pi}}} \ int _ {a} ^ {b} e ^ {- {\ frac {1} {2}} t ^ {2}} \, dt \ right | \ leq C \ влево (c_ {1} ^ {4} + \ dots + c_ {n} ^ {4} \ right).}$

Распределение X ₁ + ⋯ + X _n/√ пне обязательно должен быть приблизительно нормальным (фактически, он может быть однородным). Однако распределение c ₁ X ₁ + ⋯ + c _n X _n близко к N (0,1) (по общему расстоянию вариации) для большинства векторов ( c ₁ ,…, c _n ) в соответствии с равномерным распределением на сфера c²
₁+… + C²
_п= 1 .

Лакунарный тригонометрический ряд

Теорема ( Салем - Зигмунд ): Пусть U - случайная величина, равномерно распределенная на (0,2π) , и X _k = r _k cos ( n _k U + a _k ) , где

• n _k удовлетворяют условию лакунарности: существует q > 1 такое, что n _{k + 1} ≥ qn _k для всех k ,
• r _k таковы, что

  ${\ displaystyle r_ {1} ^ {2} + r_ {2} ^ {2} + \ cdots = \ infty \ quad {\ text {and}} \ quad {\ frac {r_ {k} ^ {2}} {r_ {1} ^ {2} + \ cdots + r_ {k} ^ {2}}} \ to 0,}$

• 0 ≤ a _k <2π .

потом

${\ displaystyle {\ frac {X_ {1} + \ cdots + X_ {k}} {\ sqrt {r_ {1} ^ {2} + \ cdots + r_ {k} ^ {2}}}}}$

сходится по распределению к N (0,1/2) .

Гауссовы многогранники

Теорема. Пусть A ₁ ,…, A _n - независимые случайные точки на плоскости ℝ ^2, каждая из которых имеет двумерное стандартное нормальное распределение. Пусть K _n - выпуклая оболочка этих точек, а X _n - площадь K _n. Тогда

${\ displaystyle {\ frac {X_ {n} - \ mathbb {E} (X_ {n})} {\ sqrt {\ operatorname {Var} (X_ {n})}}}}$

сходится по распределению к N (0,1), когда n стремится к бесконечности.

То же самое верно и для всех измерений больше 2.

Многогранник К _п называется гауссовой случайной многогранник.

Аналогичный результат верен для числа вершин (многогранника Гаусса), числа ребер и фактически граней всех размерностей.

Линейные функции ортогональных матриц

Линейная функция матрицы M - это линейная комбинация ее элементов (с заданными коэффициентами), M ↦ tr ( AM ), где A - матрица коэффициентов; см. След (линейная алгебра) # Внутренний продукт .

Случайная ортогональная матрица называется равномерно распределенной, если ее распределение является нормированной мерой Хаара на ортогональной группе O ( n , ℝ ) ; см. Матрица вращения # Матрицы равномерного случайного вращения .

Теорема. Пусть M - случайная ортогональная матрица размера n × n, распределенная равномерно, а A - фиксированная матрица размера n × n, такая что tr ( AA *) = n , и пусть X = tr ( AM ) . Тогда распределение X близко к N (0,1) в метрике полной вариации с точностью до2 √ 3/п - 1.

Подпоследовательности

Теорема. Пусть случайные величины X ₁ , X ₂ ,… ∈ L ₂ (Ω) таковы, что X _n → 0 слабо в L ₂ (Ω) и X
_п→ 1 слабо в L ₁ (Ω) . Тогда существуют целые числа n ₁ < n ₂ <⋯ такие, что

${\ displaystyle {\ frac {X_ {n_ {1}} + \ cdots + X_ {n_ {k}}} {\ sqrt {k}}}}$

сходится по распределению к N (0,1), когда k стремится к бесконечности.

Случайное блуждание по кристаллической решетке

Центральная предельная теорема может быть установлена ​​для простого случайного блуждания по кристаллической решетке (бесконечный абелев накрывающий граф над конечным графом) и используется для проектирования кристаллических структур.

Приложения и примеры

Простой пример

Этот рисунок демонстрирует центральную предельную теорему. Средние выборки генерируются с использованием генератора случайных чисел, который извлекает числа от 0 до 100 из равномерного распределения вероятностей. Это показывает, что увеличение размера выборки приводит к тому, что 500 измеренных выборочных средних более близко распределяются относительно среднего по генеральной совокупности (в данном случае 50). Он также сравнивает наблюдаемые распределения с распределениями, которые можно было бы ожидать от нормализованного гауссовского распределения, и показывает значения хи-квадрат, которые количественно определяют качество подбора (подгонка хороша, если приведенное значение хи-квадрат меньше или приблизительно равно единице). Входными данными в нормализованную функцию Гаусса является среднее значение выборки (~ 50) и среднее стандартное отклонение выборки, деленное на квадратный корень из размера выборки (~ 28,87 / √ n ), которое называется стандартным отклонением среднего ( поскольку это относится к разбросу выборочных средств).

Простой пример центральной предельной теоремы - бросание множества одинаковых несмещенных игральных костей. Распределение суммы (или среднего) выпавших чисел будет хорошо аппроксимировано нормальным распределением. Поскольку реальные величины часто представляют собой сбалансированную сумму многих ненаблюдаемых случайных событий, центральная предельная теорема также дает частичное объяснение преобладания нормального распределения вероятностей. Это также оправдывает приближение статистики большой выборки к нормальному распределению в контролируемых экспериментах.

Сравнение функций плотности вероятности ** p ( k ) для суммы n справедливых 6-сторонних игральных костей, чтобы показать их сходимость к нормальному распределению с увеличением n в соответствии с центральной предельной теоремой. На нижнем правом графике сглаженные профили предыдущих графиков масштабируются, накладываются друг на друга и сравниваются с нормальным распределением (черная кривая).

Еще одно моделирование с использованием биномиального распределения. Были сгенерированы случайные 0 и 1, а затем рассчитаны их средние для размеров выборки от 1 до 512. Обратите внимание, что по мере увеличения размера выборки хвосты становятся тоньше, а распределение становится более концентрированным вокруг среднего.

Реальные приложения

Опубликованная литература содержит ряд полезных и интересных примеров и приложений, относящихся к центральной предельной теореме. Один источник приводит следующие примеры:

• Распределение вероятностей для общего расстояния, пройденного при случайном блуждании (смещенном или несмещенном), будет иметь тенденцию к нормальному распределению .
• Подбрасывание большого количества монет приведет к нормальному распределению общего количества решек (или, что эквивалентно, общего количества решек).

С другой точки зрения, центральная предельная теорема объясняет обычное появление «колоколообразной кривой» в оценках плотности, применяемых к реальным данным. В таких случаях, как электронный шум, экзаменационные оценки и т. Д., Мы часто можем рассматривать одно измеренное значение как средневзвешенное значение множества небольших эффектов. Затем, используя обобщения центральной предельной теоремы, мы можем увидеть, что это часто (хотя и не всегда) приводит к окончательному распределению, которое является приблизительно нормальным.

В общем, чем больше измерение похоже на сумму независимых переменных с равным влиянием на результат, тем больше нормальности оно демонстрирует. Это оправдывает обычное использование этого распределения для замены эффектов ненаблюдаемых переменных в таких моделях, как линейная модель .

Регресс

Регрессионный анализ и, в частности, обычный метод наименьших квадратов указывает, что зависимая переменная зависит в соответствии с некоторой функцией от одной или нескольких независимых переменных с дополнительным членом ошибки . Различные типы статистического вывода о регрессии предполагают, что член ошибки имеет нормальное распределение. Это предположение может быть оправдано, если предположить, что член ошибки на самом деле является суммой многих независимых членов ошибки; даже если отдельные члены ошибки не распределены нормально, по центральной предельной теореме их сумма может быть хорошо аппроксимирована нормальным распределением.

Другие иллюстрации

Учитывая его важность для статистики, доступен ряд статей и компьютерных пакетов, демонстрирующих сходимость, заложенную в центральной предельной теореме.

История

Голландский математик Хенк Теймс пишет:

Центральная предельная теорема имеет интересную историю. Первая версия этой теоремы была постулирована математиком французского происхождения Абрахамом де Муавром, который в замечательной статье, опубликованной в 1733 году, использовал нормальное распределение для аппроксимации распределения числа орлов в результате множества подбрасываний честной монеты. Это открытие намного опередило свое время и было почти забыто, пока знаменитый французский математик Пьер-Симон Лаплас не спас его из безвестности в своей монументальной работе « Аналитическая теория вероятностей» , которая была опубликована в 1812 году. Лаплас расширил открытие Де Муавра, аппроксимируя бином. распределение с нормальным распределением. Но, как и в случае с Де Муавром, открытие Лапласа не привлекло особого внимания в его время. Лишь в конце XIX века важность центральной предельной теоремы была осознана, когда в 1901 году русский математик Александр Ляпунов дал ей общие определения и точно доказал, как она работает математически. В настоящее время центральная предельная теорема считается неофициальным сувереном теории вероятностей.

Сэр Фрэнсис Гальтон описал центральную предельную теорему следующим образом:

Я не знаю ничего более впечатляющего в воображении, чем чудесная форма космического порядка, выраженная «Законом частоты ошибок». Закон был бы олицетворен греками и обожествлен, если бы они знали о нем. Он царит безмятежно и в полном самоуничижении среди самого дикого смятения. Чем больше толпа и чем больше очевидная анархия, тем совершеннее ее власть. Это высший закон безрассудства. Всякий раз, когда берется большая выборка хаотических элементов и выстраивается в порядке их величины, неожиданная и самая красивая форма регулярности оказывается скрытой все время.

Фактический термин «центральная предельная теорема» (по-немецки: «zentraler Grenzwertsatz») впервые был использован Джорджем Полей в 1920 году в названии статьи. Полиа назвал теорему «центральной» из-за ее важности в теории вероятностей. Согласно Ле Каму, французская школа вероятностей интерпретирует слово центральный в том смысле, что «оно описывает поведение центра распределения в противоположность его хвостам». Реферат статьи Полиа о центральной предельной теореме вероятностного исчисления и проблеме моментов в 1920 г. переводится следующим образом.

Появление гауссовой плотности вероятности 1 = e ^{- x 2} в повторяющихся экспериментах, в ошибках измерений, которые приводят к комбинации очень многих и очень маленьких элементарных ошибок, в процессах диффузии и т. Д., Можно объяснить, а также хорошо: известно по той же предельной теореме, которая играет центральную роль в исчислении вероятностей. Настоящего первооткрывателя этой предельной теоремы следует назвать Лапласом; вполне вероятно, что его строгое доказательство было впервые дано Чебыщефом, а его наиболее точную формулировку, насколько мне известно, можно найти в статье Ляпунова . ...

Полное изложение истории теоремы с подробным описанием основополагающей работы Лапласа, а также вкладов Коши , Бесселя и Пуассона предоставлено Халдом. Ганс Фишер приводит два исторических отчета, один из которых охватывает развитие от Лапласа до Коши, а второй - вклад фон Мизеса , Поли , Линдеберга , Леви и Крамера в 1920-е годы. Ле Кам описывает период около 1935 года. Бернштейн представляет историческую дискуссию, посвященную работе Пафнутия Чебышева и его учеников Андрея Маркова и Александра Ляпунова, которая привела к первым доказательствам CLT в общих условиях.

Любопытная сноска к истории центральной предельной теоремы является то , что доказательство результата аналогичны 1922 Линдеберг ЦПТА было предметом Алан Тьюринг «s 1934 стипендий Диссертации на Королевский колледж в Кембриджском университете . Только после отправки работы Тьюринг узнал, что она уже доказана. Следовательно, диссертация Тьюринга не была опубликована.

Смотрите также

• Асимптотическое свойство равнораспределения
• Асимптотическое распределение
• Распределение Бейтса
• Закон Бенфорда - результат расширения CLT до произведения случайных величин.
• Теорема Берри – Эссеена.
• Центральная предельная теорема для направленной статистики - Центральная предельная теорема применяется к случаю направленной статистики
• Дельта-метод - для вычисления предельного распределения функции случайной величины.
• Теорема Эрдеша – Каца - связывает количество простых делителей целого числа с нормальным распределением вероятностей.
• Теорема Фишера – Типпета – Гнеденко - предельная теорема для экстремальных значений (например, max { X _n })
• Распределение Ирвина – Холла
• Центральная предельная теорема цепи Маркова
• Нормальное распределение
• Теорема Твиди о сходимости - теорема, которую можно рассматривать как мост между центральной предельной теоремой и теоремой о сходимости Пуассона.

Примечания

использованная литература

• Барани, Имре ; Ву, Ван (2007). «Центральные предельные теоремы для гауссовских многогранников». Анналы вероятности . Институт математической статистики. 35 (4): 1593–1621. arXiv : математика / 0610192 . DOI : 10.1214 / 009117906000000791 . S2CID  9128253 .
• Бауэр, Хайнц (2001). Теория меры и интеграции . Берлин: де Грюйтер. ISBN 3110167190.
• Биллингсли, Патрик (1995). Вероятность и мера (3-е изд.). Джон Вили и сыновья. ISBN 0-471-00710-2.
• Брэдли, Ричард (2007). Введение в условия сильного перемешивания (1-е изд.). Хибер-Сити, Юта: Кендрик Пресс. ISBN 978-0-9740427-9-4.
• Брэдли, Ричард (2005). «Основные свойства условий сильного перемешивания. Обзор и некоторые открытые вопросы». Обзоры вероятностей . 2 : 107–144. arXiv : math / 0511078 . Bibcode : 2005math ..... 11078B . DOI : 10.1214 / 154957805100000104 . S2CID  8395267 .
• Динов, Иво; Кристу, Николас; Санчес, Хуана (2008). «Центральная предельная теорема: новый апплет SOCR и демонстрационная деятельность» . Журнал статистики образования . КАК. 16 (2): 1–15. DOI : 10.1080 / 10691898.2008.11889560 . PMC  3152447 . PMID  21833159 .
• Дарретт, Ричард (2004). Вероятность: теория и примеры (3-е изд.). Издательство Кембриджского университета. ISBN 0521765390.
• Гапошкин, В. Ф. (1966). «Лакунарные ряды и независимые функции». Российские математические обзоры . 21 (6): 1–82. Bibcode : 1966RuMaS..21 .... 1G . DOI : 10.1070 / RM1966v021n06ABEH001196 ..
• Клартаг, Боаз (2007). «Центральная предельная теорема для выпуклых множеств». Inventiones Mathematicae . 168 (1): 91–131. arXiv : math / 0605014 . Bibcode : 2007InMat.168 ... 91K . DOI : 10.1007 / s00222-006-0028-8 . S2CID  119169773 .
• Клартаг, Боаз (2008). «Неравенство типа Берри – Эссеена для выпуклых тел с безусловным базисом». Теория вероятностей и смежные области . 145 (1–2): 1–33. arXiv : 0705.0832 . DOI : 10.1007 / s00440-008-0158-6 . S2CID  10163322 .

внешние ссылки

• Центральная предельная теорема в Академии Хана
• "Центральная предельная теорема" , Математическая энциклопедия , EMS Press , 2001 [1994]
• Вайсштейн, Эрик В. "Центральная предельная теорема" . MathWorld .