Бета-биномиальное распределение - Beta-binomial distribution

Вероятностная функция масс
Кумулятивная функция распределения
Параметры	n ∈ N 0 - количество испытаний ( реальных ) ( реальных ) ${\ displaystyle \ alpha> 0}$ ${\ displaystyle \ beta> 0}$
Служба поддержки	k ∈ {0,…, n  }
PMF	${\ displaystyle {\ binom {n} {k}} {\ frac {\ mathrm {B} (k + \ alpha, n-k + \ beta)} {\ mathrm {B} (\ alpha, \ beta)}} \ !}$
CDF	${\ displaystyle {\ begin {cases} 0, & k <0 \\ {\ binom {n} {k}} {\ tfrac {\ mathrm {B} (k + \ alpha, n-k + \ beta)} {\ mathrm {B} (\ alpha, \ beta)}} {} _ {3} \! F_ {2} ({\ boldsymbol {a}}; {\ boldsymbol {b}}; 1), & 0 \ leq k <n \\ 1, & k \ geq n \ end {case}}}$ где 3 F 2 ( a ; b ; x) - обобщенная гипергеометрическая функция ${\ displaystyle {} _ {3} \! F_ {2} (1, -k, n \! - \! k \! + \! \ beta; n \! - \! k \! - \! 1, 1 \! - \! K \! - \! \ Alpha; 1) \!}$
Иметь в виду	${\ Displaystyle {\ гидроразрыва {п \ альфа} {\ альфа + \ бета}} \!}$
Дисперсия	${\ Displaystyle {\ гидроразрыва {п \ альфа \ бета (\ альфа + \ бета + п)} {(\ альфа + \ бета) ^ {2} (\ альфа + \ бета +1)}} \!}$
Асимметрия	${\ Displaystyle {\ tfrac {(\ альфа + \ бета + 2n) (\ бета - \ альфа)} {(\ альфа + \ бета +2)}} {\ sqrt {\ tfrac {1+ \ альфа + \ бета } {п \ альфа \ бета (п + \ альфа + \ бета)}}} \!}$
Бывший. эксцесс	См. Текст
MGF	${\ Displaystyle _ {2} F_ {1} (- п, \ альфа; \ альфа + \ бета; 1-е ^ {т}) \!}$где - гипергеометрическая функция${\ displaystyle _ {2} F_ {1}}$
CF	${\ displaystyle _ {2} F_ {1} (- n, \ alpha; \ alpha + \ beta; 1-e ^ {it}) \!}$
PGF	${\ Displaystyle _ {2} F_ {1} (- п, \ альфа; \ альфа + \ бета; 1-z) \!}$

В теории вероятностей и статистике , то бета-биномиальное распределение представляет собой семейство дискретных вероятностных распределений на конечные поддержки неотрицательных целых чисел , возникающих , когда вероятность успеха в каждом из фиксированных или известного числа испытаний Бернулли либо неизвестна , либо случайным образом . Бета-биномиальное распределение - это биномиальное распределение, в котором вероятность успеха в каждом из n испытаний не фиксируется, а выбирается случайным образом из бета-распределения . Он часто используется в байесовской статистике , эмпирических байесовских методах и классической статистике для выявления избыточной дисперсии в распределенных данных биномиального типа.

В случае, когда n  = 1, оно сводится к распределению Бернулли, где вероятность p задается бета-распределением . При α  =  β  = 1 это дискретное равномерное распределение от 0 до  n . Он также произвольно хорошо аппроксимирует биномиальное распределение для больших значений α и  β . Точно так же оно содержит отрицательное биномиальное распределение в пределе больших β и n . Бета-биномиальный является одномерной версией Дирихле- полиномиального распределения , как биномиальные и бета - распределения являются одномерными версиями мультиномиальных и распределений Дирихля соответственно.

Частный случай, когда α и β - целые числа, также известен как отрицательное гипергеометрическое распределение .

Мотивация и вывод

Как составное распределение

Бета распределение является сопряженным распределение в биномиальное распределение . Этот факт приводит к аналитически поддающемуся анализу составному распределению, при котором можно думать о параметре в биномиальном распределении, как о случайно взятом из бета-распределения. А именно, если ${\ displaystyle p}$

${\ displaystyle X \ sim \ operatorname {Bin} (n, p)}$

тогда

${\ Displaystyle Р (Икс = к \ середина п, п) = L (п \ середина к) = {п \ выбрать к} р ^ {к} (1-р) ^ {nk}}$

где Bin ( n , p ) обозначает биномиальное распределение , а p - случайная величина с бета-распределением .

${\ Displaystyle {\ begin {align} \ pi (p \ mid \ alpha, \ beta) & = \ mathrm {Beta} (\ alpha, \ beta) \\ [5pt] & = {\ frac {p ^ {\ альфа -1} (1-p) ^ {\ beta -1}} {\ mathrm {B} (\ alpha, \ beta)}} \ quad {\ text {for}} 0 \ leq p \ leq 1, \ конец {выровнен}}}$

тогда составное распределение дается выражением

${\ Displaystyle {\ begin {align} е (к \ середина п, \ альфа, \ бета) & = \ int _ {0} ^ {1} L (п \ середина к) \ пи (р \ середина \ альфа, \ beta) \, dp \\ [6pt] & = {n \ choose k} {\ frac {1} {\ mathrm {B} (\ alpha, \ beta)}} \ int _ {0} ^ {1} p ^ {k + \ alpha -1} (1-p) ^ {n-k + \ beta -1} \, dp \\ [6pt] & = {n \ choose k} {\ frac {\ mathrm {B} ( k + \ alpha, n-k + \ beta)} {\ mathrm {B} (\ alpha, \ beta)}}. \ end {выравнивается}}}$

Используя свойства бета-функции , это можно альтернативно записать

${\ Displaystyle е (к \ середина п, \ альфа, \ бета) = {\ гидроразрыва {\ Гамма (п + 1)} {\ Гамма (к + 1) \ Гамма (п-к + 1)}} {\ frac {\ Gamma (k + \ alpha) \ Gamma (n-k + \ beta)} {\ Gamma (n + \ alpha + \ beta)}} {\ frac {\ Gamma (\ alpha + \ beta)} {\ Gamma ( \ alpha) \ Gamma (\ beta)}}.}$

Бета-бином как модель урны

Бета-биномиальное распределение также может быть мотивировано моделью урны для положительных целочисленных значений α и β , известной как модель урны Полиа . В частности, представьте урну, содержащую α красных шаров и β черных шаров, в которой выполняются случайные розыгрыши. Если наблюдается красный шар, то в урну возвращаются два красных шара. Аналогичным образом, если выпадает черный шар, в урну возвращаются два черных шара. Если это повторить n раз, то вероятность наблюдения k красных шаров следует бета-биномиальному распределению с параметрами n , α и  β .

Если случайные розыгрыши выполняются с простой заменой (в урну не добавляются шары, превышающие наблюдаемый шар), то распределение следует биномиальному распределению, а если случайные розыгрыши выполняются без замены, распределение следует гипергеометрическому распределению .

Моменты и свойства

Первые три сырые моменты являются

${\ displaystyle {\ begin {align} \ mu _ {1} & = {\ frac {n \ alpha} {\ alpha + \ beta}} \\ [8pt] \ mu _ {2} & = {\ frac { n \ alpha [n (1+ \ alpha) + \ beta]} {(\ alpha + \ beta) (1+ \ alpha + \ beta)}} \\ [8pt] \ mu _ {3} & = {\ гидроразрыв {n \ alpha [n ^ {2} (1+ \ alpha) (2+ \ alpha) + 3n (1+ \ alpha) \ beta + \ beta (\ beta - \ alpha)]} {(\ alpha + \ бета) (1+ \ альфа + \ бета) (2+ \ альфа + \ бета)}} \ конец {выровнено}}}$

и эксцесса является

${\ Displaystyle \ бета _ {2} = {\ гидроразрыва {(\ альфа + \ бета) ^ {2} (1+ \ альфа + \ бета)} {п \ альфа \ бета (\ альфа + \ бета +2) (\ alpha + \ beta +3) (\ alpha + \ beta + n)}} \ left [(\ alpha + \ beta) (\ alpha + \ beta -1 + 6n) +3 \ alpha \ beta (n- 2) + 6n ^ {2} - {\ frac {3 \ alpha \ beta n (6-n)} {\ alpha + \ beta}} - {\ frac {18 \ alpha \ beta n ^ {2}} { (\ alpha + \ beta) ^ {2}}} \ right].}$

Позволить мы отмечаем, намекая, что среднее можно записать в виде ${\ displaystyle \ pi = {\ frac {\ alpha} {\ alpha + \ beta}} \!}$

${\ Displaystyle \ му = {\ гидроразрыва {п \ альфа} {\ альфа + \ бета}} = п \ пи \!}$

и дисперсия как

${\ Displaystyle \ сигма ^ {2} = {\ гидроразрыва {п \ альфа \ бета (\ альфа + \ бета + п)} {(\ альфа + \ бета) ^ {2} (\ альфа + \ бета +1) }} = n \ pi (1- \ pi) {\ frac {\ alpha + \ beta + n} {\ alpha + \ beta +1}} = n \ pi (1- \ pi) [1+ (n- 1) \ rho] \!}$

где . Этот параметр известен как «внутриклассовая» или «внутрикластерная» корреляция. Именно эта положительная корреляция приводит к чрезмерной дисперсии. ${\ displaystyle \ rho = {\ tfrac {1} {\ alpha + \ beta +1}} \!}$${\ displaystyle \ rho \!}$

Точечные оценки

Метод моментов

Метод моментов оценок можно получить, отметив , первый и второй моменты бета-биномиального , а именно

${\ displaystyle {\ begin {align} \ mu _ {1} & = {\ frac {n \ alpha} {\ alpha + \ beta}} \\ [6pt] \ mu _ {2} & = {\ frac { п \ альфа [п (1+ \ альфа) + \ бета]} {(\ альфа + \ бета) (1+ \ альфа + \ бета)}} \ конец {выровнено}}}$

и установив эти необработанные моменты равными первому и второму необработанным моментам выборки соответственно

${\ displaystyle {\ begin {align} {\ widehat {\ mu}} _ {1} &: = m_ {1} = {\ frac {1} {N}} \ sum _ {i = 1} ^ {N } X_ {i} \\ [6pt] {\ widehat {\ mu}} _ {2} &: = m_ {2} = {\ frac {1} {N}} \ sum _ {i = 1} ^ { N} X_ {i} ^ {2} \ end {выровнено}}}$

и решая относительно α и β, получаем

${\ displaystyle {\ begin {align} {\ widehat {\ alpha}} & = {\ frac {nm_ {1} -m_ {2}} {n ({\ frac {m_ {2}} {m_ {1}) }} - m_ {1} -1) + m_ {1}}} \\ [5pt] {\ widehat {\ beta}} & = {\ frac {(n-m_ {1}) (n - {\ frac {m_ {2}} {m_ {1}}})} {n ({\ frac {m_ {2}} {m_ {1}}} - m_ {1} -1) + m_ {1}}}. \ конец {выровнено}}}$

Эти оценки могут быть бессмысленными отрицательными, что свидетельствует о том, что данные либо не диспергированы, либо недостаточно диспергированы относительно биномиального распределения. В этом случае альтернативными кандидатами являются биномиальное и гипергеометрическое распределение соответственно.

Оценка максимального правдоподобия

Хотя оценки максимального правдоподобия в закрытой форме непрактичны, учитывая, что PDF-файл состоит из общих функций (гамма-функция и / или бета-функции), их можно легко найти с помощью прямой численной оптимизации. Оценки максимального правдоподобия на основе эмпирических данных могут быть вычислены с использованием общих методов аппроксимации полиномиальных распределений Полиа, методы для которых описаны в (Minka 2003). Пакет R VGAM с помощью функции vglm с помощью функции максимального правдоподобия облегчает подгонку моделей типа glm с ответами, распределенными согласно бета-биномиальному распределению. Не требуется, чтобы n было фиксированным на протяжении всех наблюдений.

Пример

Следующие данные показывают количество детей мужского пола среди первых 12 детей в семье размером 13 в 6115 семей, взятых из больничных записей в Саксонии XIX века (Sokal and Rohlf, стр. 59 из Lindsey). 13-й ребенок игнорируется, чтобы смягчить эффект неслучайной остановки семей при достижении желаемого пола.

Самцы	0	1	2	3	4	5	6	7	8	9	10	11	12
Семьи	3	24	104	286	670	1033	1343	1112	829	478	181	45	7

Первые два примерных момента:

${\ displaystyle {\ begin {align} m_ {1} & = 6.23 \ m_ {2} & = 42.31 \\ n & = 12 \ end {align}}}$

и поэтому метод оценок моментов

${\ displaystyle {\ begin {align} {\ widehat {\ alpha}} & = 34.1350 \\ {\ widehat {\ beta}} & = 31.6085. \ end {align}}}$

В максимальной вероятностные оценки могут быть найдены численно

${\ displaystyle {\ begin {align} {\ widehat {\ alpha}} _ {\ mathrm {mle}} & = 34.09558 \\ {\ widehat {\ beta}} _ {\ mathrm {mle}} & = 31.5715 \ конец {выровнен}}}$

а максимальное логарифмическое правдоподобие равно

${\ displaystyle \ log {\ mathcal {L}} = - 12492,9}$

из которого находим AIC

${\ displaystyle {\ mathit {AIC}} = 24989,74.}$

AIC для конкурирующей биномиальной модели составляет AIC = 25070,34, и, таким образом, мы видим, что бета-биномиальная модель обеспечивает лучшее соответствие данным, т.е. есть свидетельства чрезмерной дисперсии. Трайверс и Уиллард теоретически обосновывают неоднородность (также известную как « взрывоопасность ») гендерной предрасположенности потомства млекопитающих (то есть чрезмерной дисперсии).

Превосходная посадка особенно заметна среди хвостов.

Самцы	0	1	2	3	4	5	6	7	8	9	10	11	12
Наблюдаемые семьи	3	24	104	286	670	1033	1343	1112	829	478	181	45	7
Соответствующее ожидаемое (бета-биномиальное)	2.3	22,6	104,8	310,9	655,7	1036,2	1257,9	1182,1	853,6	461,9	177,9	43,8	5.2
Подгоняемое ожидаемое (биномиальное p = 0,519215)	0,9	12.1	71,8	258,5	628,1	1085,2	1367,3	1265,6	854,2	410,0	132,8	26,1	2.3

Дальнейшие байесовские соображения

Распределения удобно повторно параметризовать так, чтобы ожидаемое среднее априорное значение было единственным параметром: Пусть

${\ displaystyle {\ begin {align} \ pi (\ theta \ mid \ mu, M) & = \ operatorname {Beta} (M \ mu, M (1- \ mu)) \\ [6pt] & = {\ frac {\ Gamma (M)} {\ Gamma (M \ mu) \ Gamma (M (1- \ mu))}} \ theta ^ {M \ mu -1} (1- \ theta) ^ {M (1 - \ mu) -1} \ end {выровнено}}}$

куда

${\ displaystyle {\ begin {align} \ mu & = {\ frac {\ alpha} {\ alpha + \ beta}} \\ [6pt] M & = \ alpha + \ beta \ end {align}}}$

так что

${\ Displaystyle {\ begin {выровнено} \ OperatorName {E} (\ theta \ mid \ mu, M) & = \ mu \\ [6pt] \ operatorname {Var} (\ theta \ mid \ mu, M) & = {\ frac {\ mu (1- \ mu)} {M + 1}}. \ end {align}}}$

Апостериорное распределение ρ ( & thetas ;  |  к ) также бета - распределения:

${\ Displaystyle {\ begin {align} \ rho (\ theta \ mid k) & \ propto \ ell (k \ mid \ theta) \ pi (\ theta \ mid \ mu, M) \\ [6pt] & = \ имя оператора {Бета} (k + M \ mu, n-k + M (1- \ mu)) \\ [6pt] & = {\ frac {\ Gamma (M)} {\ Gamma (M \ mu) \ Gamma (M (1- \ mu))}} {n \ choose k} \ theta ^ {k + M \ mu -1} (1- \ theta) ^ {n-k + M (1- \ mu) -1 } \ конец {выровнено}}}$

А также

${\ displaystyle \ operatorname {E} (\ theta \ mid k) = {\ frac {k + M \ mu} {n + M}}.}$

в то время как маргинальное распределение m ( k | μ , M ) задается формулой

${\ Displaystyle {\ begin {выровнен} м (к \ мид \ му, М) & = \ int _ {0} ^ {1} \ ell (к \ мид \ тета) \ пи (\ тета \ мид \ му, M) \, d \ theta \\ [6pt] & = {\ frac {\ Gamma (M)} {\ Gamma (M \ mu) \ Gamma (M (1- \ mu))}} {n \ выберите k } \ int _ {0} ^ {1} \ theta ^ {k + M \ mu -1} (1- \ theta) ^ {n-k + M (1- \ mu) -1} \, d \ theta \\ [6pt] & = {\ frac {\ Gamma (M)} {\ Gamma (M \ mu) \ Gamma (M (1- \ mu))}} {n \ select k} {\ frac {\ Gamma (k + M \ mu) \ Gamma (n-k + M (1- \ mu))} {\ Gamma (n + M)}}. \ end {выравнивается}}}$

Подставляя обратно M и μ, через и получается: ${\ displaystyle \ alpha}$${\ displaystyle \ beta}$

${\ Displaystyle м (к \ середина \ альфа, \ бета) = {\ гидроразрыва {\ Гамма (п + 1)} {\ Гамма (к + 1) \ Гамма (п-к + 1)}} {\ гидроразрыва { \ Gamma (k + \ alpha) \ Gamma (n-k + \ beta)} {\ Gamma (n + \ alpha + \ beta)}} {\ frac {\ Gamma (\ alpha + \ beta)} {\ Gamma (\ alpha ) \ Gamma (\ beta)}}.}$

которое является ожидаемым бета-биномиальным распределением с параметрами и . ${\ displaystyle n, \ alpha}$${\ displaystyle \ beta}$

Мы также можем использовать метод повторных ожиданий, чтобы найти ожидаемое значение предельных моментов. Запишем нашу модель в виде двухэтапной модели составной выборки. Пусть k _i будет количеством успешных попыток из n _i для события i :

${\ displaystyle {\ begin {align} k_ {i} & \ sim \ operatorname {Bin} (n_ {i}, \ theta _ {i}) \\ [6pt] \ theta _ {i} & \ sim \ operatorname {Бета} (\ mu, M), \ \ mathrm {iid} \ end {выровнены}}}$

Мы можем найти повторные оценки моментов для среднего и дисперсии, используя моменты для распределений в двухступенчатой ​​модели:

${\ displaystyle \ operatorname {E} \ left ({\ frac {k} {n}} \ right) = \ operatorname {E} \ left [\ operatorname {E} \ left (\ left. {\ frac {k} {n}} \ right | \ theta \ right) \ right] = \ operatorname {E} (\ theta) = \ mu}$

${\ displaystyle {\ begin {align} \ operatorname {var} \ left ({\ frac {k} {n}} \ right) & = \ operatorname {E} \ left [\ operatorname {var} \ left (\ left . {\ frac {k} {n}} \ right | \ theta \ right) \ right] + \ operatorname {var} \ left [\ operatorname {E} \ left (\ left. {\ frac {k} {n }} \ right | \ theta \ right) \ right] \\ [6pt] & = \ operatorname {E} \ left [\ left (\ left. {\ frac {1} {n}} \ right) \ theta ( 1- \ theta) \ right | \ mu, M \ right] + \ operatorname {var} \ left (\ theta \ mid \ mu, M \ right) \\ [6pt] & = {\ frac {1} {n }} \ left (\ mu (1- \ mu) \ right) + {\ frac {n-1} {n}} {\ frac {(\ mu (1- \ mu))} {M + 1}} \\ [6pt] & = {\ frac {\ mu (1- \ mu)} {n}} \ left (1 + {\ frac {n-1} {M + 1}} \ right). \ End { выровнено}}}$

(Здесь мы использовали закон полного ожидания и закон полной дисперсии .)

Нам нужны точечные оценки для и . Расчетное среднее значение рассчитывается по выборке. ${\ displaystyle \ mu}$${\ displaystyle M}$${\ displaystyle {\ widehat {\ mu}}}$

${\ displaystyle {\ widehat {\ mu}} = {\ frac {\ sum _ {i = 1} ^ {N} k_ {i}} {\ sum _ {i = 1} ^ {N} n_ {i} }}.}$

Оценка гиперпараметра M получается с использованием моментных оценок дисперсии двухэтапной модели:

${\ displaystyle s ^ {2} = {\ frac {1} {N}} \ sum _ {i = 1} ^ {N} \ operatorname {var} \ left ({\ frac {k_ {i}} {n_ {i}}} \ right) = {\ frac {1} {N}} \ sum _ {i = 1} ^ {N} {\ frac {{\ widehat {\ mu}} (1 - {\ widehat { \ mu}})} {n_ {i}}} \ left [1 + {\ frac {n_ {i} -1} {{\ widehat {M}} + 1}} \ right]}$

Решение:

${\ displaystyle {\ widehat {M}} = {\ frac {{\ widehat {\ mu}} (1 - {\ widehat {\ mu}}) - s ^ {2}} {s ^ {2} - { \ frac {{\ widehat {\ mu}} (1 - {\ widehat {\ mu}})} {N}} \ sum _ {i = 1} ^ {N} 1 / n_ {i}}},}$

куда

${\ displaystyle s ^ {2} = {\ frac {N \ sum _ {i = 1} ^ {N} n_ {i} ({\ widehat {\ theta _ {i}}} - {\ widehat {\ mu }}) ^ {2}} {(N-1) \ sum _ {i = 1} ^ {N} n_ {i}}}.}.}$

Поскольку теперь у нас есть точечные оценки параметров, и для основного распределения мы хотели бы найти точечную оценку вероятности успеха для события i . Это средневзвешенная оценка события и . Учитывая наши точечные оценки для предыдущего, мы можем теперь подставить эти значения, чтобы найти точечную оценку для апостериорного ${\ displaystyle {\ widehat {\ mu}}}$${\ displaystyle {\ widehat {M}}}$${\ Displaystyle {\ тильда {\ theta}} _ {я}}$${\ displaystyle {\ widehat {\ theta _ {i}}} = k_ {i} / n_ {i}}$${\ displaystyle {\ widehat {\ mu}}}$

${\ displaystyle {\ tilde {\ theta _ {i}}} = \ operatorname {E} (\ theta \ mid k_ {i}) = {\ frac {k_ {i} + {\ widehat {M}} {\ widehat {\ mu}}} {n_ {i} + {\ widehat {M}}}} = {\ frac {\ widehat {M}} {n_ {i} + {\ widehat {M}}}} {\ widehat {\ mu}} + {\ frac {n_ {i}} {n_ {i} + {\ widehat {M}}}} {\ frac {k_ {i}} {n_ {i}}}.}.}$

Факторы усадки

Мы можем записать апостериорную оценку как средневзвешенную:

${\ displaystyle {\ tilde {\ theta}} _ {i} = {\ widehat {B}} _ {i} \, {\ widehat {\ mu}} + (1 - {\ widehat {B}} _ { i}) {\ widehat {\ theta}} _ {i}}$

где называется коэффициентом усадки . ${\ displaystyle {\ widehat {B}} _ {i}}$

${\ displaystyle {\ widehat {B_ {i}}} = {\ frac {\ widehat {M}} {{\ widehat {M}} + n_ {i}}}}$

Связанные дистрибутивы

• ${\ Displaystyle BB (1,1, п) \ сим U (0, п) \,}$где - дискретное равномерное распределение .${\ Displaystyle U (а, Ь) \,}$

Смотрите также

• Дирихле-полиномиальное распределение

использованная литература

• Минка, Томас П. (2003). Оценка распределения Дирихле . Технический отчет Microsoft.

внешние ссылки

• Использование бета-биномиального распределения для оценки производительности устройства биометрической идентификации
• Fastfit содержит код Matlab для подгонки бета-биномиальных распределений (в форме двумерных распределений Полиа) к данным.
• Интерактивная графика: одномерные отношения распределения
• Бета-биномиальные функции в пакете VGAM R
• Бета-биномиальное распределение в Java-библиотеке Sandia National Labs Cognitive Foundry