Коэффициент ранговой корреляции Кендалла - Kendall rank correlation coefficient

В статистике , то коэффициент ранговой корреляции Кендалла , обычно называют т коэффициента Кендалла (после греческой буквы т , тау), является статистика используется для измерения порядковой связи между двумя измеряемыми величинами. Тест τ - это непараметрический тест гипотезы для статистической зависимости, основанный на коэффициенте τ.

Это мера ранговой корреляции : сходство порядка данных при ранжировании по каждой из величин. Он назван в честь Мориса Кендалла , который разработал его в 1938 году, хотя Густав Фехнер предложил аналогичную меру в контексте временных рядов в 1897 году.

Интуитивно корреляция Кендалла между двумя переменными будет высокой, когда наблюдения имеют одинаковый (или идентичный для корреляции 1) ранг (т. Е. Метка относительного положения наблюдений внутри переменной: 1-й, 2-й, 3-й и т. Д.) Между двумя. переменные и низкий, когда наблюдения имеют разный (или полностью различающийся при корреляции -1) ранг между двумя переменными.

И Кендалла, и Спирмена можно сформулировать как частные случаи более общего коэффициента корреляции . ${\ Displaystyle \ тау}$${\ displaystyle \ rho}$

Определение

Все точки в серой зоне согласованы, а все точки в белой области не согласуются с точкой . С точками существует общее количество возможных пар точек. В этом примере имеется 395 согласованных пар точек и 40 несогласованных пар точек, что приводит к коэффициенту ранговой корреляции Кендалла 0,816.${\ displaystyle (X_ {1}, Y_ {1})}$${\ displaystyle n = 30}$${\ displaystyle {\ binom {30} {2}} = 435}$

Позвольте быть набором наблюдений совместных случайных величин X и Y , таких, что все значения ( ) и ( ) уникальны (связи не учитываются для простоты). Любая пара наблюдений и , где , считается согласованной, если порядок сортировки и согласуется: то есть, если выполняется либо оба и, либо оба и ; в противном случае они называются дискордантными . ${\ displaystyle (x_ {1}, y_ {1}), ..., (x_ {n}, y_ {n})}$${\ displaystyle x_ {i}}$${\ displaystyle y_ {i}}$${\ Displaystyle (х_ {я}, у_ {я})}$${\ displaystyle (x_ {j}, y_ {j})}$${\ displaystyle i <j}$${\ displaystyle (x_ {i}, x_ {j})}$${\ displaystyle (y_ {i}, y_ {j})}$${\ displaystyle x_ {i}> x_ {j}}$${\ displaystyle y_ {i}> y_ {j}}$${\ displaystyle x_ {i} <x_ {j}}$${\ displaystyle y_ {i} <y_ {j}}$

Коэффициент Кендалла τ определяется как:

${\ displaystyle \ tau = {\ frac {({\ text {количество совпадающих пар}}) - ({\ text {количество несовместимых пар}})} {n \ choose 2}}.}$

Где - биномиальный коэффициент для количества способов выбрать два элемента из n элементов. ${\ Displaystyle {п \ выбрать 2} = {п (п-1) \ более 2}}$

Характеристики

Знаменатель представляет общее количество комбинаций пара, так что коэффициент должен находиться в диапазоне от -1 & le  ; т &  le ; 1.

• Если соответствие между двумя рейтингами идеальное (т. Е. Два рейтинга совпадают), коэффициент имеет значение 1.
• Если несоответствие между двумя рейтингами полное (т. Е. Одно ранжирование противоположно другому), коэффициент имеет значение -1.
• Если X и Y являются независимыми , то мы ожидаем , что коэффициент будет приблизительно равен нулю.
• Явное выражение для коэффициента ранга Кендалла есть .${\ displaystyle \ tau = {\ frac {2} {n (n-1)}} \ sum _ {i <j} \ operatorname {sgn} (x_ {i} -x_ {j}) \ operatorname {sgn} (y_ {i} -y_ {j})}$

Проверка гипотез

Ранговый коэффициент Кендалла часто используется в качестве тестовой статистики в тесте статистической гипотезы, чтобы установить, могут ли две переменные считаться статистически зависимыми. Этот тест является непараметрическим , поскольку он не полагается на какие-либо предположения о распределениях X или Y или распределении ( X , Y ).

В соответствии с нулевой гипотезы о независимости X и Y , то распределение выборки из т имеет ожидаемое значение , равное нулю. Точное распределение не может быть охарактеризовано в терминах общих распределений, но может быть рассчитано точно для небольших выборок; для больших выборок обычно используется приближение к нормальному распределению с нулевым средним и дисперсией

${\ displaystyle {\ frac {2 (2n + 5)} {9n (n-1)}}}$.

Учет галстуков

Пара называется связаны , если или ; связанная пара не является ни согласованной, ни противоречивой. Когда в данных возникают связанные пары, коэффициент может быть изменен несколькими способами, чтобы он оставался в диапазоне [-1, 1]: ${\ displaystyle \ {(x_ {i}, x_ {j}), (y_ {i}, y_ {j}) \}}$${\ displaystyle x_ {i} = x_ {j}}$${\ displaystyle y_ {i} = y_ {j}}$

Тау-а

Tau-статистика проверяет прочность ассоциации из перекрестных таблиц . Обе переменные должны быть порядковыми . Тау-а не будет делать никаких поправок на завязки. Это определяется как:

${\ displaystyle \ tau _ {A} = {\ frac {n_ {c} -n_ {d}} {n_ {0}}}}$

где n _c , n _d и n ₀ определены, как в следующем разделе.

Тау-б

Статистика Tau-b, в отличие от Tau-a, делает поправки на связи. Значения Tau-b варьируются от -1 (100% отрицательная ассоциация или идеальная инверсия) до +1 (100% положительная ассоциация или полное совпадение). Нулевое значение указывает на отсутствие ассоциации.

Коэффициент Кендалла Тау-b определяется как:

${\ displaystyle \ tau _ {B} = {\ frac {n_ {c} -n_ {d}} {\ sqrt {(n_ {0} -n_ {1}) (n_ {0} -n_ {2}) }}}}$

куда

${\ displaystyle {\ begin {align} n_ {0} & = n (n-1) / 2 \\ n_ {1} & = \ sum _ {i} t_ {i} (t_ {i} -1) / 2 \\ n_ {2} & = \ sum _ {j} u_ {j} (u_ {j} -1) / 2 \\ n_ {c} & = {\ text {Количество совпадающих пар}} \\ n_ {d} & = {\ text {Количество несовместимых пар}} \\ t_ {i} & = {\ text {Количество связанных значений в группе}} i ^ {\ text {th}} {\ text { связей для первой величины}} \\ u_ {j} & = {\ text {Количество связанных значений в}} j ^ {\ text {th}} {\ text {группе связей для второй величины}} \ конец {выровнен}}}$

Простой алгоритм, разработанный в BASIC, вычисляет коэффициент Tau-b с использованием альтернативной формулы.

Имейте в виду, что некоторые статистические пакеты, например SPSS, используют альтернативные формулы для вычисления вычислительной эффективности с удвоенным «обычным» количеством согласованных и несогласованных пар.

Тау-с

Tau-c (также называемый Stuart-Kendall Tau-c) более подходит, чем Tau-b для анализа данных, основанных на неквадратных (т.е. прямоугольных) таблицах непредвиденных обстоятельств . Поэтому используйте Tau-b, если базовая шкала обеих переменных имеет одинаковое количество возможных значений (до ранжирования), и Tau-c, если они различаются. Например, одна переменная может быть оценена по 5-балльной шкале (очень хорошо, хорошо, средне, плохо, очень плохо), а другая - по более тонкой 10-балльной шкале.

Коэффициент Кендалла Тау-c определяется как:

${\ displaystyle \ tau _ {C} = {\ frac {2 (n_ {c} -n_ {d})} {n ^ {2} {\ frac {(m-1)} {m}}}}}$

куда

${\ displaystyle {\ begin {align} n_ {c} & = {\ text {Количество совпадающих пар}} \\ n_ {d} & = {\ text {Количество несовместимых пар}} \\ r & = {\ text {Количество строк}} \\ c & = {\ text {Количество столбцов}} \\ m & = \ min (r, c) \ end {выровнено}}}$

Тесты значимости

Когда две величины статистически независимы, распределение трудно охарактеризовать в терминах известных распределений. Однако для следующей статистики, приблизительно распределена как стандартная норма, когда переменные статистически независимы: ${\ Displaystyle \ тау}$${\ displaystyle \ tau _ {A}}$${\ displaystyle z_ {A}}$

${\ displaystyle z_ {A} = {3 (n_ {c} -n_ {d}) \ over {\ sqrt {n (n-1) (2n + 5) / 2}}}}$

Таким образом, чтобы проверить, являются ли две переменные статистически зависимыми, вычисляют и находят кумулятивную вероятность для стандартного нормального распределения при . Для двустороннего теста умножьте это число на два, чтобы получить значение p . Если p -значение ниже заданного уровня значимости, отвергают нулевую гипотезу (на этом уровне значимости) о том, что величины статистически независимы. ${\ displaystyle z_ {A}}$${\ displaystyle - | z_ {A} |}$

При учете галстуков следует добавить многочисленные корректировки . Следующая статистика имеет то же распределение, что и распределение, и снова приблизительно равна стандартному нормальному распределению, когда количества статистически независимы: ${\ displaystyle z_ {A}}$${\ displaystyle z_ {B}}$${\ displaystyle \ tau _ {B}}$

${\ displaystyle z_ {B} = {n_ {c} -n_ {d} \ over {\ sqrt {v}}}}$

куда

${\ displaystyle {\ begin {array} {ccl} v & = & (v_ {0} -v_ {t} -v_ {u}) / 18 + v_ {1} + v_ {2} \\ v_ {0} & = & n (n-1) (2n + 5) \\ v_ {t} & = & \ sum _ {i} t_ {i} (t_ {i} -1) (2t_ {i} +5) \\ v_ {u} & = & \ sum _ {j} u_ {j} (u_ {j} -1) (2u_ {j} +5) \\ v_ {1} & = & \ sum _ {i} t_ {i } (t_ {i} -1) \ sum _ {j} u_ {j} (u_ {j} -1) / (2n (n-1)) \\ v_ {2} & = & \ sum _ {i } t_ {i} (t_ {i} -1) (t_ {i} -2) \ sum _ {j} u_ {j} (u_ {j} -1) (u_ {j} -2) / (9n (n-1) (n-2)) \ end {array}}}$

Иногда это называют тестом Манна-Кендалла.

Алгоритмы

Прямое вычисление числителя включает две вложенные итерации, которые характеризуются следующим псевдокодом: ${\ displaystyle n_ {c} -n_ {d}}$

numer := 0
for i := 2..N do
    for j := 1..(i − 1) do
        numer := numer + sign(x[i] − x[j]) × sign(y[i] − y[j])
return numer

Хотя этот алгоритм быстро реализуется, он сложен и становится очень медленным на больших выборках. Более сложный алгоритм, основанный на алгоритме сортировки слиянием , может использоваться для вычисления числителя во времени. ${\ Displaystyle О (п ^ {2})}$${\ Displaystyle О (п \ CDOT \ журнал {п})}$

Начните заказе ваших точек данных сортировки по первой величины, и во вторую очередь ( в том числе в связи ) с помощью второго количества, . При таком начальном порядке сортировка не выполняется, и ядро ​​алгоритма состоит в вычислении количества шагов, которые потребует пузырьковая сортировка для сортировки этого начального значения . Усовершенствованный алгоритм сортировки слиянием со сложностью может применяться для вычисления количества свопов , которые потребуются пузырьковой сортировке для сортировки . Тогда числитель для вычисляется как: ${\ displaystyle x}$${\ displaystyle x}$${\ displaystyle y}$${\ displaystyle y}$${\ displaystyle y}$${\ Displaystyle О (п \ журнал п)}$${\ Displaystyle S (у)}$${\ displaystyle y_ {i}}$${\ Displaystyle \ тау}$

${\ displaystyle n_ {c} -n_ {d} = n_ {0} -n_ {1} -n_ {2} + n_ {3} -2S (y),}$

где вычисляется аналогично и , но с учетом совместных связей в и . ${\ displaystyle n_ {3}}$${\ displaystyle n_ {1}}$${\ displaystyle n_ {2}}$${\ displaystyle x}$${\ displaystyle y}$

A сортировка слиянием разделов данных , которые должны быть отсортированы, на две примерно равные половины, и , затем сортирует каждую половину рекурсивной, а затем сливается две половинки сортируются в полностью отсортированный вектор. Количество свопов пузырьковой сортировки равно: ${\ displaystyle y}$${\ displaystyle y _ {\ mathrm {left}}}$${\ displaystyle y _ {\ mathrm {right}}}$

${\ Displaystyle S (y) = S (y _ {\ mathrm {left}}) + S (y _ {\ mathrm {right}}) + M (Y _ {\ mathrm {left}}, Y _ {\ mathrm {right}) })}$

где и - отсортированные версии и , а характеризует замену, эквивалентную пузырьковой сортировке, для операции слияния. вычисляется, как показано в следующем псевдокоде: ${\ displaystyle Y _ {\ mathrm {left}}}$${\ displaystyle Y _ {\ mathrm {right}}}$${\ displaystyle y _ {\ mathrm {left}}}$${\ displaystyle y _ {\ mathrm {right}}}$${\ Displaystyle М (\ cdot, \ cdot)}$${\ Displaystyle М (\ cdot, \ cdot)}$

function M(L[1..n], R[1..m]) is
    i := 1
    j := 1
    nSwaps := 0
    while i ≤ n and j ≤ m do
        if R[j] < L[i] then
            nSwaps := nSwaps + n − i + 1
            j := j + 1
        else
            i := i + 1
    return nSwaps

Побочным эффектом вышеупомянутых шагов является то, что вы получаете как отсортированную версию, так и отсортированную версию . С их помощью коэффициенты и, используемые для вычисления , легко получить за один проход линейного времени через отсортированные массивы. ${\ displaystyle x}$${\ displaystyle y}$${\ displaystyle t_ {i}}$${\ displaystyle u_ {j}}$${\ displaystyle \ tau _ {B}}$

Программные реализации

• Базовый пакет статистики R реализует тест cor.test(x, y, method = "kendall")в своем пакете "stats" (также cor(x, y, method = "kendall")будет работать, но без возврата p-значения).
• Для Python , то SciPy библиотека реализует вычисление в${\ Displaystyle \ тау}$scipy.stats.kendalltau

Смотрите также

• Корреляция
• Кендалл тау расстояние
• Кендаллс W
• Коэффициент ранговой корреляции Спирмена
• Гамма Гудмана и Крускала
• Оценщик Тейла – Сена
• U-критерий Манна – Уитни - он эквивалентен коэффициенту корреляции тау Кендалла, если одна из переменных является бинарной.

использованная литература

дальнейшее чтение

• Абди, Х. (2007). «Ранговая корреляция Кендалла» (PDF) . В Салкинд, штат Нью-Джерси (ред.). Энциклопедия измерения и статистики . Таузенд-Оукс (Калифорния): Шалфей.
• Дэниел, Уэйн В. (1990). «Тау Кендалла» . Прикладная непараметрическая статистика (2-е изд.). Бостон: PWS-Kent. С. 365–377. ISBN 978-0-534-91976-4.
• Кендалл, Морис; Гиббонс, Джин Дикинсон (1990) [Впервые опубликовано в 1948 году]. Методы ранговой корреляции . Серия книг Чарльза Гриффина (5-е изд.). Оксфорд: Издательство Оксфордского университета. ISBN 978-0195208375.
• Bonett, Douglas G .; Райт, Томас А. (2000). «Требования к размеру выборки для оценки корреляций Пирсона, Кендалла и Спирмена». Психометрика . 65 (1): 23–28. DOI : 10.1007 / BF02294183 .

внешние ссылки

• Расчет привязанного ранга
• Программное обеспечение для вычисления тау Кендалла на очень больших наборах данных
• Онлайн-программное обеспечение: вычисляет ранговую корреляцию тау Кендалла
• Процедура CORR: статистические вычисления - Школа бизнеса Макдоно