Разреженная матрица - Sparse matrix

Пример разреженной матрицы ${\ displaystyle \ left ({\ begin {smallmatrix} 11 & 22 & 0 & 0 & 0 & 0 & 0 \\ 0 & 33 & 44 & 0 & 0 & 0 & 0 \\ 0 & 0 & 55 & 66 & 77 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 88 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 99 \\} end {small)$
Вышеупомянутая разреженная матрица содержит только 9 ненулевых элементов с 26 нулевыми элементами. Его разреженность составляет 74%, а плотность - 26%.

Разреженная матрица, полученная при решении задачи конечных элементов в двух измерениях. Ненулевые элементы показаны черным.

В численном анализе и научных вычислений , A разреженная матрица или разреженный массив является матрица , в которой большинство элементов равны нулю. Не существует строгого определения относительно доли элементов с нулевым значением, чтобы матрица считалась разреженной, но общий критерий состоит в том, что количество ненулевых элементов примерно равно количеству строк или столбцов. Напротив, если большинство элементов не равны нулю, матрица считается плотной . Количество элементов с нулевым знаком, деленное на общее количество элементов (например, m × n для матрицы m × n), иногда называют разреженностью матрицы.

Концептуально разреженность соответствует системам с небольшим количеством парных взаимодействий. Например, рассмотрим линию шаров, соединенных пружинами от одного к другому: это разреженная система, поскольку связаны только соседние шары. Напротив, если бы одна и та же линия шаров имела пружины, соединяющие каждый шар со всеми другими шарами, система соответствовала бы плотной матрице. Концепция разреженности полезна в комбинаторике и прикладных областях, таких как теория сетей и численный анализ , которые обычно имеют низкую плотность важных данных или соединений. Большие разреженные матрицы часто появляются в научных или инженерных приложениях при решении уравнений в частных производных .

При хранении и манипулировании разреженными матрицами на компьютере полезно и часто необходимо использовать специализированные алгоритмы и структуры данных, которые используют преимущества разреженной структуры матрицы. Специализированные компьютеры были созданы для разреженных матриц, поскольку они распространены в области машинного обучения. Операции, использующие стандартные структуры и алгоритмы с плотной матрицей, медленные и неэффективные при применении к большим разреженным матрицам, поскольку обработка и память тратятся на нули. Редкие данные по своей природе легче сжимаются и, следовательно, требуют значительно меньшего объема памяти . Некоторыми очень большими разреженными матрицами невозможно манипулировать с помощью стандартных алгоритмов плотных матриц.

Хранение разреженной матрицы

Матрица обычно хранится как двумерный массив. Каждая запись в массиве представляет собой элемент $a i, j$ матрицы и доступна по двум индексам $i$ и $j$ . Обычно $i$ - это индекс строки, пронумерованный сверху вниз, а $j$ - индекс столбца, пронумерованный слева направо. Для матрицы размера $m \times n$ объем памяти, необходимый для хранения матрицы в этом формате, пропорционален $m \times n$ (без учета того факта, что размеры матрицы также должны быть сохранены).

В случае разреженной матрицы существенное сокращение требований к памяти может быть реализовано путем сохранения только ненулевых элементов. В зависимости от количества и распределения ненулевых записей могут использоваться разные структуры данных, что дает огромную экономию памяти по сравнению с базовым подходом. Компромисс заключается в том, что доступ к отдельным элементам становится более сложным, и требуются дополнительные структуры, чтобы иметь возможность однозначно восстановить исходную матрицу.

Форматы можно разделить на две группы:

Те, которые поддерживают эффективную модификацию, например DOK (Словарь ключей), LIL (Список списков) или COO (Список координат). Обычно они используются для построения матриц.
Те, которые поддерживают эффективный доступ и матричные операции, такие как CSR (сжатая разреженная строка) или CSC (сжатый разреженный столбец).

Словарь ключей (ДОК)

ДОК состоит из словаря , который отображает $(строка, столбец)$ - пары к значению элементов. Элементы, отсутствующие в словаре, считаются равными нулю. Формат хорош для постепенного построения разреженной матрицы в случайном порядке, но плохой для перебора ненулевых значений в лексикографическом порядке. Обычно в этом формате создается матрица, а затем преобразуется в другой, более эффективный формат для обработки.

Список списков (LIL)

LIL хранит по одному списку на строку, каждая запись содержит индекс столбца и значение. Обычно эти записи отсортированы по индексу столбца для более быстрого поиска. Это еще один формат, подходящий для построения инкрементальной матрицы.

Список координат (COO)

COO хранит список кортежей $(строка, столбец, значение)$ . В идеале записи сортируются сначала по индексу строки, а затем по индексу столбца, чтобы сократить время произвольного доступа. Это еще один формат, который подходит для построения инкрементальной матрицы.

Сжатая разреженная строка (формат CSR, CRS или Yale)

Сжатого разреженным строки (КСО) или сжатого хранения строк (СВК) или формат Йельского представляет собой матрицу $M$ с помощью трех (одномерных массивов), которые соответственно содержат ненулевые значения, экстенты строк и столбцов индексов. Он похож на COO, но сжимает индексы строк, отсюда и название. Этот формат обеспечивает быстрый доступ к строке и умножение матрицы на вектор ( $M x$ ). Формат CSR используется по крайней мере с середины 1960-х годов, а первое полное описание появилось в 1967 году.

Формат CSR хранит разреженную матрицу $M$ размера $m \times n$ в виде строки с использованием трех (одномерных) массивов $(V, COL_INDEX, ROW_INDEX)$ . Пусть $NNZ$ обозначает число ненулевых элементов в $М$ . (Обратите внимание, что здесь должны использоваться индексы , начинающиеся с нуля .)

Массивы $V$ и $COL_INDEX$ имеют длину $NNZ$ и содержат ненулевые значения и индексы столбцов этих значений соответственно.

Массив $ROW_INDEX$ имеет длину $m + 1$ и кодирует индекс в $V$ и $COL_INDEX,$ где начинается данная строка. Это эквивалентно $ROW_INDEX [j],$ кодирующему общее количество ненулевых значений над строкой $j$ . Последний элемент - это $NNZ$ , т. $Е.$ Фиктивный индекс в $V$ сразу после последнего действительного индекса $NNZ - 1$ .

Например, матрица

{\ displaystyle {\ begin {pmatrix} 5 & 0 & 0 & 0 \\ 0 & 8 & 0 & 0 \\ 0 & 0 & 3 & 0 \\ 0 & 6 & 0 & 0 \\\ end {pmatrix}}}

является матрицей $4 \times 4$ с 4 ненулевыми элементами, поэтому

   V         = [ 5 8 3 6 ]
   COL_INDEX = [ 0 1 2 1 ]
   ROW_INDEX = [ 0 1 2 3 4 ]

предполагая язык с нулевым индексом.

Чтобы извлечь строку, мы сначала определяем:

   row_start = ROW_INDEX[row]
   row_end   = ROW_INDEX[row + 1]

Затем мы берем срезы из V и COL_INDEX, начиная с row_start и заканчивая row_end.

Чтобы извлечь строку 1 (вторую строку) этой матрицы, мы устанавливаем row_start=1и row_end=2. Затем делаем дольки V[1:2] = [8]и COL_INDEX[1:2] = [1]. Теперь мы знаем, что в строке 1 у нас есть один элемент в столбце 1 со значением 8.

В этом случае представление CSR содержит 13 элементов по сравнению с 16 в исходной матрице. Формат CSR сохраняет память только тогда, когда $NNZ <(m (n - 1) - 1) / 2$ . Другой пример, матрица

{\ displaystyle {\ begin {pmatrix} 10 & 20 & 0 & 0 & 0 & 0 \\ 0 & 30 & 0 & 40 & 0 & 0 \\ 0 & 0 & 50 & 60 & 70 & 0 \\ 0 & 0 & 0 & 0 & 0 & 80 \\\ end {pmatrix}}}

это $4 \times 6$ матрица (24 записей) с 8 ненулевых элементов, так

   V         = [ 10 20 30 40 50 60 70 80 ]
   COL_INDEX = [  0  1  1  3  2  3  4  5 ]   
   ROW_INDEX = [  0  2  4  7  8 ]

Всего хранится 21 запись.

$ROW_INDEX$ разбивает массив $V$ в строки: (10, 20) (30, 40) (50, 60, 70) (80);
$COL_INDEX$ выравнивает значения в столбцах: (10, 20, ...) (0, 30, 0, 40, ...)(0, 0, 50, 60, 70, 0) (0, 0, 0, 0, 0, 80).

Обратите внимание, что в этом формате первое значение $ROW_INDEX$ всегда равно нулю, а последнее - всегда $NNZ$ , поэтому они в некотором смысле избыточны (хотя в языках программирования, где длина массива должна быть явно сохранена, $NNZ$ не будет избыточным). Тем не менее, это позволяет избежать необходимости обрабатывать исключительный случай при вычислении длины каждой строки, поскольку это гарантирует, что формула $ROW_INDEX [i + 1] - ROW_INDEX [i]$ работает для любой строки $i$ . Более того, стоимость памяти этого избыточного хранилища, вероятно, незначительна для достаточно большой матрицы.

Форматы разреженных матриц Йельского университета (старые и новые) являются экземплярами схемы CSR. Старый формат Йельского университета работает точно так же, как описано выше, с тремя массивами; новый формат объединяет $ROW_INDEX$ и $COL_INDEX$ в один массив и обрабатывает диагональ матрицы отдельно.

Для матриц логической смежности массив данных может быть опущен, поскольку наличие записи в массиве строк достаточно для моделирования двоичного отношения смежности.

Он, вероятно, известен как формат Йельского университета, потому что он был предложен в отчете о пакете разреженных матриц Йельского университета 1977 года, подготовленном факультетом компьютерных наук Йельского университета.

Сжатый разреженный столбец (CSC или CCS)

CSC похож на CSR, за исключением того, что значения сначала считываются по столбцу, для каждого значения сохраняется индекс строки и сохраняются указатели столбцов. Например, CSC - это $(val, row_ind, col_ptr)$ , где $val$ - это массив ненулевых значений матрицы (сверху вниз, затем слева направо); $row_ind$ - это индексы строк, соответствующие значениям; и $col_ptr$ - это список индексов $val, с$ которых начинается каждый столбец. Название основано на том факте, что информация индекса столбца сжимается относительно формата COO. Обычно для построения используется другой формат (LIL, DOK, COO). Этот формат эффективен для арифметических операций, нарезки столбцов и произведений матрица-вектор. См. Scipy.sparse.csc_matrix . Это традиционный формат для указания разреженной матрицы в MATLAB (через sparseфункцию).

Специальная структура

Полосатая

Важным специальным типом разреженных матриц является ленточная матрица , определяемая следующим образом. Нижняя полоса пропускания матрицы $А$ является наименьшим числом $р$ таким образом, что запись $я$ $,$ $J$ обращается в нуль каждый раз , когда $я$ $>$ $J$ $+$ $р$ . Точно так же верхняя ширина полосы - это наименьшее число $p$ такое, что $a$ $i$ $,$ $j$ $= 0$ всякий раз, когда $i$ $<$ $j$ $-$ $p$ ( Голуб и Ван Лоан 1996 , §1.2.1). Например, трехдиагональная матрица имеет нижнюю полосу пропускания $1$ и верхнюю полосу пропускания $1$ . В качестве другого примера следующая разреженная матрица имеет нижнюю и верхнюю полосы пропускания равные 3. Обратите внимание, что для ясности нули представлены точками.

{\ displaystyle \ left ({\ begin {smallmatrix} X & X & X & \ cdot & \ cdot & \ cdot & \ cdot & \\ X & X & \ cdot & X & X & \ cdot & \ cdot & \\ X & \ cdot & X & \ cdot & X & \ cdot & \ cdot & \\\ cdot & X & \ cdot & X & \ cdot & X & \ cdot & \\\ cdot & X & X & \ cdot & X & X & X & \\\ cdot & \ cdot & \ cdot & X & X & X & \ cdot & \\\ cdot & \ cdot \ & \ cdot \ & \ cdot cdot & X & \ cdot & X & \\\ end {smallmatrix}} \ right)}

Матрицы с достаточно малой верхней и нижней полосой пропускания известны как матрицы полос и часто поддаются более простым алгоритмам, чем общие разреженные матрицы; или иногда можно применять алгоритмы с плотной матрицей и повысить эффективность, просто перебирая сокращенное количество индексов.

Путем переупорядочивания строк и столбцов матрицы $A$ можно получить матрицу $A'$ с более низкой полосой пропускания. Ряд алгоритмов разработан для минимизации полосы пропускания .

Диагональ

Очень эффективная структура для крайнего случая ленточных матриц, диагональной матрицы , заключается в хранении только элементов главной диагонали в виде одномерного массива , поэтому для диагональной матрицы размера $n \times n$ требуется только $n$ элементов.

Симметричный

Симметричный разреженная матрица возникает как смежности матрицы из с неориентированного графа ; его можно эффективно сохранить как список смежности .

Диагональ блока

Блочно-диагональная матрица состоит из суб-матриц вдоль ее диагональных блоков. Блочно-диагональная матрица A имеет вид

{\ displaystyle \ mathbf {A} = {\ begin {bmatrix} \ mathbf {A} _ {1} & 0 & \ cdots & 0 \\ 0 & \ mathbf {A} _ {2} & \ cdots & 0 \\\ vdots & \ vdots & \ ddots & \ vdots \\ 0 & 0 & \ cdots & \ mathbf {A} _ {n} \ end {bmatrix}},}

где A _k - квадратная матрица для всех k = 1, ..., n .

Уменьшение заполнения

Принудительные матриц являются теми элементами , которые изменяются от начального нуля до ненулевого значения во время выполнения алгоритма. Чтобы уменьшить требования к памяти и количество арифметических операций, используемых во время алгоритма, полезно минимизировать заполнение путем переключения строк и столбцов в матрице. Символическое Cholesky разложение может быть использовано для расчета наихудших принудительный , прежде чем делать фактическое разложение Холецкого .

Существуют и другие методы, помимо разложения Холецкого . Методы ортогонализации (такие как QR-факторизация) распространены, например, при решении задач методом наименьших квадратов. Хотя теоретическая подстановка остается прежней, с практической точки зрения «ложные ненулевые значения» могут быть разными для разных методов. И символические версии этих алгоритмов могут использоваться таким же образом, как и символические версии Холецкого, для вычисления заполнения наихудшего случая.

Решение разреженных матричных уравнений

Для решения разреженных матриц существуют как итерационные, так и прямые методы.

Итерационные методы, такие как метод сопряженных градиентов и GMRES, используют быстрые вычисления произведений матрица-вектор , где матрица разреженная. Использование предобуславливателей может значительно ускорить сходимость таких итерационных методов. ${\ displaystyle Ax_ {i}}$ ${\ displaystyle A}$

Программное обеспечение

Многие программные библиотеки поддерживают разреженные матрицы и предоставляют решатели для разреженных матричных уравнений. Следующие программы с открытым исходным кодом:

SuiteSparse , набор алгоритмов разреженных матриц, направленных на прямое решение разреженных линейных систем.
PETSc , большая библиотека C, содержащая множество различных решателей матриц для различных форматов хранения матриц.
Trilinos , большая библиотека C ++, с под-библиотеками, предназначенными для хранения плотных и разреженных матриц и решения соответствующих линейных систем.
Eigen3 - это библиотека C ++, которая содержит несколько решателей разреженных матриц. Однако ни один из них не распараллелен .
MUMPS ( MU ltifrontal M assively P arallel sparse direct S olver), написанный на Fortran90, является фронтальным решателем .
DUNE , библиотека конечных элементов, в которой также есть подбиблиотека для разреженных линейных систем и их решений.
PaStix .
SuperLU .
Armadillo предоставляет удобную оболочку C ++ для BLAS и LAPACK.
SciPy обеспечивает поддержку нескольких форматов разреженных матриц, линейной алгебры и решателей.
SPArse Matrix (spam) R и пакет Python для разреженных матриц.
Инструменты Wolfram Language для работы с разреженными массивами
ALGLIB - это библиотека C ++ и C # с поддержкой разреженной линейной алгебры.
ARPACK Библиотека Fortran 77 для диагонализации и обработки разреженных матриц с использованием алгоритма Арнольди
SPARSE Справочный (старый) пакет NIST для диагонализации (реальной или комплексной) разреженной матрицы
Библиотека SLEPc для решения крупномасштабных линейных систем и разреженных матриц
Sympiler , генератор кода для конкретной предметной области и библиотека для решения линейных систем и задач квадратичного программирования.
Scikit-learn Пакет Python для анализа данных, включая разреженные матрицы.

История

Термин разреженная матрица, возможно, был придуман Гарри Марковицем, который инициировал некоторую новаторскую работу, но затем покинул эту область.

Смотрите также

Примечания

использованная литература

Голуб, Джин Х .; Ван Лоан, Чарльз Ф. (1996). Матричные вычисления (3-е изд.). Балтимор: Джонс Хопкинс. ISBN 978-0-8018-5414-9.
Стоер, Йозеф; Булирш, Роланд (2002). Введение в численный анализ (3-е изд.). Берлин, Нью-Йорк: Springer-Verlag . ISBN 978-0-387-95452-3.
Тьюарсон, Реджинальд П. (май 1973 г.). Разреженные матрицы (часть серии «Математика в науке и технике») . Academic Press Inc. (Эта книга, написанная профессором Университета штата Нью-Йорк в Stony Book, была первой книгой, посвященной исключительно разреженным матрицам. В начале 1980-х в этом университете были предложены курсы для аспирантов, использующие ее в качестве учебника).
Bank, Randolph E .; Дуглас, Крейг К. «Пакет умножения разреженных матриц» (PDF) .
Писсанецки, Серджио (1984). Технология разреженной матрицы . Академическая пресса.
Снай, Ричард А. (1976). «Снижение профиля разреженных симметричных матриц». Бюллетень Géodésique . 50 (4): 341–352. Bibcode : 1976BGeod..50..341S . DOI : 10.1007 / BF02521587 . HDL : 2027 / uc1.31210024848523 . S2CID 123079384 . Также NOAA Technical Memorandum NOS NGS-4, National Geodetic Survey, Rockville, MD.

дальнейшее чтение

Гиббс, Норман Э .; Пул, Уильям Дж .; Штокмейер, Пол К. (1976). «Сравнение нескольких алгоритмов сокращения пропускной способности и профиля» . Транзакции ACM на математическом программном обеспечении . 2 (4): 322–330. DOI : 10.1145 / 355705.355707 . S2CID 14494429 .
Гилберт, Джон Р .; Молер, Клив; Шрайбер, Роберт (1992). «Разреженные матрицы в MATLAB: разработка и реализация» . Журнал SIAM по матричному анализу и приложениям . 13 (1): 333–356. CiteSeerX 10.1.1.470.1054 . DOI : 10.1137 / 0613024 .
Исследование алгоритмов разреженной матрицы в Техасском университете A&M.
SuiteSparse Matrix Коллекция
МАЛЕНЬКИЙ проект Финансируемый ЕС проект по разреженным моделям, алгоритмам и изучению словарей для крупномасштабных данных.

^ Саад, Юсеф (2003). Итерационные методы для разреженных линейных систем . СИАМ.

[12] Саад, Юсеф (2003). Итерационные методы для разреженных линейных систем . СИАМ.

Languages

In other projects