Редкая распределенная память - Sparse distributed memory

Разреженная распределенная память ( SDM ) - это математическая модель долговременной памяти человека, представленная Пентти Канерва в 1988 году, когда он работал в исследовательском центре NASA Ames Research Center . Это обобщенная оперативная память (RAM) для длинных (например, 1000 бит) двоичных слов. Эти слова служат как адресами, так и данными для памяти. Основным атрибутом памяти является чувствительность к подобию, что означает, что слово может быть прочитано не только путем указания исходного адреса записи, но также путем указания адреса, близкого к нему, что измеряется количеством несовпадающих битов (т. Е. Расстоянием Хэмминга между адресами памяти ).

SDM реализует преобразование из логического пространства в физическое с использованием распределенного представления и хранения данных, аналогично процессам кодирования в человеческой памяти. Значение, соответствующее логическому адресу, сохраняется во многих физических адресах. Этот способ хранения является надежным и недетерминированным. Ячейка памяти не адресуется напрямую. Если входные данные (логические адреса) вообще частично повреждены, мы все равно можем получить правильные выходные данные.

Теория памяти математически завершена и подтверждена компьютерным моделированием . Он возник из наблюдения, что расстояния между точками многомерного пространства напоминают отношения близости между концепциями в человеческой памяти. Теория также практична в том смысле, что основанная на ней память может быть реализована с помощью обычных элементов памяти с произвольным доступом .

Определение

Человеческая память имеет тенденцию собирать воспоминания на основе сходства между ними (хотя они могут не быть связаны), например, «пожарные машины красные, а яблоки красные». Разреженная распределенная память представляет собой математическое представление памяти человека и использует многомерное пространство для моделирования больших объемов памяти, имитирующей память человеческой нейронной сети. Важным свойством таких пространств большой размерности является то, что два случайно выбранных вектора находятся относительно далеко друг от друга, что означает, что они не коррелированы. SDM можно рассматривать как реализацию хеширования с учетом местоположения .

Основная идея SDM заключается в отображении огромной двоичной памяти на меньший набор физических местоположений, так называемых жестких местоположениях . Как правило, эти жесткие места должны быть равномерно распределены в виртуальном пространстве, чтобы как можно точнее имитировать существование большего виртуального пространства. Каждая система данных хранится распределенным набором жестких местоположений и извлекается путем усреднения этих местоположений. Следовательно, отзыв может быть не идеальным, точность зависит от насыщенности памяти.

Предложение Канервы основано на четырех основных идеях:

1. Булево пространство или точки в измерениях проявляют свойства, аналогичные интуитивным представлениям людей об отношениях между концепциями. Это означает, что имеет смысл хранить данные в виде точек упомянутого пространства, где каждый элемент памяти хранится как n-битовый вектор. ${\ Displaystyle \ {0,1 \} ^ {п}}$ ${\ Displaystyle 2 ^ {п}}$ ${\ displaystyle 10 ^ {0} <п <10 ^ {5}}$
2. Нейроны с n входами могут использоваться в качестве адресных декодеров оперативной памяти.
3. Принцип объединения: данные, хранящиеся в памяти, могут использоваться в качестве адресов одной и той же памяти. Расстояние между двумя точками - это мера сходства между двумя элементами памяти. Чем ближе точки, тем более похожи хранимые векторы.
4. Время можно отслеживать в памяти в зависимости от того, где хранятся данные, если данные организованы как последовательности событий.

Двоичное пространство N

SDM работает с n-мерными векторами с двоичными компонентами. В зависимости от контекста векторы называются точками, образцами, адресами, словами, элементами памяти, данными или событиями. Этот раздел в основном посвящен свойствам векторного пространства N = . Пусть n будет числом измерений пространства. Тогда количество точек или возможных элементов памяти равно . Мы обозначим это число через N и будем использовать N, а также обозначать само пространство. ${\ Displaystyle \ {0,1 \} ^ {п}}$ ${\ Displaystyle 2 ^ {п}}$ ${\ Displaystyle 2 ^ {п}}$

Понятия, относящиеся к пространству N: ${\ Displaystyle \ {0,1 \} ^ {п}}$

Начало , 0: точка со всеми координатами 0 называется началом координат, 0 = 000 ... 00.
Дополнение , x: Дополнение или противоположность точки x - это кортеж из n, в котором есть единицы, где x имеет нули, и наоборот.
Норма , | x |: Норма точки x - это количество единиц в ее двоичном представлении.
Разница , x - y: разница двух точек x и y - это набор из n, в котором есть единицы, где x и y различаются, и нули в другом месте. Это поразрядное « исключающее ИЛИ »: x - y = x ⊕ y. Разница коммутирует: x - y = y - x.
Расстояние , d (x, y) Расстояние между двумя точками x и y - это количество измерений, в которых x и y различаются. Оно называется расстоянием Хэмминга (его квадратный корень - евклидово расстояние ) и выражается в битах. Расстояние - это норма разности: d (x, y) = | x - y |
Между , x: y: z: точка y находится между точками x и z тогда и только тогда, когда расстояние от x до z является суммой расстояний от x до y и от y до z; то есть x: y: z ⇔ d (x, z) = d (x, y) + d (y, z). Легко видеть, что каждый бит промежуточной точки является копией соответствующего бита конечной точки.
Ортогональность , x ⊥ y: точка x ортогональна точке y, либо они перпендикулярны или безразличны, если и только если расстояние между ними составляет половину числа измерений: x ⊥ y ⇔ d (x, y) = n / 2. Расстояние n / 2 называется расстоянием безразличия пространства N. Если x ортогонален y, он также ортогонален своему дополнению y (x находится на полпути между y и y).
Круг , O (r, x) Круг с радиусом r и центром x - это набор точек, которые не больше r битов от x: O (r, x) = {y | d (x, y) ≤ r}.

Свойства пространства N: ${\ Displaystyle \ {0,1 \} ^ {п}}$

Пространство N может быть представлено вершинами единичного куба в n-мерном евклидовом пространстве . Вершины лежат на поверхности n-мерной сферы с (евклидово-метрическим) радиусом . Это приводит к аналогии со сферой . Мы будем называть пространство сферическим, если ${\ displaystyle {\ sqrt {n}} / 2}$

1. любая точка x имеет единственную противоположность 'x,
2. все пространство находится между любой точкой x и противоположной ей точкой x, и
3. все точки «равны» (это означает, что для любых двух точек x и y существует сохраняющий расстояние автоморфизм пространства, который отображает x в y, так что с любой из его точек пространство «выглядит» одинаково).

Поверхность сферы (в евклидовом трехмерном пространстве) явно сферическая. Согласно определению, N также является сферическим, поскольку y ⊕ x ⊕ (…) - автоморфизм, переводящий x в y. Поскольку N является сферическим, полезно думать о нем как о поверхности сферы с окружностью 2n. Все точки N одинаково квалифицируются как точки начала, а точка и ее дополнение подобны двум полюсам на расстоянии n друг от друга, а все пространство между ними. Точки, находящиеся на полпути между полюсами и перпендикулярные им, подобны экватору.

Распределение пространства N

Количество точек, которые представляют собой ровно d битов, образующих произвольную точку x (скажем, из точки 0), представляет собой количество способов выбора d координат из общего количества n координат и, следовательно, определяется биномиальным коэффициентом : ${\ displaystyle {\ binom {n} {d}} = {\ frac {n!} {d! (nd)!}}}$

Таким образом, распределение N является биномиальным распределением с параметрами n и p, где p = 1/2. Среднее значение биномиального распределения равно n / 2, а дисперсия - n / 4. Обозначим эту функцию распределения N (d). Нормальное распределение Р со средним п / 2 и стандартное отклонение является хорошим приближением к нему: Н (г) = Р {г (х, у) ≤ d} ≅ Р {(д - п / 2) / } ${\ displaystyle {\ sqrt {n}} / 2}$ ${\ displaystyle {\ sqrt {n / 4}}}$

Склонность к ортогональности

Выдающимся свойством N является то, что большая его часть находится примерно на среднем (безразличном) расстоянии n / 2 от точки (и ее дополнения). Другими словами, большая часть пространства почти ортогональна любой заданной точке, и чем больше n, тем сильнее этот эффект.

Как нейронная сеть

SDM можно рассматривать либо как адресуемое по содержанию расширение классической памяти с произвольным доступом (RAM), либо как особый тип трехуровневой нейронной сети с прямой связью . Основные изменения SDM в RAM:

SDM вычисляет расстояния Хэмминга между ссылочным адресом и каждым адресом местоположения. Для каждого расстояния, которое меньше или равно заданному радиусу, выбирается соответствующее местоположение.
Память представлена счетчиками (где n - количество ячеек, а m - длина входных данных) вместо однобитовых элементов хранения.
Запись в память вместо перезаписи выглядит следующим образом:
- если i-бит входных данных равен 1, соответствующие счетчики (счетчики в выбранных местах (строках) и в i-м столбцах) увеличиваются,
- если i-бит входных данных равен 0, соответствующие счетчики уменьшаются.
Чтение (или вызов) из памяти аналогично:
- Содержимое выбранных местоположений суммируется по столбцам.
- Каждая сумма имеет пороговое значение. Если сумма больше или равна пороговому значению, соответствующий выходной бит устанавливается в 1, в противном случае он сбрасывается. Обратите внимание, что пороги могут быть нулевыми, если входные обучающие векторы близки к ортогональным.

Модель нейрона

Идеализированное описание нейрона выглядит следующим образом: нейрон имеет тело клетки с двумя типами ответвлений: дендритами и аксоном . Он получает входные сигналы от других нейронов через дендриты, интегрирует (суммирует) их и генерирует собственный (электрический) выходной сигнал, который отправляется внешним нейронам через аксон. Точки электрического контакта между нейронами называются синапсами .

Когда нейрон генерирует сигнал его обжига и после обжига он должен восстановиться , прежде чем он стреляет снова. Относительная важность синапса для возбуждения нейрона называется синаптическим весом (или входным коэффициентом ). Есть два вида синапсов: раздражительный , срабатывающий нейрон огнь и тормозящие , которые препятствуют стрельбы. Нейрон является либо возбуждающим, либо тормозящим в зависимости от типа синапсов, создаваемых его аксоном.

Нейрон срабатывает, когда сумма входов превышает определенный порог . Чем выше порог, тем важнее то, что возбуждающие синапсы имеют входной сигнал, а тормозные - нет. Сработает ли восстановленный нейрон на самом деле, зависит от того, получил ли он достаточный возбуждающий сигнал (сверх порогового значения) и не слишком ли много тормозного сигнала в течение определенного периода времени.

Формальная модель нейрона делает дальнейшие упрощающие предположения. П -input нейрон моделируется линейной пороговой функции следующим образом : ${\ Displaystyle F: \ {0,1 \} ^ {n} -> \ {0,1 \}}$

Для где п число входов, пусть будет на выходе в момент времени т : , и пусть будет я -й вход в момент времени т : . Пусть будет вес i -го входа и пусть будет порогом. ${\ Displaystyle я = 0, ..., п-1}$ ${\ displaystyle F_ {t}}$ ${\ displaystyle F_ {t} \ in \ {0,1 \}}$ ${\ Displaystyle х_ {я, т}}$ ${\ Displaystyle х_ {я, т} \ в \ {0,1 \}}$ ${\ displaystyle w_ {i}}$ ${\ displaystyle c}$

Взвешенная сумма входов в момент времени т определяется ${\ Displaystyle S_ {т} = \ сумма _ {я = 0} ^ {п-1} ш_ {я} х_ {я, т}}$

Выход нейрона в момент времени t определяется как логическая функция : ${\ displaystyle \ mathbf {F} _ {t} = {\ begin {cases} 1 & {\ text {if}} S_ {t}> = c, \\ 0 & {\ text {else}}. \ end {case }}}$

Где F _t = 1 означает, что нейрон срабатывает в момент времени t, а F _t = 0, что это не так, т.е. для того, чтобы нейрон сработал, взвешенная сумма должна достигнуть или превысить порог. Возбуждающие входы увеличивают сумму, а тормозящие - уменьшают.

Нейрон как адрес-декодер

Ключевой тезис Канервы состоит в том, что определенные нейроны могут иметь свои входные коэффициенты и пороги, фиксированные на протяжении всей жизни организма и используемые в качестве адресных декодеров, где n -наборка входных коэффициентов (шаблон, на который нейроны реагируют наиболее легко) определяет n- битную память. адрес, а порог управляет размером области схожих шаблонов адресов, на которые реагирует нейрон.

Этот механизм дополняет регулируемые синапсы или регулируемые веса в нейронной сети ( обучение конвергенции перцептронов ), поскольку этот фиксированный механизм доступа будет постоянной системой отсчета, которая позволяет выбирать синапсы, в которых хранится информация и из которых она извлекается. при данном стечении обстоятельств. Более того, кодировка настоящего обстоятельства послужит адресом.

Адрес нейрона с входными коэффициентами ш , где определяются как п входного шаблона битового , который максимизирует взвешенную сумму. Максимум возникает, когда тормозные входы равны нулю, а возбуждающие входы - единицам. Я -й бит адреса: ${\ displaystyle w_ {0}, .., w_ {n_ {1}}}$

${\ displaystyle \ mathbf {a} _ {i} = {\ begin {cases} 1 & {\ text {if}} w_ {i}> 0, \\ 0 & {\ text {if}} w_ {i} <0 . \ end {case}}}$ (при условии, что веса не равны нулю)

Тогда максимальная взвешенная сумма представляет собой сумму всех положительных коэффициентов: ${\ Displaystyle S (ш)}$ ${\ Displaystyle S (ш) = \ сумма _ {ш_ {я}> 0} ш_ {я}}$

И минимальная взвешенная сумма будет соответствовать точке напротив адреса нейрона a`: ${\ Displaystyle s (ш)}$ ${\ Displaystyle s (ш) = \ сумма _ {ш_ {я} <0} ш_ {я}}$

Когда порог c находится в диапазоне, выход нейрона равен 0 для некоторых адресов (входных шаблонов) и 1 для других. Если порог выше S, выход всегда равен 0, если ниже s, выход всегда 1. Таким образом, при правильном выборе порога нейрон реагирует только на один адрес. Когда порог равен S (максимум взвешенной суммы), нейрон реагирует только на свой собственный адрес и действует как декодер адреса в обычной памяти с произвольным доступом . ${\ Displaystyle s (вес) <с <S (вес)}$

Место в памяти

SDM предназначен для работы с шаблонами адресов, охватывающими огромное адресное пространство (порядка ). SDM предполагает, что шаблоны адресов, фактически описывающие интересующие физические ситуации, редко разбросаны по входному пространству. Невозможно зарезервировать отдельное физическое местоположение, соответствующее каждому возможному входу; SDM реализует только ограниченное количество физических или жестких мест. Физическое местоположение называется ячейкой памяти (или жесткой ). ${\ displaystyle 2 ^ {1000}}$

С каждым жестким местоположением связаны два элемента:

фиксированный жесткий адрес, который является N-битным адресом местоположения
часть содержимого шириной M битов, которая может накапливать несколько M-битных шаблонов данных, записанных в местоположение. Часть содержимого не зафиксирована; он модифицируется шаблонами данных, записанными в память.

В SDM слово можно сохранить в памяти, записав его в свободное место хранения и в то же время предоставив этому месту соответствующий декодер адреса. Нейрон в качестве декодера адреса будет выбирать местоположение на основе сходства адреса местоположения с поисковой меткой. В отличие от обычных машин Тьюринга, SDM использует преимущества параллельных вычислений с помощью декодеров адресов . Простой доступ к памяти считается вычислением, объем которого увеличивается с размером памяти.

Шаблон адреса

N-битовый вектор, используемый для записи и чтения из памяти. Шаблон адреса - это закодированное описание состояния окружающей среды. (например, N = 256.)

Шаблон данных

M-битовый вектор, являющийся объектом операций записи и чтения. Как и шаблон адреса, это закодированное описание состояния окружающей среды. (например, M = 256.)

Пишу

Запись - это операция сохранения шаблона данных в памяти с использованием определенного шаблона адреса. Во время записи ввод в память состоит из шаблона адреса и шаблона данных. Шаблон адреса используется для выбора ячеек жесткой памяти, чьи жесткие адреса находятся в пределах определенного расстояния отсечения от шаблона адреса. Шаблон данных сохраняется в каждом из выбранных мест.

Чтение

Чтение - это операция извлечения шаблона данных из памяти с использованием определенного шаблона адреса. Во время чтения шаблон адреса используется для выбора определенного количества ячеек жесткой памяти (точно так же, как во время записи). Содержимое выбранных ячеек побитовое суммирование и пороговое значение для получения M-битного шаблона данных. Это служит результатом чтения из памяти.

Цепочки указателей

Все элементы связаны в один список (или массив) указателей на ячейки памяти и хранятся в ОЗУ. Каждый адрес в массиве указывает на отдельную строку в памяти. Затем эта строка возвращается, если она похожа на другие строки. Нейроны используются в качестве декодеров и кодировщиков адресов, подобно тому, как нейроны работают в мозгу, и возвращают элементы из массива, которые совпадают или похожи.

Критическое расстояние

Модель памяти Канервы имеет концепцию критической точки : до этой точки можно легко извлечь ранее сохраненный элемент; но за пределами этого пункта элемент не может быть получен. Канерва методично рассчитала эту точку для определенного набора (фиксированных) параметров. Соответствующее критическое расстояние разреженной распределенной памяти можно приблизительно оценить, минимизируя следующее уравнение с ограничением и . Доказательство можно найти в ${\ displaystyle d \ in N}$ ${\ displaystyle d \ leqslant n}$

${\ Displaystyle {\ тильда {f}} (d) = \ left \ {{\ frac {1} {2}} \ cdot \ left [1-N \ left (z <{\ frac {w \ cdot shared ( d)} {\ sqrt {\ theta}}} \ right) + N \ left (z <{\ frac {-w \ cdot shared (d)} {\ sqrt {\ theta}}} \ right) \ right] - {\ frac {d} {n}} \ right \} ^ {2}}$

Где:

${\ displaystyle d}$ : расстояние до цели;
${\ displaystyle h}$ : количество жестких мест, активированных во время операций чтения и записи (это значение зависит от значений радиуса доступа);
${\ displaystyle s}$ : - общее количество хранимых битовых строк в памяти;
${\ displaystyle H}$ : количество жестких мест в памяти;
${\ displaystyle w}$ : это количество раз, когда целевая цепочка битов была записана в память;
${\ displaystyle \ theta}$ : общее количество случайных битовых строк во всех жестких местах, активированных операцией чтения; ${\ displaystyle h}$
${\ displaystyle shared (d)}$ : - среднее количество совместно используемых жестких местоположений, активированных двумя битами битовой строки, удаленными друг от друга. Некоторые значения для 1000-мерного SDM можно найти в книге Канерва, таблица 7.1, с. 63, или уравнения для расчета для любого SDM в Приложении B, стр. 125 той же книги. ${\ displaystyle d}$

Вероятностная интерпретация

Система ассоциативной памяти , использующая разреженные, распределенные представления, может быть переинтерпретирована как выборка важности , метод Монте-Карло для аппроксимации байесовского вывода . SDM можно рассматривать как приближение Монте-Карло к многомерному интегралу условной вероятности . SDM будет давать приемлемые отклики от обучающего набора, когда это приближение является допустимым, то есть когда обучающий набор содержит достаточно данных, чтобы обеспечить хорошие оценки лежащих в основе совместных вероятностей, и имеется достаточно выборок Монте-Карло для получения точной оценки интеграла. .

Биологическое правдоподобие

Разреженное кодирование может быть общей стратегией нейронных систем для увеличения объема памяти. Чтобы адаптироваться к окружающей среде, животные должны узнать, какие стимулы связаны с вознаграждением или наказанием, и отличать эти усиленные стимулы от аналогичных, но не относящихся к делу. Такая задача требует реализации специфической для стимула ассоциативной памяти, в которой только несколько нейронов из популяции реагируют на любой заданный стимул, а каждый нейрон реагирует только на несколько стимулов из всех возможных стимулов.

Теоретическая работа Канервы над SDM предполагает, что разреженное кодирование увеличивает емкость ассоциативной памяти за счет уменьшения перекрытия между представлениями. Экспериментально разреженное представление сенсорной информации наблюдается во многих системах, включая зрение, слух, осязание и обоняние. Однако, несмотря на накопление доказательств широко распространенного разреженного кодирования и теоретических аргументов в пользу его важности, до недавнего времени не хватало демонстрации того, что разреженное кодирование улучшает специфичность стимула ассоциативной памяти.

Некоторый прогресс был достигнут в 2014 году лабораторией Геро Мизенбёка в Оксфордском университете в анализе обонятельной системы дрозофилы . У Drosophila, разреженный запах кодирования с помощью клеток Кеньон в организме гриба , как полагают , генерировать большое количество точно адресуемых ячеек для хранения запаха конкретных воспоминаний. Lin et al. продемонстрировали, что разреженность контролируется цепью отрицательной обратной связи между клетками Кеньона и ГАМКергическим передним парным латеральным (APL) нейроном. Систематическая активация и блокада каждой ветви этой цепи обратной связи показывают, что клетки Kenyon активируют APL, а APL ингибирует клетки Kenyon. Нарушение петли обратной связи между клетками Кеньона и APL снижает разреженность запаховых реакций клеток Кеньона, увеличивает корреляцию между запахами и не дает мухам научиться различать похожие, но не несходные запахи. Эти результаты предполагают, что ингибирование обратной связи подавляет активность клеток Кеньона для поддержания разреженного, декоррелированного кодирования запаха и, следовательно, специфичности запаха воспоминаний. Публикация в журнале Science в 2017 году показала, что обонятельная схема мух реализует улучшенную версию бинарного хеширования, чувствительного к местоположению, с помощью редких случайных проекций.

Квантово-механическая интерпретация

Квантовая суперпозиция утверждает, что любая физическая система одновременно существует во всех своих возможных состояниях , количество которых экспоненциально зависит от количества сущностей, составляющих систему. Сила присутствия каждого возможного состояния в суперпозиции, т. Е. Вероятность, с которой оно будет наблюдаться при измерении, представлена его коэффициентом амплитуды вероятности . Предположение, что эти коэффициенты должны быть представлены физически отдельно друг от друга, т. Е. Локально, почти универсально в литературе по квантовой теории / квантовым вычислениям . В качестве альтернативы, как недавно предложил Джерард Ринкус из Университета Брандейса , эти коэффициенты могут быть представлены с использованием разреженных распределенных представлений (SDR), встроенных в дизайн SDM Канервы, в котором каждый коэффициент представлен небольшим подмножеством общей совокупности репрезентативных единиц, а подмножества могут перекрывать.

В частности, если мы рассмотрим модель SDR, в которой общая совокупность состоит из Q кластеров, каждый из которых имеет K двоичных единиц, так что каждый коэффициент представлен набором из Q единиц, по одной на кластер. Затем мы можем рассмотреть конкретное мировое состояние X, представление коэффициентов которого, R (X), представляет собой набор Q единиц, активных в момент времени t, чтобы иметь максимальную вероятность, а вероятности всех других состояний Y соответствуют размеру пересечения R (Y) и R (X). Таким образом, R (X) одновременно служит как представлением конкретного состояния X, так и распределением вероятностей по всем состояниям. Когда активен любой данный код, например R (A), все другие коды, хранящиеся в модели, также физически активны пропорционально их пересечению с R (A). Таким образом, SDR обеспечивает классическую реализацию квантовой суперпозиции, в которой амплитуды вероятностей прямо и неявно представлены размерами пересечений множеств . Если существуют алгоритмы, для которых время, необходимое для хранения (изучения) новых представлений и нахождения наиболее подходящего хранимого представления ( вероятностный вывод ), остается постоянным при сохранении дополнительных представлений, это будет соответствовать критерию квантовых вычислений . (Также см. Квантовое познание и Квантовая ассоциативная память )

Приложения

В приложениях памяти слова представляют собой образцы функций. Некоторые функции производятся сенсорной системой, другие управляют двигательной системой. Существует текущий шаблон (например, 1000 бит), который является текущим содержимым фокуса системы . Датчики подаются в фокус, двигатели приводятся в действие из фокуса, а доступ к памяти осуществляется через фокус.

То, что происходит в мире - «субъективный» опыт системы - внутренне представлено последовательностью паттернов в фокусе. Память хранит эту последовательность и может воссоздать ее позже в фокусе, если обратиться с шаблоном, подобным тому, который встречался в прошлом. Таким образом, память учится предсказывать то, что вот-вот произойдет. Широкое применение памяти будет в системах, которые имеют дело с реальной информацией в реальном времени.

Приложения включают в себя видение - обнаружение и идентификацию объектов в сцене и прогнозирование последующих сцен - робототехника , обнаружение и проверка сигналов , а также адаптивное обучение и управление . С теоретической точки зрения работа памяти может помочь нам понять память и обучение у людей и животных.

Поиск лучшего совпадения

SDM может быть применен к проблеме поиска наилучшего совпадения с тестовым словом в наборе данных сохраненных слов. или, другими словами, задача поиска ближайшего соседа .

Рассмотрим память с N ячейками, где . Пусть каждое местоположение имеет емкость для одного n -битного слова (например, N = 2 ¹⁰⁰ 100-битных слов), и пусть декодирование адреса выполняется N нейронами декодера адреса. Установите порог каждого нейрона x на его максимальную взвешенную сумму и используйте общий параметр d, чтобы настроить все пороги при доступе к памяти. Тогда эффективный порог нейрона x будет равен, что означает, что местоположение x доступно каждый раз, когда адрес x находится в пределах d бит адреса, представленного в памяти (то есть адреса, содержащегося в адресном регистре). С у нас обычная оперативная память . Предположим далее, что каждое местоположение имеет специальный бит занятости местоположения, к которому можно получить доступ так же, как и к обычным битам данных. Запись слова в местоположение устанавливает этот бит занятости местоположения . Предположим, что можно прочитать только занятую позицию. ${\ displaystyle N = 2 ^ {n}}$ ${\ displaystyle | x |}$ ${\ displaystyle x- | d |}$ ${\ displaystyle d = 0}$

Чтобы сохранить данные в памяти, начните с установки и выдачи команды для сброса бита занятости местоположения . Эта единственная операция помечает всю память как незанятую независимо от значений адресного регистра. Затем установите и запишите каждое слово y набора данных с самим y в качестве адреса. Обратите внимание, что каждая операция записи влияет только на одно местоположение: местоположение y . Таким образом, время заполнения пропорционально количеству слов в наборе данных. ${\ displaystyle d = n}$ ${\ displaystyle d = 0}$

Поиск наилучшего совпадения для тестового слова z включает в себя размещение z в адресном регистре и нахождение наименьшего расстояния d, для которого существует занятое место. Мы можем начать поиск, последовательно устанавливая и увеличивая d, пока не будет найдено занятое место. Этот метод дает среднее время поиска, которое пропорционально количеству бит адреса или немного меньше, чем потому, что ближайшее занятое местоположение может быть чуть меньше бит от z (при двоичном поиске на d это будет O (log (n)) . ${\ displaystyle d = 0}$ ${\ displaystyle n / 2}$ ${\ displaystyle n / 2}$

Для 100-битных слов потребуется 2 ¹⁰⁰ ячеек, то есть чрезвычайно большой объем памяти. Однако, если мы создадим память так, как мы храним слова набора данных, нам понадобится только одно место (и один адресный декодер) для каждого слова набора данных. Нет необходимости в незанятых местах. Это представляет собой аспект разреженности в SDM.

Распознавание речи

SDM может применяться при расшифровке речи , при этом обучение состоит из «слушания» большого корпуса разговорной речи . Две сложные проблемы с естественной речью: как определить границы слов и как приспособиться к различным говорящим. Память должна поддерживать и то, и другое. Во-первых, он хранит последовательности шаблонов в виде цепочек указателей. При обучении - при прослушивании речи - он будет строить вероятностную структуру с наибольшей вероятностью ветвления на границах слов. При расшифровке речи эти точки ветвления обнаруживаются и имеют тенденцию разбивать поток на сегменты, соответствующие словам. Во-вторых, чувствительность памяти к подобию - это ее механизм приспособления к разным говорящим - и к вариациям голоса одного и того же говорящего.

«Осознавая забывание»

Функции распада

Функция экспоненциального затухания

Отрицательно-переведенная сигмовидная функция

В Университете Мемфиса Ума Рамамурти, Сидни К. Д'Мелло и Стэн Франклин создали модифицированную версию системы с разреженной распределенной памятью, которая представляет собой «понимание забывания». Он использует уравнение затухания, чтобы лучше показать помехи в данных. Система с разреженной распределенной памятью распределяет каждый шаблон примерно по одной сотой мест, поэтому интерференция может иметь пагубные последствия.

Представлены два возможных примера распада этой модифицированной разреженной распределенной памяти.

Механизм экспоненциального распада: ${\ Displaystyle \! е (х) = 1 + е ^ {- ах}}$

Отрицательно-транслированный механизм распада сигмовидной кишки: ${\ displaystyle f (x) = 1 - [{\ frac {1} {1 + e ^ {- a (xc)}}}]}$

В функции экспоненциального затухания она приближается к нулю быстрее при увеличении x , a - постоянная величина (обычно между 3–9), а c - счетчик. Для negated- переведенной сигмовидной функции , распад похож на функцию экспоненциального распада , когда больше 4.

Когда график приближается к 0, он показывает, как память забывается с использованием механизмов распада.

Генетическая разреженная распределенная память

Ашраф Анвар, Стэн Франклин и Дипанкар Дасгупта из Университета Мемфиса; предложил модель инициализации SDM с использованием генетических алгоритмов и генетического программирования (1999).

Генетическая память использует генетический алгоритм и разреженную распределенную память как псевдоискусственную нейронную сеть. Считалось, что его можно использовать для создания искусственной жизни.

Статистический прогноз

SDM применялся для статистического прогнозирования , задачи связывания чрезвычайно больших векторов состояния восприятия с будущими событиями. В условиях почти полной или избыточной емкости, когда поведение модели ассоциативной памяти нарушается, обработка, выполняемая моделью, может интерпретироваться как обработка статистического предсказателя, а каждый счетчик данных в SDM может рассматриваться как независимая оценка. условной вероятности того, что двоичная функция f будет равна множеству активации, определяемому ячейкой памяти счетчика.

Общий искусственный интеллект

LIDA использует разреженную распределенную память для моделирования познания в биологических системах. В разреженной распределенной памяти пространство вспоминает или распознает объект, который он имеет, по отношению к другим объектам. Он был разработан Стэном Франклином, создателем модифицированной системы с разреженной распределенной памятью, «осознающей забывание». Преходящие эпизодические и декларативные воспоминания имеют распределенные представления в LIDA (на основе модифицированной версии SDM), есть свидетельства того, что это также относится к нервной системе.
CMatie - это «сознательный» программный агент, разработанный для управления объявлениями о семинарах на факультете математических наук Университета Мемфиса . Он основан на SDM, дополненном использованием генетических алгоритмов в качестве ассоциативной памяти .
Иерархическая временная память использует SDM для хранения разреженных распределенных представлений данных.

(Также см. Когнитивная архитектура и Общий искусственный интеллект для списка проектов, связанных с SDM)

Обучение с подкреплением

SDM обеспечивают линейную схему аппроксимации локальной функции , предназначенную для работы, когда очень большое / многомерное входное (адресное) пространство должно быть отображено в гораздо меньшую физическую память . В общем, локальные архитектуры, включая SDM, могут быть подвержены проклятию размерности , поскольку некоторые целевые функции могут потребовать, в худшем случае, экспоненциальное количество локальных единиц для точной аппроксимации по всему входному пространству. Тем не менее, широко распространено мнение , что большинство систем принятия решений требуются высокая точность только вокруг низкоразмерных многообразий на пространстве состояний , или важное государственное «шоссе». Работа Ratitch et al. объединила модель памяти SDM с идеями обучения на основе памяти , что обеспечивает аппроксиматор, который может динамически адаптировать его структуру и разрешение, чтобы находить области пространства состояний, которые являются «более интересными», и пропорционально выделять больше ресурсов памяти для их моделирования точно.

Индексирование объектов в компьютерном зрении

Лаборатория Даны Х. Баллард продемонстрировала универсальную технику индексирования объектов для компьютерного зрения, которая сочетает в себе достоинства анализа главных компонентов с благоприятными свойствами сопоставления пространств большой размерности для достижения высокоточного распознавания. Алгоритм индексации использует систему активного зрения в сочетании с модифицированной формой SDM и предоставляет платформу для изучения связи между внешним видом объекта и его идентичностью.

Расширения

Было предложено множество расширений и улучшений для SDM, например:

Тернарное пространство памяти: это позволяет использовать память в качестве временной эпизодической памяти (TEM) в когнитивных программных агентах . ТЕМ - это память с высокой специфичностью и низким сроком хранения, используемая для событий, имеющих особенности определенного времени и места.
Целочисленный SDM, который использует модульные арифметические целочисленные векторы, а не двоичные векторы. Это расширение улучшает возможности представления памяти и является более надежным по сравнению с нормализацией. Его также можно расширить для поддержки забывания и надежного хранения последовательностей.
Использование векторов слов большего размера, чем адресные векторы: это расширение сохраняет многие из желаемых свойств исходного SDM: автоматическую ассоциативность, адресуемость контента, распределенное хранение и устойчивость к шумным входам. Кроме того, он добавляет новую функциональность, позволяющую эффективно автоматически сохранять последовательности векторов, а также других структур данных, таких как деревья.
Построение SDM из шипящих нейронов . Несмотря на биологическое сходство с SDM, большая часть работ, предпринятых для демонстрации его возможностей на сегодняшний день, использует высокоискусственные модели нейронов, которые абстрагируются от фактического поведения нейронов в головном мозге . Недавняя работа лаборатории Стива Фербера в Университете Манчестера предложила адаптации к SDM, например, путем включения N-of-M ранговых кодов в то, как популяции нейронов могут кодировать информацию, что может сделать возможным создание варианта SDM из биологически правдоподобных компоненты. Эта работа была включена в SpiNNaker (Spiking Neural Network Architecture), которая используется в качестве нейроморфной вычислительной платформы для проекта Human Brain Project .
Неслучайное распределение ячеек: хотя ячейки памяти изначально распределены случайным образом в двоичном адресном пространстве N, окончательное распределение ячеек зависит от представленных входных шаблонов и может быть неслучайным, что обеспечивает лучшую гибкость и обобщение . Шаблон данных сначала сохраняется в местах, которые находятся ближе всего к входному адресу. Затем сигнал (т.е. шаблон данных) распространяется по всей памяти, и небольшой процент мощности сигнала (например, 5%) теряется в каждом последующем обнаруженном местоположении. Распределение сигнала таким образом устраняет необходимость выбора радиуса чтения / записи, что является одной из проблемных особенностей исходного SDM. Все ячейки, выбранные в операции записи, теперь не получают копию исходного двоичного шаблона с одинаковой силой. Вместо этого они получают копию шаблона, взвешенную с реальным значением от 1,0 до 0,05, для сохранения в счетчиках с действительными значениями (а не в двоичных счетчиках в SDM Kanerva). Это вознаграждает ближайшие местоположения более сильным сигналом и использует естественную архитектуру SDM для ослабления мощности сигнала. Точно так же при чтении из памяти выход из ближайших местоположений имеет больший вес, чем выход из более отдаленных местоположений. Новый метод сигнала позволяет использовать общую мощность сигнала, полученного местоположением, как меру пригодности местоположения, и является гибким для изменения входных данных (поскольку коэффициент потерь не нужно изменять для входных шаблонов разной длины).
SDMSCue (разреженная распределенная память для небольших реплик): Ашраф Анвар и Стэн Франклин из Университета Мемфиса представили вариант SDM, способный обрабатывать небольшие реплики; а именно SDMSCue в 2002 году. Ключевая идея состоит в том, чтобы использовать несколько операций чтения / записи и пространственные проекции для достижения последовательно более длинной реплики.

Связанные патенты

Способ и устройство для системы с разреженной распределенной памятью US 5113507 A, Universities Space Research Association , 1992
Способ и устройство для хранения и вызова информации, реализующие систему памяти kanerva US 5829009 A, Texas Instruments , 1998
Цифровая память, Фербер, Стивен. США 7512572 B2, 2009 г.
Временная память с использованием разреженного распределенного представления US 20110225108 A1 Numenta , 2011

Реализация

Двоичные векторные символы C (CBVS): включает реализацию SDM на C как часть векторной символьной архитектуры, разработанной EISLAB в Технологическом университете Лулео : http://pendicular.net/cbvs.php
CommonSense ToolKit (CSTK) для обработки данных датчиков в реальном времени, разработанный в университете Ланкастера, включает реализацию SDM на C ++ : http://cstk.sourceforge.net/
Реализация Джулии Брайаном Хейсом : https://github.com/bit-player/sdm-julia
Learning Intelligent Distribution Agent (LIDA), разработанный лабораторией Стэна Франклина в Университете Мемфиса, включает реализацию SDM на Java : http://ccrg.cs.memphis.edu/framework.html
Реализация Python : https://github.com/msbrogli/sdm
Реализация Python и OpenCL : https://github.com/msbrogli/sdm-framework
Реализация APL
Реализация LISP для машины подключения
Реализация FPGA
Оригинальная аппаратная реализация, разработанная НАСА.
Реализация на языке C, выполненная в Исследовательском институте передовых компьютерных наук в НАСА в Эймсе.

Languages

In other projects