Хеббийская теория - Hebbian theory

Теория Хебба - это нейробиологическая теория, утверждающая, что увеличение синаптической эффективности возникает из-за повторяющейся и постоянной стимуляции постсинаптической клетки пресинаптической клеткой. Это попытка объяснить синаптическую пластичность , адаптацию нейронов мозга в процессе обучения. Он был введен Дональдом Хеббом в его книге 1949 года «Организация поведения» . Теория также называется правилом Хебба , постулат Хебба и теория сборки клеток . Хебб заявляет об этом следующим образом:

Предположим, что постоянство или повторение реверберационной активности (или «следа») имеет тенденцию вызывать длительные клеточные изменения, которые добавляют к ее стабильности. ... Когда аксон клетки A находится достаточно близко, чтобы возбудить клетку B, и неоднократно или постоянно участвует в ее возбуждении, в одной или обеих клетках происходит некоторый процесс роста или метаболические изменения, так что эффективность A как одного из клетки, стреляющие B , увеличиваются.

Теорию часто резюмируют как «Ячейки, которые срабатывают вместе, соединяются вместе». Тем не менее, Hebb подчеркнул , что ячейка А потребности в «принимает участие в стрельбе» клетки B , и такая причинно - следственная связь может иметь место только тогда , когда клетка А срабатывает непосредственно перед, а не в то же время , как, клетки B . Этот аспект причинно-следственной связи в работе Хебба предвосхитил то, что теперь известно о пластичности , зависящей от времени всплеска , которая требует временного приоритета.

Теория пытается объяснить ассоциативное или хеббовское обучение , при котором одновременная активация клеток приводит к выраженному увеличению синаптической силы между этими клетками. Он также обеспечивает биологическую основу безошибочных методов обучения для обучения и восстановления памяти. При изучении когнитивных функций нейронных сетей ее часто рассматривают как нейронную основу обучения без учителя .

Хеббийские энграммы и теория сборки клеток

Теория Хебба касается того, как нейроны могут соединяться, чтобы стать инграммами . Теории Хебба о форме и функции клеточных ансамблей можно понять из следующего:

Общая идея старая, что любые две клетки или системы клеток, которые постоянно активны в одно и то же время, будут иметь тенденцию становиться «ассоциированными», так что активность одной способствует активности другой.

Хебб также писал:

Когда одна клетка неоднократно помогает запускать другую, аксон первой клетки развивает синаптические выступы (или увеличивает их, если они уже существуют) в контакте с сомой второй клетки.

[Д. Алан Олпорт] выдвигает дополнительные идеи относительно теории сборки клеток и ее роли в формировании инграмм в соответствии с концепцией автоассоциации, описанной следующим образом:

Если входы в систему вызывают повторение одного и того же паттерна активности, набор активных элементов, составляющих этот паттерн, будет становиться все более прочно взаимосвязанным. То есть каждый элемент будет иметь тенденцию включать все остальные элементы и (с отрицательными весами) отключать элементы, которые не являются частью шаблона. Другими словами, шаблон в целом станет «автоматически связанным». Мы можем назвать выученный (автоматически связанный) паттерн инграммой.

Работа в лаборатории Эрика Кандела предоставила доказательства участия хеббийских механизмов обучения в синапсах у морских брюхоногих моллюсков Aplysia californica . Эксперименты по Хебба механизмов синапса изменения по центральной нервной системы синапсах позвоночных намного труднее контролировать , чем эксперименты с относительно простыми периферической нервной системы синапсов , изученных в морских беспозвоночных. Большая часть работы по долгосрочным синаптическим изменениям между нейронами позвоночных (например, долгосрочное потенцирование ) включает использование нефизиологической экспериментальной стимуляции клеток мозга. Однако некоторые из физиологически релевантных механизмов модификации синапсов, которые были изучены в головном мозге позвоночных, действительно кажутся примерами процессов Хебба. В одном из таких исследований рассматриваются результаты экспериментов, которые показывают, что длительные изменения синаптической силы могут быть вызваны физиологически релевантной синаптической активностью, действующей как через хеббовские, так и негеббовские механизмы.

Принципы

С точки зрения искусственных нейронов и искусственных нейронных сетей принцип Хебба можно описать как метод определения того, как изменять веса между модельными нейронами. Вес между двумя нейронами увеличивается, если два нейрона активируются одновременно, и уменьшается, если они активируются по отдельности. Узлы, которые имеют тенденцию быть одновременно положительными или отрицательными, имеют сильные положительные веса, в то время как те, которые имеют тенденцию быть противоположными, имеют сильные отрицательные веса.

Ниже приводится примерное описание изучения хеббского языка: (возможно множество других описаний)

где - вес соединения нейрона с нейроном и вход для нейрона . Обратите внимание, что это обучение по шаблону (веса обновляются после каждого примера обучения). В сети Хопфилда соединения устанавливаются на ноль, если (рефлексивные соединения не разрешены). С бинарными нейронами (активация 0 или 1) соединения будут установлены на 1, если подключенные нейроны имеют одинаковую активацию для шаблона.

При использовании нескольких обучающих паттернов выражение становится средним для отдельных:

где есть вес связи от нейрона к нейрону , это количество учебных моделей, й вход для нейрона и <> представляет собой среднее значение всех учебные моделей. Это обучение по эпохам (веса обновляются после того, как представлены все обучающие примеры), и это последний термин, применимый как к дискретным, так и к непрерывным обучающим выборкам. Опять же, в сети Хопфилда соединения обнуляются, если (нет рефлексивных соединений).

Математическая модель Гарри Клопфа - это разновидность хеббийского обучения, которая учитывает такие явления, как блокирование и многие другие явления нейронного обучения . Модель Клопфа воспроизводит множество биологических явлений, а также проста в реализации.

Отношение к обучению без учителя, стабильность и обобщение

Из-за простой природы обучения Хебба, основанного только на совпадении пре- и постсинаптической активности, может быть неясно, почему эта форма пластичности приводит к осмысленному обучению. Однако можно показать, что пластичность Хебба действительно учитывает статистические свойства входных данных таким образом, что их можно отнести к категории обучения без учителя.

Математически это можно показать на упрощенном примере. Давайте работать в упрощающем предположении об одном нейроне скорости , основанном на скорости , чьи входы имеют скорости . Ответ нейрона обычно описывается как линейная комбинация его входных данных , за которой следует функция ответа :

Как было определено в предыдущих разделах, пластичность Хебба описывает эволюцию синаптического веса во времени :

Предполагая, для простоты, функцию ответа идентичности , мы можем написать

или в матричной форме:

Как и в предыдущей главе, если обучение по эпохам выполняется, можно выполнить средний дискретный или непрерывный (по времени) обучающий набор :

где - корреляционная матрица входных данных при дополнительном предположении, что (т. е. среднее значение входных данных равно нулю). Это система связанных линейных дифференциальных уравнений. Поскольку он симметричен , он также диагонализуем , и, работая в его базисе собственных векторов, можно найти решение, которое имело бы вид

где - произвольные постоянные, - собственные векторы и соответствующие им собственные значения. Поскольку корреляционная матрица всегда является

положительно определенной матрицей , все собственные значения положительны, и можно легко увидеть, как указанное выше решение всегда экспоненциально расходится во времени. Это внутренняя проблема из-за нестабильности этой версии правила Хебба, так как в любой сети с доминирующим сигналом синаптические веса будут увеличиваться или уменьшаться экспоненциально. Интуитивно это происходит потому, что всякий раз, когда пресинаптический нейрон возбуждает постсинаптический нейрон, нагрузка между ними усиливается, вызывая еще более сильное возбуждение в будущем и так далее, самоусиливающимся образом. Можно подумать, что решение состоит в том, чтобы ограничить частоту срабатывания постсинаптического нейрона, добавив нелинейную насыщающую функцию отклика , но на самом деле можно показать, что для любой модели нейрона правило Хебба нестабильно. Поэтому сетевые модели нейронов обычно используют другие теории обучения, такие как теория BCM , правило Оджи или обобщенный алгоритм Хеббиана .

Тем не менее, даже для нестабильного решения, приведенного выше, можно увидеть, что по прошествии достаточного времени один из членов преобладает над другими, и

где -

наибольшее собственное значение . В это время постсинаптический нейрон выполняет следующую операцию:

Поскольку, опять же, это собственный вектор, соответствующий наибольшему собственному значению корреляционной матрицы между s, это точно соответствует вычислению первого

главного компонента входных данных.

Этот механизм может быть расширен для выполнения полного PCA (анализа главных компонентов) входных данных путем добавления дополнительных постсинаптических нейронов при условии, что постсинаптические нейроны не могут улавливать один и тот же главный компонент, например, путем добавления латерального торможения в постсинаптическом слое. Таким образом, мы соединили обучение Hebbian с PCA, который представляет собой элементарную форму обучения без учителя, в том смысле, что сеть может улавливать полезные статистические аспекты входных данных и «описывать» их в дистиллированном виде в своих выходных данных.

Ограничения

Несмотря на обычное использование моделей Хебба для долговременной потенциации, принцип Хебба не охватывает все формы синаптической долговременной пластичности. Хебб не постулировал никаких правил для тормозных синапсов и не делал прогнозов для последовательностей антипричинных спайков (пресинаптический нейрон срабатывает после постсинаптического нейрона). Синаптическая модификация может происходить не только между активированными нейронами A и B, но и в соседних синапсах. Поэтому все формы гетеросинаптической и гомеостатической пластичности считаются негеббийскими. Примером может служить ретроградная передача сигналов на пресинаптические терминалы. Соединение, наиболее часто определяемое как выполняющее роль ретроградного передатчика, - это оксид азота , который из-за своей высокой растворимости и диффузии часто оказывает влияние на соседние нейроны. Этот тип диффузной синаптической модификации, известный как объемное обучение, не включен в традиционную хеббовскую модель.

Хеббийский обучающий счет зеркальных нейронов

Обучение Хебба и пластичность, зависящая от времени всплеска, использовались во влиятельной теории возникновения зеркальных нейронов . Зеркальные нейроны - это нейроны, которые срабатывают как когда человек выполняет действие, так и когда человек видит или слышит, что другой выполняет аналогичное действие. Открытие этих нейронов оказало большое влияние на объяснение того, как люди понимают действия других, показав, что, когда человек воспринимает действия других, человек активирует моторные программы, которые они использовали бы для выполнения аналогичных действий. Затем активация этих моторных программ добавляет информацию к восприятию и помогает предсказать, что человек будет делать дальше, на основе собственной моторной программы воспринимающего. Задача состояла в том, чтобы объяснить, как у людей появляются нейроны, которые реагируют как на выполнение действия, так и на то, что он слышит или видит, как другой выполняет аналогичные действия.

Кристиан Кейзерс и Дэвид Перретт предположили, что когда человек выполняет определенное действие, он будет видеть, слышать и чувствовать его выполнение. Эти реафферентные сенсорные сигналы будут запускать активность нейронов, реагирующих на вид, звук и ощущение действия. Поскольку активность этих сенсорных нейронов будет постоянно перекрываться во времени с активностью двигательных нейронов, вызвавших действие, обучение Хебби предсказывает, что синапсы, соединяющие нейроны, реагирующие на зрение, звук и ощущение действия, и нейроны, запускающие действие должно быть усилено. То же самое верно, когда люди смотрят на себя в зеркало, слышат, как они болтают или им подражают. После многократного переживания этого переосмысления синапсы, соединяющие сенсорные и моторные представления о действии, становятся настолько сильными, что мотонейроны начинают стрелять по звуку или видению действия, и создается зеркальный нейрон.

Доказательства этой точки зрения получены из многих экспериментов, которые показывают, что моторные программы могут запускаться новыми слуховыми или визуальными стимулами после повторного сочетания стимула с выполнением моторной программы (обзор доказательств см. В Giudice et al., 2009 ). Например, люди, которые никогда не играли на пианино, не активируют области мозга, участвующие в игре на пианино, при прослушивании фортепианной музыки. Доказано, что пяти часов уроков игры на фортепиано, в которых участник слышит звук фортепиано каждый раз, когда он нажимает клавишу, достаточно для запуска активности в двигательных областях мозга при прослушивании фортепианной музыки, когда ее слышат в более позднее время. В соответствии с тем фактом, что пластичность, зависящая от времени спайков, возникает только в том случае, если активация пресинаптического нейрона предсказывает активацию постсинаптического нейрона, связь между сенсорными стимулами и моторными программами также, по-видимому, усиливается только в том случае, если стимул зависит от моторной программы.

Смотрите также

использованная литература

дальнейшее чтение

внешние ссылки