Обработка воплощенного языка - Embodied language processing

Воплощенное познание возникает, когда сенсомоторные способности организма (способность тела реагировать на свои чувства движением), тело и окружающая среда играют важную роль в мышлении. То, как взаимодействуют тело человека и его окружение, также позволяет развивать определенные функции мозга и в будущем иметь возможность действовать. Это означает, что не только разум влияет на движения тела, но и тело влияет на способности разума, что также называется двунаправленной гипотезой . Есть три обобщения, которые считаются верными в отношении воплощенного познания. Человека двигательной системы (что контроль за движением тела) активируется , когда (1) они наблюдают манипулируемо объектов, (2) глаголы действия процесса, и (3) наблюдать за движениями другого индивидуума.

Воплощенная семантика - это одна из двух теорий, касающихся расположения и обработки сенсорных моторных сигналов в человеческом мозге. Теория воплощенной семантики предполагает существование специализированных узлов, в которых значение слова связано с сенсорно-моторным процессором, связанным со значением слова. Например, концепция удара ногой будет представлена ​​в сенсомоторных областях, которые контролируют действия ногой. В результате теория предполагает, что люди должны обладать телом, чтобы понимать английский язык.

Нейронная схема

Перекрытие между различными семантическими категориями с сенсорно-моторными областями предполагает, что нейроны используют общий механизм для обработки действий, восприятия и семантики. Принцип корреляции гласит, что нейроны, которые срабатывают вместе, связаны друг с другом. Кроме того, нейроны рассинхронизированы, разъединены. Когда человек произносит слово, паттерн активации артикуляционных двигательных систем говорящего приводит к активации слуховой и соматосенсорной систем из-за воспринимаемых им звуков и движений.

Если значение слова основано на визуальных формах объектов, схема словоформы активна вместе с нейронной активностью в вентрально-временном визуальном потоке, связанной с обработкой информации о визуальном объекте. Корреляционное обучение связывает словарные и объектные схемы, в результате чего образуются объектно-семантические отношения.

Семантические концентраторы

Семантический узел представляет собой фокус в мозгу, где объединяется вся семантическая информация, относящаяся к конкретному слову. Например, цвет, форма, размер, запах и звук, связанные со словом «кошка», будут интегрированы в один и тот же семантический узел. Некоторые регионы-кандидаты для семантических узлов включают:

  1. Нижняя лобная кора : передняя часть области Брока и прилегающая ткань левой нижней лобной коры, включая области 44, 45 и 47 Бродмана, активируются для семантической обработки и функциональных изменений.
  2. Верхняя височная кора : содержит область Вернике, которая контролирует классическую заднюю речевую область в верхней височной извилине и борозде и прилегает к ним . Эта область считается семантическим процессором на основе данных о повреждениях, перфузии и визуализации.
  3. Нижняя теменная кора : угловатая и примыкающая к надмаргинальной извилине в нижней теменной коре, как полагают, наиболее сильно активируется во время семантической обработки кросс-модальных пространственных и временных конфигураций.
  4. Нижняя и средняя височная кора : общий сайт семантической привязки между словами и их значением в левой или двусторонней медиальной / нижней височной коре.
  5. Передняя височная кора: считается, что она участвует в семантической деменции . который представляет собой серьезный и специфический семантический дефицит, характеризующийся поражением обоих височных полюсов.

Механизмы семантической интеграции включают в себя различные узловые сайты, перечисленные выше, что противоречит идее о том, что существует один центр, в котором происходит вся интеграция. Однако каждая отдельная ступица совместима с амодальной моделью. В совокупности все центры предоставляют доказательства теории о том, что в мозгу есть области, в которых эмоциональная, сенсорная и двигательная информация сходятся в одной области.

Семантическая специфика категории

Каждый потенциальный семантический узел активируется в определенной степени в соответствии с категорией, к которой принадлежит воспринимаемое слово. Например, повреждение каждого из пяти потенциальных узлов не влияет на все слова. Вместо этого экспериментальные данные определяют, что одна семантическая категория страдает больше, чем другая, когда она относится к слову.

  1. Левая нижняя лобная кора и двусторонние фронтоцентральные двигательные системы: эти две области сильно активируются в ответ на слова или фразы, связанные с действием. Поражение этих двух областей приводит к нарушению обработки слов, связанных с действием, и понятий, связанных с действием.
  2. Двусторонняя верхняя височная кора: эта область сильно активируется в ответ на слова, связанные со звуками. Поражение этой области приводит к ухудшению качества обработки текста.
  3. Левая нижняя теменная кора: особенно рядом с надмаргинальной извилиной, эта область активируется пространственным языком. Поражение нижней теменной коры вызывает нарушение пространственного языка, например, предлогов .
  4. Медиальная / нижняя височная кора: эта область сильно активируется специфическими для категории словами «животные», «инструменты», именами человека, цветом и формой. Поражения также демонстрируют нарушение слов, относящихся к данной категории.
  5. Передняя височная кора: эта область связана с обработкой различий между семантическими категориями.

Считается, что некоторые различия категорий связаны с соседними узлами. Например, специфичность категории наиболее высока у грушевидной формы и переднего островка обонятельной коры. Здесь слова запаха, такие как «корица», приводят к большей активации, чем контрольные слова. Во вкусовой коре в передней островке и лобной крышке вкусовые слова, такие как «сахар», приводят к более сильной активации.

Гипотеза экспериментального следа

Гипотеза экспериментальных следов утверждает, что каждый раз, когда человек взаимодействует с миром, следы этого конкретного опыта остаются в нашем мозгу. К этим следам можно снова получить доступ, когда человек придумывает слова или предложения, которые напоминают ему об этом опыте. Кроме того, эти следы в нашем мозгу связаны с действием, с которым они связаны.

Слова и предложения становятся теми подсказками, которые извлекают эти следы из нашего разума. Исследователи изучали, влияет ли предыдущий опыт использования слова, например его расположение (вверх или вниз) в пространстве, на то, как люди понимают это слово и затем реагируют на него. В одном эксперименте исследователи выдвинули гипотезу, что если чтение объектного слова также активирует место, связанное с этим существительным, то следующая реакция действия должна быть совместима с этой ассоциацией. Они обнаружили, что участники быстрее нажимали кнопку выше, чем другую кнопку, когда слово ассоциировалось с «вверх» или «выше», чем когда кнопка была ниже другой для слов, связанных с «вверх» и «выше».

Результаты этого исследования показали, что участники быстрее реагировали, когда расположение слова и действие, которое они должны были выполнить, были одинаковыми. Это показывает, что языковая обработка и действие связаны. Это исследование также показало, что информация о местоположении слова автоматически активируется после просмотра слова. В аналогичном исследовании было обнаружено, что участники одинаково быстро реагировали на слова, которые были связаны либо с верхним, либо с нижним положением, когда кнопки для ответа на эти слова были горизонтальными, что означает, что эффект эмпирического следа был исключен, когда ответное действие не связано ни с одним из активированных местоположений.

Экспериментально-симуляционная теория понимания языка

Некоторые теоретики предложили экспериментально-симуляционный подход к пониманию языка. Они утверждают, что предыдущие эмпирические следы, связанные со словом, могут быть повторно активированы на более позднем этапе при доступе к значению того же слова. Это было подчеркнуто на примере слова «самолет» в ситуации, когда кто-то указывает на самолет в небе, таким образом заставляя человека смотреть вверх. Эти эмпирические следы, например, «взгляд вверх», позже снова активируются при понимании значения слова «самолет». Точно так же другой пример может быть, когда человек обращается к значению слова «улитка», он может также получить доступ к экспериментальным следам, связанным с этим словом, например, «глядя вниз» (вероятно, в сторону земли).

Понимание языка и двигательные системы, задействованные в действии

Конкретные глаголы

В результате предыдущего опыта с определенными словами несколько исследований показали, что действие, связанное с определенным словом, также активируется в моторной коре при обработке того же слова. Например, с помощью функциональной магнитно-резонансной томографии (фМРТ), связанной с событием , было обнаружено, что воздействие глаголов конкретных действий, относящихся к действиям лица, рук или ног (например, лизать, ковырять, пинать), активировало двигательные области, которые стимулируются, когда выполнение действий ногой, рукой или ртом.

Абстрактные глаголы

Однако, когда речь идет о абстрактных глаголах, результаты не столь однозначны. Воплощенные теории понимания языка предполагают, что абстрактные концепции, а также конкретные концепции основаны на сенсомоторной системе (Jirak et al., 2010). Некоторые исследования изучали активацию моторной коры с использованием абстрактных, а также конкретных глаголов, исследуя стимуляцию моторной коры при понимании буквальных глаголов действия (конкретные) по сравнению с метафорическим использованием тех же глаголов действия (абстрактные). Одно из таких исследований использовало фМРТ для изучения участников, когда они наблюдали за действиями, выполняемыми ртом, рукой или ногой, и читали буквальные и метафорические предложения, относящиеся к рту, руке или ноге. Это исследование обнаружило активацию в премоторной коре головного мозга для буквального действия (например, «хватание ножниц»), но не для метафорического использования (например, «схватывания идеи»). Эти данные предполагают, что предположение воплощенных теорий о том, что абстрактные концепции, а также конкретные концепции основаны на сенсомоторной системе, может быть неверным.

Однако другие исследования, напротив, обнаружили активацию моторной коры для метафорического использования глаголов действия. В одном из таких исследований изучалась активация коры головного мозга во время понимания буквальных и идиоматических предложений с помощью магнитоэнцефалографии (МЭГ). Во время задания на чтение беззвучно участникам были предъявлены стимулы, которые включали в себя как буквальные, так и метафорические глаголы действия, связанные с руками, например, «Мэри поймала рыбу» против «Мэри поймала солнце», а также буквальные и метафорические глаголы действия, связанные с ногами, например «Пабло запрыгнул в кресло» против «Пабло запрыгнул на подножку». Это исследование показало, что обработка абстрактных глаголов (идиом в данном случае) действительно активировала моторные области мозга, активизируя переднюю лобно-височную активность очень рано по сравнению с буквальными глаголами.

Воплощенная семантика с использованием фМРТ для конкретных и абстрактных слов

Хок и его коллеги обнаружили, что чтение слов, связанных с действиями стопы, руки или рта (примеры: пинок, кирка, лизание), активируется двигательными областями, смежными или перекрывающимися с областями, активируемыми при выполнении действий рукой, ступней или ртом. Кроме того, нейролингвист Теттманти и его коллеги обнаружили, что прослушивание предложений, связанных с действием, активирует премоторную кору головного мозга соматотопическим образом. Пример: предложения на нижних конечностях демонстрируют премоторную активность дорсально по отношению к предложениям, расположенным сверху по отношению к предложениям через рот.

Азиз-Заде и его коллеги локализовали интересующие премоторные области стопы, кисти и рта у каждого испытуемого, заставляя испытуемых наблюдать за действиями, связанными с каждым эффектором, и читали фразы, связанные со стопой, рукой и ртом. У каждого субъекта области, наиболее активные для наблюдения за движением стопы, также были наиболее активными в отношении языка, связанного с действиями стопы. То же было и с руками и ртом. Риццолатти и его коллеги предположили, что план действий (манипулирование, достижение) важнее фактического задействованного эффектора.

В других исследованиях изучалась активация двигательной системы при понимании конкретных и абстрактных предложений. В одном исследовании с использованием транскраниальной магнитной стимуляции (ТМС) и поведенческой парадигмы было выяснено, активирует ли слушание предложений, связанных с действием, активность в моторной коре. Это было исследовано с использованием моторных вызванных потенциалов (МВП) из TMS, которые были записаны с мышц рук при стимуляции двигательной области кисти и с мышц стопы и ног при стимуляции двигательной области стопы. Участникам были предложены предложения, касающиеся действий рук или ног. В качестве контроля участники слушали предложения, содержащие абстрактное содержание. Исследование показало, что при прослушивании предложений, выражающих действия ступни / ноги и кисти / руки, действительно происходила активация моторной коры. Эта активация особенно касалась тех областей моторной системы, «где эффектор, участвующий в обработанном предложении, представлен моторно» (стр. 360). В частности, результаты показали, что прослушивание предложений, связанных с движением рук, вызвало уменьшение амплитуды MEP, записанной с помощью мышц руки, а прослушивание предложений, связанных с движением стопы, вызвало уменьшение амплитуды MEP, записанного с мышц стопы.

Воплощенная семантика в BA44

Азиз-Заде обнаружил, что, хотя наблюдение за действием и чтение фраз о действиях вызывали активность в премоторной и префронтальной областях в непосредственной близости от области Брока, активированные области в значительной степени не перекрывались. Активации для чтения фраз были перед активациями для наблюдения за действиями и медиальнее их.

Исследование Азиз-Заде противоречит исследованию Хамзея, который подчеркивал перекрытие активации языка и наблюдения за действиями в нижней лобной извилине. Однако разница в результатах, скорее всего, была связана с различием языковых задач. Хамзей использовал задачу генерации глаголов, которая вызвала широкую активацию в нижней лобной извилине и премоторной коре. Задача наблюдения за действием привела к появлению небольшой зоны активации в пределах большей зоны активации. Таким образом, Хамзей заметил совпадение областей. Азиз-Заде использовал менее обширную задачу фронтальной активации, которая позволяла четко различать области, активируемые чтением и наблюдением за действием.

Эффект совместимости действий и предложений (ACE)

Смотрите также: Двунаправленная гипотеза языка и действия

Обработка предложения может способствовать активации двигательных систем на основе действий, указанных в предложении. В одном исследовании исследователи попросили участников вынести суждение о том, было ли предложение разумным или нет. Например, «Вы передали Кортни блокнот» вместо «Кортни передала вам блокнот». Они попросили участников в одном условии нажать кнопку подальше от своего тела, если предложение было логичным, и кнопку рядом с их телом, когда это было нелогично. Результаты этого исследования продемонстрировали, что участники быстрее нажимали кнопку «предложение логично», когда действие в предложении соответствовало действию, требуемому им для нажатия правильной кнопки. Это означает, что если фраза гласила: «Вы передали Кортни блокнот», участники быстрее нажимали кнопку, которая находилась дальше от них, тогда как эта кнопка означала, что предложение было логичным. Изображенное движение в этих предложениях повлияло на количество времени, необходимое для понимания предложений, описывающих движение в том же направлении. Было показано, что этот эффект применим к предложениям, описывающим конкретные действия (положить книгу на полку), а также более абстрактным действиям (вы рассказали историю полицейскому).

Другие исследования пытались понять феномен ACE, исследуя модуляцию моторного резонанса во время понимания речи. В одном исследовании участников попросили прочитать предложения, содержащие от одного до трех слов. Участники должны были вращать ручку в одном направлении в течение половины эксперимента и в другом направлении в течение другой половины. Каждые 5 ° поворота вызывали представление нового кадра. Каждое из предложений описывает действия, связанные с ручным вращением. В них направление вращения будет или не совпадать с направлением вращения, подразумеваемым предложением. Более ранние исследования, такие как Glenberg & Kaschak (2002), изучали моторный резонанс в ответах на предложения, предположительно сделанные после того, как предложение было прочитано. Напротив, результаты этого исследования показали, что двигательный резонанс рассеялся до конца предложения, и двигательный резонанс возник в глаголе. В этом исследовании использовались вопросы на понимание, а не предложения по чувствительности. Исследователи утверждали, что это создало более естественную ситуацию чтения, поэтому можно утверждать, что результаты этого исследования считаются более подходящими, поскольку они относятся к более натуралистическому языку. В целом, исследователи пришли к выводу, что моторный резонанс проявляется сразу и недолго, а продолжительность эффекта зависит от языкового контекста.

Также были представлены нейрофизиологические доказательства, подтверждающие наличие АПФ. Это исследование использовало поведенческую парадигму, а также потенциал, связанный с событиями (ERP), для записи активности мозга, что позволило исследователям изучить нейронные мозговые маркеры парадигмы ACE в семантической обработке и двигательных реакциях. ERP был особенно полезен, помогая исследователям исследовать двунаправленную гипотезу понимания действия-предложения , которая предполагает, что языковая обработка облегчает движение, а движение также облегчает понимание языка. В ходе исследования участники слушали предложения, описывающие действия, которые включают открытую ладонь, закрытую ладонь или отсутствие ручного действия. Затем от них требовалось нажать кнопку, чтобы указать, что они понимают предложение. Каждому участнику была назначена форма руки, закрытая или открытая, которая требовалась для активации кнопки. Помимо двух групп (закрытые или открытые формы рук), были три разные категории, относящиеся к форме руки: совместимые, несовместимые и нейтральные. Поведенческие результаты исследования показали, что участники реагировали быстрее, когда форма руки, необходимая для нажатия кнопки ответа, была совместима с формой руки, предполагаемой предложением. Результаты ERP предоставили доказательства в поддержку двунаправленной гипотезы, показав, что на корковые маркеры моторных процессов влияет значение предложения, что, таким образом, дает доказательства влияния семантики на мотор. Результаты ERP также продемонстрировали эффект «мотор-семантика», поскольку мозговые маркеры понимания были изменены моторными эффектами.

Эффект совместимости действий также утверждает, что ресурсы мозга, используемые для планирования и выполнения действий, также используются в понимании языка; следовательно, если действие, подразумеваемое в предложении, отличается от предполагаемого ответа, это означает вмешательство в эти ресурсы мозга.

Активация слова

Другие исследования показали, что чтение имени объекта влияет на то, как человек планирует схватить этот объект. Также было обнаружено, что похожие слова могут служить началом подобных действий. Игра на пианино и пишущая машинка используют одинаковые двигательные действия; эти слова взаимно дополняют друг друга в задаче решения слов. Эти исследования пришли к выводу, что активация двигательных решений происходит автоматически при воздействии слов, связанных с действием.

Метафорический язык

Азиз-Заде исследовал конгруэнтную соматотопическую организацию семантических представлений для метафорических предложений в любом полушарии. Азиз-заде предъявлял испытуемым такие стимулы, как «пнуть ведро» или «укусить пулю», чтобы читать, а затем показывал испытуемым видеозаписи действий рук, ног и рта. Не удалось найти доказательств в поддержку этой теории ни в одном из полушарий.

Однако метафоры, использованные в эксперименте, распространены в английском языке. Таким образом, утверждается, что, если метафора слышна достаточно часто, она не активирует ту же сеть обработки, что и изначально.

Действия подчеркивают смысл

Многие исследования показали, как можно сочетать движения тела и речь, чтобы подчеркнуть значение (часто называемое жестами ). Человек может наблюдать за действиями другого, чтобы помочь ему понять, что он говорит. Например, если человек показывает несколько раз, это помогает слушателю понять, что предполагаемое направление очень важно; тогда как если бы это была случайная точка в общем направлении, местоположение объекта может быть не настолько необходимым для понимания того, что говорит говорящий. Другой пример - топанье ногой. Это может помочь слушателю понять гнев и разочарование, которые выражает говорящий.

Подразумеваемое

Многие исследования продемонстрировали, что понимание людьми слов и предложений может влиять на их движения и действия, а также наоборот - действия людей могут влиять на то, как быстро они могут понять слово или предложение. Эти знания важны по многим причинам. В одном исследовании изучалось влияние воплощенного познания в классе на облегчение и улучшение изучения языка. Для ребенка существует разница между изучением устной речи и чтением. При изучении устного языка отображение между символом (словом) и объектом является обычным явлением - часто это происходит при помощи жестов на объект. Однако, когда ребенок учится читать, он сосредотачивается на сочетаниях букв и звука и правильном произношении слов. Обычно объект, к которому относятся слова, не напрямую связан со словом, поэтому связь между словом и объектом не возникает сразу. Исследователи этого исследования предлагают вмешательство, движимое чтением, которое состоит из двух частей - стадии физического манипулирования и стадии воображаемого манипулирования. При физических манипуляциях ребенок читает предложение, а затем его просят разыграть это предложение с помощью имеющихся игрушек. Это заставляет ребенка связывать слова с предметами и их действиями. На стадии воображаемой манипуляции ребенок читает предложение, а затем его просят представить, как он будет взаимодействовать с игрушками, чтобы разыграть предложение. Они изучили это дополнительно и обнаружили, что эти дети могут по-прежнему извлекать пользу из эффектов воплощенного познания, когда они манипулируют объектами на экране компьютера. Это встроенное программное обеспечение для познания может помочь детям облегчить понимание языка. Другие последствия для языкового обучения, которые улучшили бы усвоение и удержание, заключаются в том, чтобы предлагать занятия, которые побуждают учащихся активно использовать свое тело в процессе или, по крайней мере, наблюдать, как это делает учитель, таким образом активируя свои зеркальные нейроны.

Смотрите также

Рекомендации