Распознавание эмоций - Emotion recognition

Распознавание эмоций - это процесс выявления человеческих эмоций . Люди сильно различаются по точности распознавания эмоций других. Использование технологий для помощи людям в распознавании эмоций - относительно новая область исследований. Как правило, технология работает лучше всего, если в ней используются несколько модальностей в контексте. На сегодняшний день большая часть работы была проделана по автоматизации распознавания выражений лица из видео, устных выражений из аудио, письменных выражений из текста и физиологии, измеряемой носимыми устройствами.

Человек

Люди очень разнообразны в своих способностях распознавать эмоции. Ключевой момент, о котором следует помнить при изучении автоматизированного распознавания эмоций, заключается в том, что существует несколько источников «основной истины» или истины о том, что такое настоящая эмоция. Предположим, мы пытаемся распознать эмоции Алекса. Один из источников: «Что бы большинство людей сказали, что чувствует Алекс?» В этом случае «правда» может не соответствовать тому, что чувствует Алекс, но может соответствовать тому, что большинство людей назвали бы тем, что думает Алекс. Например, Алексу может быть грустно, но он широко улыбается, и тогда большинство людей говорят, что он выглядит счастливым. Если автоматизированный метод дает те же результаты, что и группа наблюдателей, его можно считать точным, даже если он на самом деле не измеряет то, что на самом деле чувствует Алекс. Еще один источник «истины» - спросить Алекса, что он на самом деле чувствует. Это работает, если Алекс хорошо понимает свое внутреннее состояние и хочет рассказать вам, что это такое, и способен точно выразить это словами или числами. Однако некоторые люди алекситимичны и не имеют четкого представления о своих внутренних чувствах или не могут точно передать их словами и числами. В общем, выяснение того, какая эмоция действительно присутствует, может потребовать некоторой работы, может варьироваться в зависимости от выбранных критериев и обычно предполагает поддержание определенного уровня неопределенности.

Автоматический

Были проведены десятилетия научных исследований, направленных на разработку и оценку методов автоматического распознавания эмоций. В настоящее время существует обширная литература, в которой предлагаются и оцениваются сотни различных методов, использующих методы из различных областей, таких как обработка сигналов , машинное обучение , компьютерное зрение и обработка речи . Для интерпретации эмоций могут использоваться различные методологии и техники, такие как байесовские сети . Гауссовские модели Смешение и Hidden марковские модели и глубокие нейронные сети .

Подходы

Точность распознавания эмоций обычно повышается, если оно объединяет анализ человеческих выражений из мультимодальных форм, таких как тексты, физиология, аудио или видео. Различные типы эмоций выявляются путем интеграции информации о выражениях лица , движениях и жестах тела , а также речи. Считается, что эта технология способствовала появлению так называемого эмоционального или эмоционального Интернета .

Существующие подходы к распознаванию эмоций для классификации определенных типов эмоций в целом можно разделить на три основные категории: методы, основанные на знаниях, статистические методы и гибридные подходы.

Техники, основанные на знаниях

Методы, основанные на знаниях (иногда называемые методами, основанными на лексике ), используют знания предметной области, а также семантические и синтаксические характеристики языка для обнаружения определенных типов эмоций . При таком подходе в процессе классификации эмоций обычно используются ресурсы, основанные на знаниях, такие как WordNet , SenticNet, ConceptNet и EmotiNet, и это лишь некоторые из них. Одним из преимуществ этого подхода является доступность и экономия, обусловленные большой доступностью таких ресурсов, основанных на знаниях. С другой стороны, недостатком этого метода является его неспособность справиться с нюансами понятий и сложными лингвистическими правилами.

Методы, основанные на знаниях, в основном можно разделить на две категории: подходы на основе словаря и корпуса. Словарь-обоснованные подходы найти мнение или эмоцию семенное слово в словаре и искать их синонимы и антонимы , чтобы расширить первоначальный перечень мнений или эмоций . С другой стороны, подходы, основанные на корпусе, начинают с исходного списка слов мнения или эмоций и расширяют базу данных, находя другие слова с контекстно-зависимыми характеристиками в большом корпусе . Хотя корпусные подходы учитывают контекст, их эффективность по-прежнему различается в разных доменах, поскольку слово в одном домене может иметь разную ориентацию в другом домене.

Статистические методы

Статистические методы обычно включают использование различных алгоритмов контролируемого машинного обучения , в которых большой набор аннотированных данных вводится в алгоритмы, позволяющие системе изучать и прогнозировать соответствующие типы эмоций . Алгоритмы машинного обучения обычно обеспечивают более разумную точность классификации по сравнению с другими подходами, но одной из проблем в достижении хороших результатов в процессе классификации является необходимость иметь достаточно большой обучающий набор.

Некоторые из наиболее часто используемых алгоритмов машинного обучения включают машины опорных векторов (SVM) , наивный байесовский алгоритм и максимальную энтропию . Глубокое обучение , относящееся к семейству машинного обучения без учителя , также широко используется для распознавания эмоций. Хорошо известные алгоритмы глубокого обучения включают в себя различные архитектуры искусственной нейронной сети (ИНС), такие как сверточная нейронная сеть (CNN) , долгосрочная краткосрочная память (LSTM) и машина экстремального обучения (ELM) . Популярность подходов к глубокому обучению в области распознавания эмоций может быть в основном связана с их успехом в связанных приложениях, таких как компьютерное зрение , распознавание речи и обработка естественного языка (NLP) .

Гибридные подходы

Гибридные подходы к распознаванию эмоций, по сути, представляют собой комбинацию методов, основанных на знаниях, и статистических методов, в которых используются дополнительные характеристики обоих методов. Некоторые из работ, в которых применялся ансамбль лингвистических элементов и статистических методов, основанных на знаниях, включают в себя дозорные вычисления и iFeel, в обоих из которых был принят ресурс SenticNet, основанный на знаниях. Роль таких ресурсов, основанных на знаниях, в реализации гибридных подходов очень важна в процессе классификации эмоций . Поскольку гибридные методы извлекают выгоду из преимуществ, предлагаемых как основанными на знаниях, так и статистическими подходами, они, как правило, имеют лучшую производительность классификации, чем независимое использование основанных на знаниях или статистических методов. Однако недостатком использования гибридных методов является сложность вычислений во время процесса классификации.

Наборы данных

Данные являются неотъемлемой частью существующих подходов к распознаванию эмоций, и в большинстве случаев получить аннотированные данные, необходимые для обучения алгоритмов машинного обучения, сложно . Для задачи классификации различных типов эмоций из мультимодальных источников в форме текстов, аудио, видео или физиологических сигналов доступны следующие наборы данных:

  1. HUMAINE: предоставляет естественные клипы со словами эмоций и контекстными метками в нескольких модальностях
  2. База данных Белфаста: содержит клипы с широким спектром эмоций из телепрограмм и записей интервью.
  3. SEMAINE: обеспечивает аудиовизуальные записи между человеком и виртуальным агентом и содержит аннотации эмоций, такие как гнев, счастье, страх, отвращение, печаль, презрение и веселье.
  4. IEMOCAP: обеспечивает записи диадических сеансов между актерами и содержит аннотации эмоций, такие как счастье, гнев, печаль, разочарование и нейтральное состояние.
  5. eNTERFACE: предоставляет аудиовизуальные записи субъектов семи национальностей и содержит аннотации эмоций, такие как счастье, гнев, печаль, удивление, отвращение и страх.
  6. DEAP: обеспечивает электроэнцефалографию ( ЭЭГ ), электрокардиографию ( ЭКГ ) и видеозаписи лиц, а также аннотации эмоций с точки зрения валентности , возбуждения и доминирования людей, просматривающих видеоклипы.
  7. МЕЧТАТЕЛЬ: обеспечивает записи электроэнцефалографии ( ЭЭГ ) и электрокардиографии ( ЭКГ ), а также аннотации эмоций с точки зрения валентности , возбуждения и доминирования людей, просматривающих видеоклипы.
  8. MELD: это набор данных для многостороннего разговора, в котором каждое высказывание помечено эмоциями и настроениями. MELD обеспечивает диалоги в видеоформате и, следовательно, подходит для мультимодального распознавания эмоций и анализа настроений . MELD полезен для мультимодального анализа настроений и распознавания эмоций, систем диалога и распознавания эмоций в разговорах .
  9. MuSe: предоставляет аудиовизуальные записи естественных взаимодействий между человеком и объектом. Он имеет дискретные и непрерывные аннотации эмоций с точки зрения валентности, возбуждения и надежности, а также речевые темы, полезные для мультимодального анализа настроений и распознавания эмоций.
  10. UIT-VSMEC: это стандартный вьетнамский корпус эмоций в социальных сетях (UIT-VSMEC), содержащий около 6927 предложений, аннотированных людьми, с шестью ярлыками эмоций, способствующий исследованию распознавания эмоций на вьетнамском языке, который является языком с низким уровнем ресурсов в обработке естественного языка (NLP). .
  11. КРОВАТЬ: обеспечивает записи электроэнцефалографии ( ЭЭГ ), а также аннотации эмоций с точки зрения валентности и возбуждения людей, просматривающих изображения. Он также включает записи электроэнцефалографии ( ЭЭГ ) людей, подвергшихся воздействию различных стимулов ( SSVEP , отдых с закрытыми глазами, отдых с открытыми глазами, когнитивные задачи) для задачи биометрии на основе ЭЭГ .

Приложения

Распознавание эмоций используется в обществе по разным причинам. Affectiva , вышедшая из Массачусетского технологического института , предоставляет программное обеспечение для искусственного интеллекта, которое позволяет более эффективно выполнять задачи, которые раньше выполнялись людьми вручную, в основном для сбора информации о выражениях лица и голоса, относящейся к конкретным контекстам, в которых зрители согласились делиться этой информацией. Например, вместо того, чтобы заполнять длинный опрос о том, как вы себя чувствуете в каждый момент просмотра образовательного видео или рекламы, вы можете разрешить камеру смотреть вам в лицо и слушать, что вы говорите, и отмечать, во время каких этапов опыта вы показывать такие выражения, как скука, интерес, замешательство или улыбка. (Обратите внимание, что это не означает, что он читает ваши самые сокровенные чувства - он читает только то, что вы выражаете внешне.) Affectiva также используется для помощи детям с аутизмом, помогает слепым людям читать выражения лиц, помогает роботам более разумно взаимодействовать с людьми. и отслеживание признаков внимания во время вождения, чтобы повысить безопасность водителя.

В патенте, поданном Snapchat в 2015 году, описан метод извлечения данных о толпе на публичных мероприятиях путем алгоритмического распознавания эмоций на селфи пользователей с геотегами .

Emotient была начинающей компанией, которая применяла распознавание эмоций для чтения хмурых взглядов , улыбок и других выражений лиц, а именно искусственный интеллект для прогнозирования «отношения и действий на основе выражений лица». Apple купила Emotient в 2016 году и использует технологию распознавания эмоций для повышения эмоционального интеллекта своих продуктов.

nViso обеспечивает распознавание эмоций в реальном времени для веб-приложений и мобильных приложений через API реального времени . Visage Technologies AB предлагает оценку эмоций как часть своего Visage SDK для маркетинговых, научных исследований и аналогичных целей.

Eyeris - компания по распознаванию эмоций, которая работает с производителями встроенных систем, включая производителей автомобилей и компании, занимающиеся социальными роботами, над интеграцией своего программного обеспечения для анализа лиц и распознавания эмоций; а также с создателями видеоконтента, чтобы помочь им измерить воспринимаемую эффективность их коротких и длинных видеокреативов.

Также существует множество продуктов для сбора информации об эмоциях, передаваемых в Интернете, в том числе с помощью нажатия кнопки «Нравится» и подсчета положительных и отрицательных фраз в тексте. Распознавание аффектов все чаще используется в некоторых играх и виртуальной реальности, как в образовательных целях, так и для дать игрокам более естественный контроль над своими социальными аватарами.

Подполя распознавания эмоций

Распознавание эмоций, вероятно, даст лучший результат при применении нескольких модальностей путем комбинирования различных объектов, включая текст (разговор), аудио, видео и физиологию для обнаружения эмоций.

Распознавание эмоций в тексте

Текстовые данные - благоприятный объект исследования для распознавания эмоций, когда они бесплатны и доступны повсюду в жизни человека. По сравнению с другими типами данных, текстовые данные хранятся легче и их легко сжать до максимальной производительности из-за частого повторения слов и символов на языках. Эмоции можно извлечь из двух основных текстовых форм: письменных текстов и разговоров (диалогов). Что касается письменных текстов, многие ученые сосредотачиваются на работе с уровнем предложения, чтобы извлечь «слова / фразы», ​​представляющие эмоции.

Распознавание эмоций в аудио

В отличие от распознавания эмоций в тексте, голосовые сигналы используются для распознавания для извлечения эмоций из звука .

Распознавание эмоций в видео

Видеоданные - это комбинация аудиоданных, данных изображения и иногда текста (в случае субтитров ).

Распознавание эмоций в разговоре

Распознавание эмоций в разговоре (ERC) извлекает мнения между участниками из массивных разговорных данных на социальных платформах , таких как Facebook , Twitter , YouTube и других. ERC может принимать входные данные, такие как текст, аудио, видео или комбинированную форму, для обнаружения нескольких эмоций, таких как страх, похоть, боль и удовольствие.

Смотрите также

Рекомендации