1.5.1 Субъективные методы

Эмоциональные категории

Идея того, что эмоции могут быть систематизированы в соответствии с несколькими базовыми категориями, принадлежит Вундту (1896) [16]. Вундт предложил использовать три категории для оценки эмоций в виде независимых шкал. Это такие категории как: приятность - неприятность, активность - пассивность, напряжённость - расслабленность. Однако его предположение не было подкреплено экспериментальными данными. Первые же исследования в этой области принадлежат Шлосбергу (1941) [17]. Его эксперимент заключался в оценке выражения лица по шкале, состоящей из 6 эмоциональных категорий. Результаты исследования подтвердили принятую систематизацию, большинство из ответов чётко соответствовали одной из категорий. Также было установлено, что шкала должна представлять собой окружность. Двухмерная структура, такая как круг, требует двух категорий для определения составляющих её элементов. В отсутствие второй категории круг превратился бы в прямую линию. Пытаясь определить название категорий, Шлосберг пришёл к выводу, что наиболее важной является категория приятность - неприятность.

Другой подход в определении категорий оценки эмоций был использован Осгудом в 1957 [18]. Категории эмоциональности, присущие объектам речи, оценивались с помощью шкалы парных прилагательных. С использованием пятидесяти прилагательных, (таких, как тяжёлый - лёгкий, сладкий - солёный, яркий - тёмный), было произведено описание двадцати объектов (девушка, камень, озеро и т.д.). Факторный анализ ответов показал, что три категории являются фундаментальными для характеризации объекта. Осгуд назвал эти категории: эволюционной, потенциальной и активной.

Основываясь на большом количестве произведённых ранее исследований, Уотсон и Теллеген [19] в 1985 предложили вариант двух мерной структуры. Двум главным измерениям соответствовали позитивные и негативные эмоции. Шкалы позитивных и негативных эмоций в предложенном ими пространстве были повернуты на 45 градусов по сравнению со шкалами активности и оценки. Этот вариант продемонстрировал неопределённость интерпретации структуры измерения данных, так как на самом деле довольно сложно определить, какой из вариантов структур является наиболее точным. В зависимости от типов исследований обе интерпретации могут оказаться действенными.

Довольно интересное описание двух категорий было сделано Кови и др. в 2001 [3]. Они представили эмоциональное пространство в виде двухмерного круга, оси которого были названы «оценка» (от отрицательного до положительного) и «активность» (от пассивного до активного). Здесь была использована категория «оценка» в качестве основополагающего термина когнитивной теории. Категория «активность» также является одним из фундаментальных аспектов эмоций.

Исходя из вышесказанного, можно сделать вывод, что два или три измерения эмоциональности присутствует практически во всех экспериментах. Интересно заметить, что результатом большинства исследований являются одни и те же эмоциональные категории. Наиболее важный вопрос состоит в том, отражают ли данные категории все свойства эмоций, или же упрощают и ограничивают их описание. Безусловно, описание эмоций с помощью измерений или категорий упрощают оценку эмоциональности, при этом игнорируя многие важные её аспекты. С другой стороны, категории рассматриваются как мощное средство представления, охватывающее наиболее важные из факторов, и обеспечивающие сравнение эмоциональных состояний. В частности, измерения особенно необходимы для некоторого рода исследований, например для статистического анализа эмоциональной речи.

Тесты на идентификацию эмоций

Тесты на восприятие являются наиболее распространённым типом исследования речи и эмоций. Некоторое число стимулов представляется слушателю в свободном порядке, каждый из стимулов соответствует одной (и только одной) категории эмоций. Основной особенностью тестов является произвольность интерпретации полученной информации испытуемым, в то время как сама информация является априорным материалом. Такая система тестов получила название произвольно - принудительной.

Этот метод нашёл применение во множестве исследований, в частности в оценке искусственной эмоциональной речи. Главной предпосылкой использования этого метода является контроль за эмоциональной информацией. Существенным условием правильного выполнения теста является то, что сам по себе вербальный контекст не должен быть носителем эмоционального состояния. Обычно для этого используются эмоционально нейтральные предложения.

Обычно число проведённых измерений отражается на результате. Для определения процента вероятности корректных ответов, уровень распознавания, т.е. процент «правильных» ответов в данной категории, сравнивается с уровнем случайных ответов.

Также составляет интерес неправильные ответы (сомнение). Сомнение свидетельствует о схожести в восприятии двух эмоциональных состояний. Метод, исследующий схожесть восприятия, использует матрицу подобий. Она наглядно демонстрирует, какие из категорий наиболее привлекательнее других.

Использование в качестве двух мерной модели круга было предложено Шлосбергом в 1941 [17] на базе матрицы подобий. Он заметил, что при упорядочивании эмоциональных категорий определённым образом, верхняя и нижняя побочная диагональ содержит большинство «неправильных» ответов, это свидетельствует о сходстве в восприятии соседних категорий.

Также следует упомянуть о некоторых недостатках метода. Бенс и Шерер заметили, что если предложено небольшое число категорий, участники склонны выбирать между предложенными категориями, вместо того что бы идентифицировать эмоции. Вторая, может быть самая серьёзная проблема, заключается в невозможности фиксации категорий восприятия, не представленных в ответе. Частичным решением проблемы являются тесты, в которых испытуемым предлагается дать произвольный ответ, т.е. предложить свою эмоциональную категорию. Затем производиться анализ этих ответов с целью выделения определённого количества категорий для будущих вариантов ответа.

Одним из распространённых тестов на восприятие является тест Плутчика [5]. При этом в двух координатной системе изображается круг, где по горизонтальной оси располагается оценка (от положительных до отрицательных эмоций), а по вертикальной оси - активность (от пассивных до активных эмоций). Нейтральное состояние соответствует центру координат. По мере удаления от центра эмоциональное состояние становиться наиболее ярко выраженным. Исследования, выполненные с помощью этого теста, были проведены Джовичичем и др. в 2003 [20]. Испытуемым предлагалось прослушать фрагмент эмоциональной речи (соответствующий одной из выбранных базовых эмоций: гнев, радость, страх, печаль, нейтральное состояние) и расположить в соответствии с их личностной оценкой на круге Плутчика с помощью курсора мышки. На основе этого теста были получены следующие данные. Было выявлено, что нейтральные эмоции располагаются не в центре, а вблизи центра координат с небольшим отклонением. Эмоции страха оказались наиболее рассосредоточены по окружности, это связано с наличием множества градаций данной эмоциональной категории. Поля, соответствующие эмоциям страха и нейтрального состояния, взаимопересекаются, что свидетельствует о сходном восприятии этих эмоциональных состояний.

На рисунке 1.2а показаны результаты теста. Эллипсами обозначены поля, с наибольшей концентрацией, соответствующие каждой из эмоций. На рисунке 1.2б обозначены центры каждого из полей и среднеквадратичное значение отклонений.

а) б)

Рисунок 1.2. Круг Плутчика (а) и статистическое распределение для эмоций (б)

1.5.2 Объективные методы

Метод многомерного шкалирования

Многомерное шкалирование получило свое интенсивное развитие в 60-х годах в работах американских ученых Торгерсона, Шепарда, Краскэла [21, 25]. Задача многомерного шкалирования в самом общем виде состоит в том, чтобы выявить структуру исследуемого множества стимулов. Под выявлением структуры понимается выделение набора основных факторов, по которым различаются стимулы, и описание каждого из стимулов в терминах этих факторов.

Процедура построения структуры опирается на анализ объективной или субъективной информации о близости между стимулами либо информации о предпочтениях на множестве стимулов. В случае анализа субъективных данных решаются одновременно две задачи. С одной стороны, выявляется объективная структура субъективных данных, с другой -- определяются факторы, влияющие на процесс принятия решения.

Предположим, что существует координатное пространство, каждая ось которого соответствует одному из искомых факторов. Каждый стимул представляется точкой в этом пространстве, величины проекций этих точек на оси соответствуют значениям или степеням факторов, характеризующих данный стимул. Чем больше величина проекций, тем большим значением фактора обладает стимул. Мера сходства между двумя стимулами обратно пропорциональна расстоянию между соответствующими им точками. Чем ближе стимулы друг к другу, тем выше мера сходства между ними (и ниже мера различия), далеким точкам соответствует низкая мера сходства. Чтобы точным образом измерить близости, необходимо ввести метрику в искомом координатном пространстве; выбор этой метрики оказывает большое влияние на результат решения.

Схема многомерного шкалирования включает ряд последовательных этапов. На первом этапе необходимо получить экспериментальным способом субъективные оценки различий. На втором этапе решается задача построения координатного пространства и размещения в нем точек-стимулов таким образом, чтобы расстояния между ними, определяемые по введенной метрике, наилучшим образом соответствовали исходным различиям между стимулами. Вводится критерий качества отображения, называемый «стрессом» и измеряющий степень расхождения между исходными различиями и результирующими расстояниями. Ищется такая конфигурация точек, которая давала бы минимальное значение этому «стрессу».

Значения координат этих точек и являются решением задачи. Используя эти координаты, строится геометрическое представление стимулов в пространстве невысокого числа измерений. Оно должно быть в достаточной степени адекватно исходным данным.

Эксперимент, проведенный Джовичичем и др. (2003) [20] позволил наглядно интерпретировать с помощью многомерного шкалирования полученный ими результат теста на идентификацию. В качестве исходных данных использовалась матрица неточностей (таблица 1.2), где N - нейтральная речь, A - гнев, H - радость, F - страх, S - печаль. Результат представляет собой пространственное распределение 4 эмоций и нейтральной речи в трёхмерном пространстве (рисунок 1.3).

Таблица 1.2. Матрица неточностей

Рисунок 1.3. Распределение эмоций и нейтральной речи в 3х мерном пространстве

Однофакторный дисперсионный анализ ANOVA

Дисперсионный анализ (от латинского Dispersio - рассеивание), статистический метод, позволяющий анализировать влияние различных факторов на исследуемую переменную. Метод был разработан биологом Фишером в 1925 году и применялся первоначально для оценки экспериментов в растениеводстве. В дальнейшем выяснилась общенаучная значимость дисперсионного анализа для экспериментов в психологии, педагогике, медицине и др.

Целью дисперсионного анализа является проверка значимости различия между средними с помощью сравнения дисперсий. Дисперсию измеряемого признака разлагают на независимые слагаемые, каждое из которых характеризует влияние того или иного фактора или их взаимодействия. Последующее сравнение таких слагаемых позволяет оценить значимость каждого изучаемого фактора, а также их комбинации. При истинности нулевой гипотезы (о равенстве средних в нескольких группах наблюдений, выбранных из генеральной совокупности), оценка дисперсии, связанной с внутригрупповой изменчивостью, должна быть близкой к оценке межгрупповой дисперсии.

Для оценки важности каждого из речевых параметров в распознавании эмоциональных фрагментов используется однофакторный дисперсионный анализ. Дисперсионный анализ был выполнен Джовичичем и др. [20] для паралингвистических и лингвистических акустических характеристик. В результате анализа были сделаны выводы о том, что фактором, оказывающий наибольшее влияние на эмоциональное состояние является величина основного тона. Также было установлено, что эмоции гнев и радость могут быть различимы между собой только на основании параметра производной от основного тона.

Корреляция эмоциональных категорий

Первый эксперимент, исследовавший зависимость между эмоциями путём корреляции эмоциональных категорий и различных характеристик речевого сигнала был выполнен Ульдаллом в 1960 [22].

В 1993 Тишером был опубликован литературный обзор по данной теме, в котором были сделаны несколько базовых выводов о связях эмоциональных категорий и речевых параметров. По мнению Тишера категория активность отражает высокий темп разговора, высокую интенсивность и уровень основного тона, широкий диапазон основного тона и высокую энергию в высокочастотном спектре. Категория оценки, была классифицирована как неокончательная, и требующая дальнейшего изучения.

Он отметил важность интенсивности для таких эмоций, как отчаяние, гнев, панический страх, восторг. Для них характерны наиболее большое значение основного тона и значения энергии.

По результатам всех исследований он сделал однозначный вывод о связи между категорией активности и большинством речевых параметров: Активность взаимозависит от значения основного тона, интенсивности и темпа речи. Дополнительные параметры, коррелирующие с категорией активности, это диапазон основного тона, «ревущий» тембр, высокочастотная энергия. О высокой активности также свидетельствуют короткие паузы.

Ограниченные данные о взаимосвязи категории мощности и речевых характеристик свидетельствуют о том, что категория мощности распознаётся с помощью тех же параметров, что и категория активности (высокий темп, высокое значение основного тона, более высокочастотная энергия, короткие и/или редкие паузы, широкий диапазон интенсивности). За исключением того, что иногда высокая мощность коррелирует с низким уровнем основного тона, и продолжительностью гласных.

Классификация эмоций с помощью нейронных сетей

Одна из успешных попыток автоматического распознавания психоэмоционального состояния приведена в статье Янга и др.[24]. В качестве входных параметров классификатора на нейронных сетях были использованы следующие характеристики: основной тон, форманты, темп, длительность, джиттер, шиммер, МFСС коэффициенты, LPC коэффициенты, и энергия Теагера. Был выбран следующий набор базовых эмоций: гнев, скука, счастье, печаль, удивление и нейтральное состояние. В качестве материала использовалась корейская речевая база данных, содержащая, в общей сложности, около 9060 фраз. В результате, процент правильного распознавания психоэмоциональных состояний составил 58.6% для классификатора и 60.4% в случае перцептивного теста. Матрица неточностей для классификатора и человека приведена ниже (таблица 1.3, 1.4).

Таблица 1.3.

Матрица неточностей для автоматического распознавания (в %).

Таблица 1.4 Матрица неточностей для перцептивного теста (в %)

Модель распознавания эмоций человеком

Анализ паралингвистических и лингвистических характеристик, их сравнение с результатами многомерного шкалирования, выполненный Джовичичем др.[20], показал наличие иерархии в процессах восприятия и распознавания эмоций. Была сформулирована модель распознавания, состоящая их трёх уровней. Первый (базовый) уровень основан на наблюдении за паралингвистическими (статическими) речевыми параметрами. Это, главным образом, характеристик трёх основных измерений: время, интенсивность и спектр.

В случае, когда эмоция не может быть выявлена на первом уровне, необходим второй уровень распознавания, в котором анализируются лингвистические (макро просодические) параметры. Человеческий механизм восприятия затрачивает значительные усилия для определения динамических характеристик. Факторы, полученные в ходе дисперсионного анализа, показывают, что на это требуется в 10 раз больше времени, по сравнению со статическими.

Предполагается, что существует третичный уровень распознавания, для которого важное значение имеют микро просодические характеристики. Предварительные исследования некоторых эмоций, относящихся к этому уровню, таких, как смущение, неопределённость и др. показали ключевую роль данных параметров для их распознавания. В качестве иллюстрации была приведена иерархическая модель распознавания эмоций (рисунок 1.4).

Экспериментальные результаты, основанные на дисперсионном анализе и методе многомерного шкалирования, позволяют сделать вывод об иерархичности процесса распознавания эмоций человеком. На первом этапе, восприятие базируется на статических характеристиках, результатом анализа которых является общее впечатление об эмоции. Если возникает путаница в эмоциях, механизм восприятия сосредотачивает внимание на макро просодических характеристиках, которые помогают с высокой точностью разделить эмоции, относящиеся к одной группе. В качестве третьего уровня распознавания была предложена модель, основанная на микро просодических характеристиках, в которой и формируется окончательное восприятие.

Рисунок 1.4. Модель распознавания эмоций

Выводы

В главе рассматриваются основные алгоритмы расчёта паралингвистических характеристик, таких как основной тон, джиттер, шиммер и нелинейных характеристик на основе оператора ТЕО, приводится обзор методов объективного анализа характеристик речевого сигнала: однофакторного дисперсионного анализа ANOVA, метода многомерного шкалирования, корреляционного анализа, а также методики проведения перцептивного теста. Также содержатся основные сведения о нейронных сетях, их видах, и алгоритме обучения. Данные алгоритмы и методы были использованы для получения количественной оценки параметров речевого сигнала и классификации.

2.1 Алгоритмы расчёта основных характеристик речевого сигнала