Разработка биотехнической системы для распознавания фонем русской речи по изображениям губ

Контуры губ в последовательностях изображений на видеоряде находятся, начиная с очерчиванного контура на предыдущем изображении и накладывая подъем градиента с измененными внешними энергиями изображения. Эмирически отслеживание поверхности более надежно, чем подходы «без знания» поверхности. Хотя мы описали подход в контексте поиска контура, он применим и в многих других задачах, и мы в настоящее время расширяем систему до модели более сложных аспектов изображения.

Полная система чтения по губам, которая сочетает в себе алгоритм отслеживания и гибридный связующий распознаватель речи (MLP/HMM), описана в (BreglerandKonig, 1994). Кроме того, мы будем использовать поверхность губ для интерполяции визуальных черт для сравнения их с слуховыми чертами более высокой скорости.

15. Выводы

В статье рассмотрена задача исследования поверхности из данных и описано несколько важнейших запросов, которые должна поддерживать изучаемая поверхность: завершение, ближайшая точка, интерполяция и прогнозирование. Мы описали алгоритм, который способен эффективно выполнить эти задачи и продемонстрировали это на исскуственных данных и на проблеме отслеживания губ в режиме реального времени.

4.4 Комплекс параметров артикуляции на основе контура внутренней области губ

Виземы можно описать совокупностью параметров артикуляции - геометрическими признаками губ (высота, ширина, площадь, периметр контура и т.д.).

Для автоматизации процесса вычисления комплекса параметров артикуляции выбран метод аппроксимации автоматически выделенной внутренней области губ эллипсом.

Для автоматического выделения параметров артикуляции выбран внутренний контур губ и следующие параметры:

1. ширина внутреннего контура;

2. высота внутреннего контура.

Полуоси аппроксимирующего эллипса являются шириной и высотой внутреннего контура губ. Данный набор параметров выбран в силу двух причин:

1. Анализ зависимости между значениями параметров артикуляции в предыдущем исследовании показал, что существует значимая корреляция практически между всеми параметрами, кроме ширины и высоты контуров.

2. Имея значения полуосей эллипса, можно при помощи математического аппарата вычислить все остальные параметры артикуляции.

4.5 Алгоритм выделения внутренней области губ и аппроксимации области эллипсом

Блок-схема разработанного алгоритма выделения внутренней области губ, ее аппроксимации эллипсом и вычисления параметров артикуляции представлена на рисунке 24.



Рисунок 243 - Блок-схема алгоритма выделения внутренней области губ, ее аппроксимации эллипсом и вычисления параметров артикуляции

Алгоритм выделения внутренней области губ основан на анализе цветового пространства. После выделения области интересов, в которой располагаются губы человека (рисунок 25), происходит преобразование из цветового пространства RGB в цветовую модель HSV (рисунок 26Ошибка!Источник ссылки не найден.).

Рисунок 265 - Изображение области губ в цветовой модели HSV

HSV (англ.Hue, Saturation, Value -- тон, насыщенность, значение) - цветовая модель, в которой координатами цвета являются:

- Hue - цветовой тон, (например, красный, зелёный или сине-голубой). Варьируется в пределах 0 - 360°, однако иногда приводится к диапазону 0 - 100 или 0 - 1.

- Saturation - насыщенность. Варьируется в пределах 0 - 100 или 0 - 1. Чем больше этот параметр, тем «чище» цвет, поэтому этот параметр иногда называют чистотой цвета. А чем ближе этот параметр к нулю, тем ближе цвет к нейтральному серому.

- Value (значение цвета). Также задаётся в пределах 0 - 100 и 0 - 1.

Разность цветовых компонент S и V позволяет получить изображение, подходящее для выделения внутренней области губ (рисунок 27).

После бинаризации полученной разности (рисунок 28Ошибка! Источник ссылки не найден.) происходит выбор максимальных по площади объектов изображения (рисунок 29Ошибка! Источник ссылки не найден.). Критерий выбора объектов - площадь выбранного объекта должна составлять как минимум десятую часть от площади максимального объекта. Если выделено более 1 объекта, происходит их слияние (рисунок 30) с целью дальнейшего выделения замкнутого внутреннего контура губ (рисунок 31).

Выделенный контур аппроксимируется эллипсом при помощи метода наименьших квадратов (рисунок 32). Метод наименьших квадратов -- метод нахождения оптимальных параметров линейной регрессии, таких, что сумма квадратов ошибок (регрессионных остатков) минимальна. Метод заключается в минимизации евклидова расстояния |Aщ-y| между двумя векторами -- вектором восстановленных значений зависимой переменной и вектором фактических значений зависимой переменной. Задача метода наименьших квадратов состоит в выборе вектора щ, минимизирующего ошибку S=|Aщ-y|І.

Полуоси вычисленного эллипса являются параметрами артикуляции.

Для настройки корректной работы алгоритма используются следующие параметры:

- порог бинаризации;

- коэффициенты вычисления разности цветовых компонент.

Порог бинаризации - число в диапазоне [0, 1], определяющее значения пикселей цветного изображения, которые будут переведены в 1 (белый) или в 0 (черный). Пример изменения порога бинаризации для одного изображения приведен на рисунке 33Ошибка! Источник ссылки не найден..

Рисунок 33 - Бинаризация изображения с разным порогом бинаризации

Совокупный результат работы алгоритма зависит от освещения области губ, поэтому для каждого видео порог бинаризации должен подбираться индивидуально.

При вычислении разности цветовых координат используется следующая формула:

,

где k - коэффициенты соответствующих цветовых компонент.

Алгоритм выделения и аппроксимации эллипсом внутреннего контура губ реализован в Matlab 2010b.

Для выбора оптимального набора коэффициентов проведены исследования на изображениях губ различного положения и качества:

1. Губы полностью сомкнуты;

2. Кривая улыбка

3. Губы приоткрыты (звук “Э”)

4. Губы прикрыты

5. Губы округлены (звук “О”)

6. Губы округлены, изображение размытое

7. Губы растянуты (звук «И»)

К каждому из указанных изображений применен алгоритм выделения внутренней области губ с разными значениями коэффициентов цветовых компонент при вычислении разности цветовых координат пространства HSV. Результат работы алгоритма визуально оценивался экспертом и выносилось решение о возможности применения данного набора коэффициентов при обработке изображения. Результаты экспертной оценки приведены в таблице 7.

Таблица 73 - Результаты работы алгоритма по выделению внутренней области губ с различными коэффициентами цветовых компонент.

ks kv	0.1	0.2	0.3	0.4	0.5	0.6	0.7	0.8	0.9	1
0.1
0.2	2 5
0.3		2 5 6 7	2 5	2
0.4			2 3 4 6 7	2 5	5
0.5				1 2 3 4 7	2 4 5 6 7	5
0.6					1 2 3 7	2 6 7	4 5 6	5	5
0.7						1 2 3 7	2 3 7	5 6	5 6	5
0.8							1 2 3 7	1 2 3	2 5 6	5 6
0.9								3 7	1 2 3	2 6
1									3	1 2 3 7

В таблице 7 в заголовках столбцов указаны значения коэффициента k_s , а в заголовках строк - значения коэффициента k_v , используемых при выделении внутренней области губ. На пересечении соответстствующих значений коэффициентов проставлены номера изображений, для которых получены хорошие результаты по выделению внутренней области губ. Из таблицы видно, что наибольшее число хороших изображений получено при значении коэффициентов:

k_s = 0,3 k_v = 0,4

k_s = 0,4 k_v = 0,5

k_s = 0,5 k_v = 0,5

Для корректной работы модуля выделения внутреннего контура губ рекомендуется устанавливать данные значения коэффициентов цветовых компонент.

4.6 Описание исследования распознавания фонем

Исследование распознавания фонем начались с поиска фонетически сбалансированного текста, наиболее подходящего для оценки возможности обнаружения фонем по выбранным нами параметрам артикуляции.

Критерии, по которым строится данный текст:

Полнота - присутствие всех фонем во всех контекстных вариантах.

Сбалансированность - учет частости встречаемости фонем (и их вариантов звучания) в естественной речи.

Кроме того, есть такие пожелания к тексту: смысловая связанность (хотя бы в пределах предложения); простота предложений; простота слов (как с точки зрения произношения, так и смысла); использование слов исключающих двоякое произношение и т.д.

Пример фонетически сбалансированных предложений:

Вместе с зимой и холодами к селянам пришли всякие беды.

Хиппи обычно называют людей, бросающих обществу вызов своей пассивностью и бездеятельностью.

Продавец должен учитывать не только экономические, но и психологические факторы цены.

Он многозначительно прижимал палец к губам.

Перед сдачей вещи в химчистку следует убедиться в том, что она не будет повреждена.

Дважды пытался он выбраться оттуда и стать на ноги, чтобы жить своим трудом.

Снято видео с чтением этого текста для дальнейшей обработки.

В последующей обработке полученных данных, после применения вышеописанного алгоритма к снятому видео, найдена зависимость для определенных групп фонем.

Для дальнейшего исследования составлен текст, в который входят слова, сочетающие в себе «губные» согласные фонемы и сочетания их с различными гласными фонемами.

Пример текста

-бе(пе)- -еб(еп)-__бедро__зебра__персик__лепить

-бо(по)- -об(оп)-__боль__польза__зоб__топот

-бу(пу)- -уб(уп)-__буква__пуфик__зуб__покупка

-ба(па)- -аб(ап)-__бавария__спать__забор__капкан

-би(пи)- -иб(ип)-__забить__шпик__ошибка__липа

Снята база данных с чтением этого текста. После анализа вновь полученных данных зависимость подтвердилась, и решено разработать алгоритм для автоматического определения необходимых фонем в словах.

Вновь снята база данных с чтением этого текста несколькими людьми. И каждое сочетание фонем произнесено отдельно каждым участником по 3 раза для получения «эталона».

Обработанная база данных дала нам «эталон» по параметрам артикуляции на каждую из визем, что позволило провести исследование по их корреляции. Исследование заключалось в поиске отклика одной виземы на все остальные. Результаты исследования были занесены в таблицу, после которой были сделаны выводы.

Необходимо внести поправку на то, что под наименованиями сигналов со звонкими согласными подразумеваются еще и сигналы с глухими согласными. Коррелирующие с ними более чем на 90% процентов. Соответственно, сигналы с согласной «м» произнесены по 3 раза, а оставшиеся сигналы по 6 раз (3 раза со звонкими и по 3 раза с глухими).

Сигналы, выделенные последними - коррелируют менее 15 % и их можно не учитывать.

Ячейки, выделенные голубым цветом, говорят о том, что данные сигналы коррелируют больше чем основные сигналы. По проведенному анализу можно сказать о том, что это ошибка.

Проведенные исследования по корреляции опорныхвизем дали следующие результаты:

1) 85 % исследуемыхвизем обнаруживаются по корреляции с самими с собой.

Данный результат можно улучшить путем увеличения количества рассматриваемых параметров артикуляции, а так же улучшения алгоритма выделения внутренней области губ и ее аппроксимации.

2) 15% исследуемых визем дают ложные отклики по корреляции с другими виземами в пределах 30-50%.

После проведенного анализа этого результата можно сказать, что ложные отклики получены потому что эти виземы визуально очень схожи и соответственно полученные параметры артикуляции имеют близкие значения.

5. 

5. Разработка биотехнической системы

5.1 Качество изображения

В процессе формирования изображения выделяются три звена, характеристиками которых определяется качество изображения:

1. Ансамбль регистрируемых объектов («сюжет»).

2. Система регистрации изображения.

3. Процесс апостериорной обработки изображения.

В таблице 9 представлены основные факторы каждого звена, влияющие на качество изображения и соответствующие характеристики изображения лица.

Таблица 9 - Качество изображения лица

Звено	Факторы	Характеристики изображения
Ансамбль регистрируемых объектов	Положение головы Позиционирование лица Фон (цвет, тени на фоне, однородность) Освещение (яркость, направленность, характер освещения) Артефакты (очки, повязки)	Неравномерность освещенности лица Геометрические размеры лица Цвет фона Неоднородность фона Положение головы (наклоны, повороты, отклонения)
Система регистрации изображения	Экспозиция Фокусировка и глубина резкости Воспроизведение исходных цветов Аберрации	Динамический диапазон интенсивности Цветовая насыщенность Цветовое пространство Разрешение изображения Контраст изображения
Процесс апостериорной обработки изображения	Формат сжатия изображения	Коэффициент сжатия

Удовлетворительное качество изображения по ансамблю регистрируемых объектов обеспечиваются требованиями к условиям регистрации изображения лица, по системе регистрации изображения и процессу апостериорной обработки изображения - требованиями к характеристикам изображения.

5.2 Требования к условиям регистрации изображения

Условия регистрации в значительной степени обуславливают исход автоматической обработки. Требования к ним могут быть проконтролированы только в конкретных условиях эксплуатации системы.

Лицо должно быть равномерно освещено. Не допускается наличия преимущественного направления освещения Область лица от макушки до основания подбородка и от уха до уха должна быть четко видна и не должна содержать теней. Допускается наличие на голове вуали, шарфа или головного убора, если они не могут быть сняты по религиозным убеждениям, однако, при этом они не должны закрывать никаких особенностей лица и не должны создавать теней на лице. Во всех остальных случаях покрытие головы должно отсутствовать.

Не допускается наличие темных теней от бровей в глазных впадинах. Радужные оболочки и зрачки глаз должны быть четко видны.

5.2.1 Требования к геометрическим размерам лица на изображении

Требования к геометрическим размерам лица на изображении определяются исходя из необходимого минимального размера определяемых элементов. В случае разрабатываемой системы точность расстановки контрольных точек должна позволять фиксировать минимальные изменения движения губ. Амплитуда минимальных движений губ составляет от 10% до 20% высоты контура губ. По статистическим данным диапазон значений ширины контура губ составляет от 35 до 65 мм, высоты губ от 1 до 5 см. Средняя высота контура губ равна 25 мм, поэтому размеры высоты контура губ на изображении должны позволять регистрировать артикуляционные движения с амплитудой минимум 2,5 мм.

По теореме Котельникова, для того, чтобы можно было различить элемент, необходимо минимум два отсчета. Таким образом, шаг дискретизации по осям изображения равен:

29)

Пространственная частота дискретизации равна:

30)

В пределах нормы диапазон значений ширины контура губ составляет до 65 мм, высоты губ 5 см. Возьмем коэффициент запаса k=1,25, тогда размеры области, которая должна быть отражена на изображении, равны:

31)

Тогда, исходя из полученного значения пространственной частоты дискретизации, получаем, что минимальные размеры области лица на изображении должны быть равны:

Отсюда следует, что минимальные ширина и высота контура губ составляет:

,

.

В автоматизированной системе распознавания гласных визем используются цифровые изображения, поэтому отсчетами являются пикселы, т.е. минимальные размеры губ на изображении равны 65 пикс. Х 50 пикс.

На изображении губы занимают не менее 1/6 ширины изображения и не менее 1/11 высоты изображения. Минимальное разрешение регистрируемого изображения:

,

.

Таким образом, разрешение изображения лица должно быть не менее 550х390 точек.

5.2.2 Требования к положению головы

Положение лица при фотографировании оказывает существенное влияние на отображение всех его элементов. Происходит как изменение отображения формы и положения элементов лица, так и изменение соотношений элементов лица или контрольных точек. Согласно ГОСТ Р ИСО/МЭК 19794-5-2006 положение головы описывается полем угловых координат (Y, P, R). Угловые координаты определяются углами Тайт-Брайна

- угол поворота (Y) характеризует вращение вокруг вертикальной (y) оси;

- угол наклона (P) - вращение вокруг горизонтальной (x) оси, направленной слева направо;

- угол отклонения (R) - вращение вокруг горизонтальной (z) оси, направленной вперед.

Углы определены относительно фронтального положения, для которого указанные угловые координаты равны (0, 0, 0). - Определение угловых координат относительно фронтального положения головы изображено на рисунке 44. Отклонение головы происходит во фронтальной плоскости, поэтому оно не вызывает каких-либо изменений в отображении элементов лица или изменений размерных отношений.

Рисунок 44 - Определение угловых координат относительно фронтального положения головы

Наклон и поворот головы приводят к изменению вертикальных и/или горизонтальных размеров лица и соответствующих размерных отношений элементов лица или контрольных точек.

Положение лица должно быть фронтальным. Поворот, наклон и отклонение головы должны составлять менее 5 градусов в любом направлении от фронтального положения по каждой угловой координате.

5.3 Требования к характеристикам изображения лица

На изображении лица не допускается наличие «ярких пятен» (ярких бликов на лице). Данные артефакты обычно возникают, когда для освещения используется один высокоинтенсивный направленный источник. Необходимо использовать диффузное освещение, несколько сбалансированных источников или другие методы освещения.

5.3.1 Требования к контрасту изображения

Требования к контрасту обусловлены пороговым значением контраста для визуального распознавания, так как врач-оператор должен иметь возможность визуально контролировать результат распознавания. Кроме этого принципы автоматической обработки при разработке автоматизированной системы распознавания гласных визем по динамике изображений контура строятся на эмпирических законах распознавания, в качестве пространства признаков используются наблюдаемые человеческим глазом особенности.

Значение контраста, при котором возможно визуальное и, соответственно, автоматическое распознавание согласно закону зрительного восприятия, должно быть больше 0,3.

5.3.2 Требования к разрешению изображения

Как было выше показано формируемое изображение лица должно обеспечивать регистрацию артикуляционных изменений минимум 2,5 мм, т.е. пространственная частота дискретизации равна .

Требования к разрешению выражаются через количество пикселей на линейный размер. В практике обработки изображения лица распространение получила величина «расстояние между центрами глаз» r_centr[пикс]. По статистическим данным в офтальмологии диапазон значений межзрачкового расстояния составляет от 52 до 75 мм. Отсюда следует, что минимальное расстояние между центрами глаз составляет:

. 33)

Разрешение изображения лица должно быть не менее 60 пикселей между центрами глаз.

5.3.3 Требования к частоте кадров видеоизображения

В ходе работы необходимо фиксировать движения губ диктора при произнесении фонем, поэтому необходимо выдвинуть требования к частоте кадров видеоизображения. При разработке требований к частоте кадров видеоизображения устанавливается минимальная частота кадров, обусловленная скоростью движения губ. Важно регистрировать момент произнесения фонем. Минимальная длительность фонем составляет 0,1-1 с, то есть максимальная частота произношения фонемы равна:

34)

По теореме Котельникова частота дискретизации должна быть больше максимальной частоты в два или более раза:

, (35)

То есть минимальная частота кадров видеоизображения равна 20 кадров/с.

5.4 Разработка структурно-функциональной схемы системы и схемы БТС. Формирование требований к подсистемам

Структурная схема БТС для регистрации фонем представлена на рисунке 45:

Рисунок 45 - Структурная схема БТС для регистрации фонем

Структурная схема БТС состоит из пациента, врача и трех технических частей:

- подсистема регистрации сигналов;

- подсистема обработки;

- подсистема взаимодействия с пользователем.

Между блоками технических подсистем осуществляется информационная связь. Пациент, врач взаимодействуют с техническими подсистемами через энергетическую связь.

Подсистема регистрации сигналов предназначена для регистрации видео- и аудиоопотока пациента при произнесении им фонем. Подсистема состоит из устройств позиционирования, видеокамеры, микрофона и осветителя. Осветитель воздействует на биообъект энергетически потоком света. Видеокамера регистрирует энергетический поток света от объектов расположенных в поле видимости видеокамеры, в том числе биообъекта. Для того чтобы биообъект находился в поле зрения видеокамеры, оператор управляет устройством позиционирования энергетически.

Между подсистемой регистрации сигналов и подсистемой обработки данных осуществляется обмен данными по информационной связи в канале передаче данных. В подсистему обработки данных включено программное обеспечение и информационное обеспечение. Оператор обращается с подсистемой обработки данных по энергетическим связям через подсистему взаимодействия с пользователем, которая в основном состоит из устройств ввода и вывода. Самыми распространенными устройствами ввода являются клавиатуры и манипуляторы типа мышь. Необходимым устройством вывода информации является монитор. Возможно наличие других устройств вывода и ввода.

5.5 Реализация модуля распознавания фонем русской речи по изображениям губ

Блок-схема разработанного алгоритма автоматического распознавания фонем представлена на рисунке 46:



Рисунок 46 - Блок-схема разработанного алгоритма автоматического распознавания фонем

Принцип работы алгоритма основан на пошаговой корреляции необходимого нам сигнала (маски) с подаваемым сигналом.

В первую очередь загружаются данные параметров артикуляции, полученные после обработки видеоролика, из которых выделяется необходимый нам сигнал:

Рисунок 47 - Пример полученных значений параметров артикуляции (красным выделена область параметров артикуляции соответствующих виземе «ве»)

Все данные, полученные после обработки видеоролика, формируют сигнал, а выделенная область с эталонной виземой формирует маску. Далее происходит корреляция между сигналами с заданным порогом (формула приведена ниже). С каждой итерацией - маска сдвигается по сигналу на 1 кадр.

После завершения корреляции, выдается результат в виде таблицы. В которой выводятся границы (по кадрам) с виземами, наиболее коррелирующими с маской.

Рисунок 48 - Пример результата для виземы «ве»

Данный алгоритм реализован в среде MatLabверсии 2010b.

Листингкодапрограммы:

function [coord answers]=filterwithmask (signal,mask,stepsignal,stepmask,porog)

n=size(signal,1)*stepsignal;

function1=fit(signal(:,1),signal(:,2),'linearinterp');

signalnew=function1(min(signal(:,1)):(max(signal(:,1))-min(signal(:,1)))/(n-1):max(signal(:,1)));

m=size(mask,1)*stepmask;

function2=fit(mask(:,1),mask(:,2),'linearinterp');

masknew=function2(min(mask(:,1)):(max(mask(:,1))-min(mask(:,1)))/(m-1):max(mask(:,1)));

masknorm=masknew/max(masknew);

i=1;

j=size(masknew,1);

k=1;

while j<size(signalnew,1);

test=signalnew(i:j);

testnorm=test/max(test);

answers(k)=sqrt( (sum((masknorm-testnorm).^2)) )/sum(masknorm);

k=k+1;

i=i+1;

j=j+1;

end;

coordnum=1;

coord=0;

for z=1:size(answers,2);

if answers(z)<=porog;

coord(coordnum,1)=z/stepsignal;

coord(coordnum,2)=((z/stepsignal)+(size(mask,1)-1));

coordnum=coordnum+1;

end;

end;

Размещено на Allbest.ru