Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Дипломна робота

Дослідження ефективності застосування марковських прихованих моделей для побудови голосових компонент інтерфейсу користувача з програмними додатками



Вступ

голосовий програма інтерфейс

Актуальність проблеми. На даний час найбільш поширений інтерфейс користувача з програмними додатками включає в себе використання маніпулятора «миша» та клавіатури. Однак очевидними є зайві затрати часу на виконання окремих операцій за рахунок використання цих пристроїв. Таким чином актуальною є тема підвищення ефективності використання традиційних інтерфейсів користувача з програмними додатками за рахунок включення до його складу голосової взаємодії. Дана робота присвячена дослідженню ефективності застосування марківських прихованих моделей для побудови голосових компонент інтерфейсу користувача з програмними додатками.

В історії розвитку 1952 рік можна вважати роком народження систем розпізнавання мови. Компанія Bell Laboratories розробила систему названу Одрі, яка розпізнавала цифри, сказані одним голосом. Через 10 років компанія IBM представила комп'ютер Shoebox зі здатністю розпізнавати 16 слів англійською мовою.

Голосові технології міцно увійшли в наше повсякденне життя. В наш час системи голосового інтерфейсу отримують практичне застосування в телекомунікація, мобільних пристроях, побутових пристроях, автомобілях, освіті, комп'ютерних системах, інтернеті, системах доступу, аерокосмосі, військовому комплексі, іграх.

Створення інтерфейсу користувача має бути націлене на показники ефективності людино-машинної системи, які можна виміряти кількісно і об'єктивно:

- продуктивність праці;

- точність роботи (кількість помилок);

- функціональна повнота;

- завершеність роботи;

- простота освоєння.

Найбільш поширені інтерфейси, з використанням клавіатури та миші, не відповідають усім заявленим вимогам. Сучасні комп'ютерні програми все більшою мірою стають орієнтованими на користувача, і як альтернатива пропонується голосовий інтерфейс. На сьогоднішній день найбільш поширеним алгоритмом розпізнавання мови є приховані марківські моделі. Він використовується в різних програмних додатках, але ефективність застосування марковських прихованих моделей для побудови голосових компонент інтерфейсу користувача з програмними додатками потребує досліджень.

Проблема розробки голосового інтерфейсу є досить складною і комплексною, що вимагає від розробника знань у різних предметних областях, таких як комп'ютерні науки, лінгвістика та психологія поведінки людини. Навіть при наявності просунутих засобів проектування, розробка ефективного голосового інтерфейсу вимагає від його творців детального розуміння як задач, виконуваних системою, так і психології користувачів системи.

Об'єктом дослідження є голосовий інтерфейс.

Предмет дослідження - моделі та методи побудови голосового інтерфейсу.

Робота складається з вступу, п'ятьох розділів і висновку. В першому розділі наведені проведений огляд літератури, описані критерії та оцінка ефективності інтерфейсу, розлянено практичнее використання голосового інтерфейсу, системи розпізнавання мови та програмне забезпечення для реалізації данної технології. У другому розділі розглянуто методику побудови та оцінювання ефективності голосового інтерфейсу. У третьому розділі розроблена структурно-функціональна схема та архітектура програмної реалізації голосового інтерфейсу, представлений опис програм. У четвертому розділі представлені результати експериментальних дослідженнь у програмах з голосовим інтерфейсом, які використовують приховані марківські моделі для розпізнавання голосових команд. У п'ятому розділі розглянуто охорону праці у відділі інформаційних технологій.



1. Аналіз шляхів налагодження інтерфейсу користувача з програмними додатками

1.1 Існуючі технології інтерфейсів, критерії та оцінка їх ефективності

Інтерфейс (від англ. interface - поверхня розділу, перегородка) - сукупність засобів і методів взаємодії між елементами однієї системи. Засіб сполучення пристроїв обчислювальної техніки (апаратний інтерфейс); організація взаємодії людини і комп'ютерної програми (програмний інтерфейс) [23, C.12].

Основне завдання інтерфейсу - сховати від користувача технічні деталі й складності, що стосуються внутрішньої роботи системи, зробити спілкування із системою простим і зрозумілим навіть для непідготовленого користувача [9].

Інтерфейс користувача (user interface) - різновид інтерфейсів, в якому одна сторона представлена людиною (користувачем), інша - машиною (пристроєм). Він являє собою сукупність засобів і методів, за допомогою яких користувач взаємодіє з різними машинами і пристроями. Це програмне середовище, яке представлене користувачеві з ціллю ефективного управління апаратними засобами комп'ютера, реалізації технічних можливостей комп'ютера або комп'ютерної мережі [23, C.12].

Інтерфейс користувача комп'ютерного додатка включає:

- засоби відображення інформації, що відображається інформацію, формати і коди;

- командні режими, мова «користувач-інтерфейс»;

- пристрої та технології введення даних;

- діалоги, взаємодія і транзакції між користувачем і комп'ютером, зворотний зв'язок з користувачем;

- підтримку прийняття рішень у конкретній предметній області;

- порядок використання програми і документацію на неї[29].

Набір прийомів взаємодії користувача з додатком називають інтерфейсом користувача. Під додатком розуміється пакет прикладних програм для певної області застосування і споживання інформації.

Інтерфейс користувача включає три поняття:

- спілкування додатка з користувачем;

- спілкування користувача з додатком;

- мову спілкування, яка визначається розробником програмного додатка [6, 288c].

Виділяють наступні види інтерфейсів:

1) Текстовий інтерфейс користувача, зокрема інтерфейс командного рядка.

При технології командного рядка як способу введення інформації зазвичай служить клавіатура, а дисплей засобом виведення. Команди набираються в командному рядку.

При пакетній технології спочатку накопичуються дані, і формується пакет даних, а потім пакет послідовно обробляється низкою програм. Недоліки цього режиму - низька оперативність прийняття рішень і відособленість користувача від системи.

2) Графічний інтерфейс. В цьому інтерфейсі машині подаються команди через графічні образи, використовуючи для введення інформації клавіатуру та мишку.

На сьогоднішній день існують наступні інтерфейси цього виду:

A. Простий графічний інтерфейс;

B. Віконний інтерфейс;

C. WIMP-інтерфейс;

D. Веб-орієнтований інтерфейс;

E. Масштабований інтерфейс користувача.

3) SILK-інтерфейс (Speech - мова, Image - образ, Language - мова, Knowlege - знання). Комп'ютер знаходить для себе команди, аналізуючи людську поведінку.

При голосовій технології команди подаються голосом шляхом проголошення спеціальних зарезервованих слів - команд.

При біометричній технологіії людина постає як сукупність ознак поведінки. Картинка зчитується з цифрової відеокамери, а потім за допомогою спеціальних програм розпізнавання образів з цього зображення виділяються команди.

Про технологію семантичного інтерфейсу відомо вкрай мало. Схоже, що вона тісно пов'язана з штучним інтелектом і подібна зі всіма підвидами SILK та іншими видами теж. Можливо, що у зв'язку з важливим військовим значенням цих розробок ці напрямки були засекречені. (4)

На сьогоднішній день існують наступні інтерфейси цього виду:

A. Жестовий інтерфейс

B. Голосовий інтерфейс

C. Матеріальний інтерфейс користувача

D. Сензитивні інтерфейси

E. Тактильні інтерфейси

Далі більш детально їх розглянемо.

1. Текстовий інтерфейс користувача

Текстовий інтерфейс користувача (англ. text user interface, TUI; також Character User Interface, CUI) - різновид інтерфейсу користувача, що використовує при введенні-виведенні і представлені інформації виключно набір букво-цифрових символів і символів псевдографіки. Характеризується малою вимогливістю до ресурсів апаратури введення-виведення (зокрема, пам'яті) і високою швидкістю відображення інформації, тому широко використовувався на початковому етапі розвитку обчислювальної техніки. Також, його різновид -інтерфейс командного рядка, має окремі переваги перед графічним інтерфейсом. Тому програми, засновані на текстовому інтерфейсі користувача, мають деяке поширення до цього часу, особливо в специфічних сферах і на малопотужному обладнанні.

У простому випадку текстовий інтерфейс користувача використовує інтерфейс командного рядка, однак багато програм за допомогою інтерактивних елементів створюють більш дружній інтерфейс, що наближається по зручності до графічного. У текстовому інтерфейсі реалізовані всі базові елементи інтерфейсу, пізніше перенесені в графічний інтерфейс - меню (як список, так і випадні), кнопки, радіо-кнопки, чек-бокси, смуги прокрутки і т.д. Багато програм реалізовували розвинену віконну систему, деякі мали змінні скіни (наприклад, DOS Navigator) і підтримували різні пристрої інтерактивної взаємодії, такі як миша, джойстик, світлове перо.

Командний інтерфейс називається так тому, що в цьому виді інтерфейсу людина подає «команди» комп'ютеру, а комп'ютер їх виконує і видає результат людині. Командний інтерфейс реалізований у вигляді пакетної технології та технології командного рядка[11].

На пристрої-консолі, яке друкувало текст на папері, інтерфейс командного рядка був єдиним можливим. На відеотерміналах інтерфейс командного рядка застосовується з таких причин:

- невеликий витрата пам'яті в порівнянні з системою меню;

- у сучасному програмному забезпеченні є велика кількість команд, багато з яких потрібні вкрай рідко. Тому, навіть в деяких програмах з графічним інтерфейсом застосовується командний рядок: набір команди (за умови, що користувач знає цю команду) здійснюється набагато швидше, ніж, наприклад, навігація по меню;

- природне розширення інтерфейсу командного рядка - пакетний інтерфейс. Його суть в тому, що в файл звичайного текстового формату записується послідовність команд, після чого цей файл можна запустити в програмі, що здобуде такий же (не менший) ефект, як якби ці команди були по-черзі введені в командний рядок. Приклади - .bat-файли в DOS і Windows. Якщо програма повністю або майже повністю може управлятися командами інтерфейсу командної строки і підтримує пакетний інтерфейс, вміле поєднання інтерфейсу командного рядка з графічним надає користувачеві дуже потужні можливості[29].

2. Графічний інтерфейс

Графічний інтерфейс користувача (ГІК), графічний користувацький інтерфейс (ГКІ) (англ. Graphical user interface, GUI) - різновид інтерфейсу користувача, в якому елементи інтерфейсу (меню, кнопки, значки, списки і т. п.), представлені користувачеві на дисплеї, виконані у вигляді графічних зображень. На відміну від інтерфейсу командного рядка, в ГКІ користувач має довільний доступ, за допомогою пристроїв введення (клавіатури, миші і т. п.), до всіх видимих екранних об'єктів (елементів інтерфейсу) і здійснює безпосереднє маніпулювання ними. Найчастіше елементи інтерфейсу в ГКІ реалізовані на основі метафор та відображають їх призначення і властивості, що полегшує розуміння й освоєння програм користувачами.

Далі представлені підвиди цього виду інтерфейсу.

А. Простий графічний інтерфейс, який на першому етапі дуже був схожий на технологію командного рядка з наступними відмінностями:

- при відображенні символів з ??метою підвищення виразності зображення допускалося виділення частини символів кольором, інверсним зображенням, підкресленням і мерехтінням;

- курсор міг бути представлений деякою областю, виділеної кольором, і охоплювати кілька символів, навіть частину екрану;

- реакція на натискання будь-якої клавіші стала залежати від того, в якій частині екрану знаходиться курсор;

- крім часто використовуваних клавіш, для управління курсором стали використовуватися маніпулятори типу миші і т. п., які дозволяли швидко виділяти потрібну область екрану і переміщувати курсор;

- широке використання кольорових моніторів.

Поява простого графічного інтерфейсу збігається з широким розповсюдженням операційної системи MS DOS. Типовим прикладом його використання є файлова оболочка Нортон Командир і текстові редактори MaltiEdit, ChiWriter, Microsoft Word для DOS та ін.

В. Віконний інтерфейс

Віконний інтерфейс - спосіб організації повноекранного інтерфейсу програми, в якому кожна інтегральна частина розташовується у вікні, власному суб-екранному просторі, що знаходиться в довільному місці «над» основним екраном. Кілька вікон, одночасно розташованих на екрані, можуть перекриватися, перебуваючи «вище» або «нижче» один від одного. Незважаючи на те, що найбільш природним для віконного інтерфейсу є графічний режим, основні його елементи можна застосувати й у текстовому режимі, де він застосовується в рівній мірі. Процедури підтримки віконного інтерфейсу покликані відмальовувати екран з розташованими «поверх нього» вікнами і розподіляти введення інформації користувачем між ними (при існуванні кількох рівноправних вікон введення інформації користувачем здійснюється в те, яке в даний момент є активним). Вікно зазвичай має прямокутну форму, з обрамленням та / або кольором фону, відмінним від кольору основного екрану. При необхідності вікно має заголовок і органи управління[29].

С. WIMP-інтерфейс (Window - вікно, Image - образ, Menu - меню, Pointer - покажчик). Хоча і в цьому інтерфейсі машині подаються команди, але це робиться «безпосередньо», через графічні образи.

WIMP-інтерфейс, з'явився другим етапом розвитку графічного інтерфейсу, який характеризується такими особливостями:

- вся робота з програмами, файлами і документами відбувається у вікнах;

- програми, файли, документи, пристрої та інші об'єкти представляються у вигляді значків (іконок), які при відкритті перетворюються на вікна;

- всі дії з об'єктами здійснюються за допомогою меню, яке стає основним елементом управління;

- маніпулятор виступає в якості головного засобу керування [6, 288 c.].

Однією з вимог до хорошого графічному інтерфейсу програмної системи є концепція «роби те, що я маю на увазі» або DWIM (англ. Do What I Mean). DWIM вимагає, щоб система працювала передбачувано, щоб користувач заздалегідь інтуїтивно розумів, яку дію виконає програма після отримання його команди[2].

D. Веб-орієнтований інтерфейс

Веб-додаток - клієнт-серверний додаток, в якому клієнтом виступає браузер, а сервером - веб-сервер. Логіка веб-додатків розподілена між сервером та клієнтом. Зберігання данних здійснюється, переважно, на сервері, обмін інформацією відбувається по мережі. Одним із переваг такого підходу є той факт, що клієнти не залежать від конкретної операційної системи користувача, тому веб-додатки є міжплатформенними сервісамі.

Істотна перевага побудови веб-додатків для підтримки стандартних функцій браузера заключається в тому, що функції повинні виконуватися незалежно від операційної системи даного кліента. Замість того щоб писати різні версії для Microsoft Windows, Mac OS X, GNU / Linux і інших операційних систем, додаток створюється один раз для довільно обраної платформи і на ній розвертається. Однак різна реалізація HTML, CSS, DOM і інших специфікацій в браузерах може викликати проблеми при розробці веб-додатків і подальшій підтримці. Крім того, можливість користувача налаштовувати багато параметрів браузера (наприклад, розмір шрифту, кольору, відключення підтримки сценаріїв) може перешкоджати коректній роботі додатку. Інший (менш універсальний) підхід полягає у використанні Adobe Flash або Java-аплетів для повної або часткової реалізації інтерфейсу користувача. Оскільки більшість браузерів підтримують ці технології (як правило, за допомогою плагінів), Flash або Java-додатки можуть виконуватись з легкістю. Так як вони надають програмісту більший контроль над інтерфейсом, вони способні обходити багато несумісностей в конфігураціях браузерів, хоча несумісність між Java чи Flash реалізаціями на стороні клієнта може призводити до різних ускладнень.

Веб-додаток отримує запит від клієнта і виконує обчислення, після цього формує веб-сторінку та відправляє її клієнту по мережі з використанням протоколу HTTP. Сам веб-додаток може виступати в ролі клієнта інших служб, наприклад, бази даних або іншого веб-додатку, розташованого на сервері.

E. Масштабований інтерфейс користувача

ZUI (англ. Zooming User Interface або Zoomable User Interface - масштабований інтерфейс користувача) - графічний інтерфейс користувача, де робочий простір являє собою більшу чи необмежену площину, на якій розташовані основні елементи, властивості і вміст яких стають доступні у міру їх «наближення» шляхом збільшення. Подальше наближення вмісту робить доступним більш глибокі рівні. Таким чином, наприклад, маленька кнопка може мати на собі, крім основного надпису або значка, ще й цілу інструкцію по використанню, яку може бути не видно при розмірі кнопки в 1 сантиметр, але яку можна з легкістю прочитати, якщо збільшити зображення кнопки [6, 288 c.].

2. SILK-інтерфейс (Speech - голос, Image - образ, Language - мова, Knowlege - знання). Команди у цьому виді інтерфейсу подаються за допомогою голосу, жестів і т. п.

Цей вид інтерфейсу включає наступні підвиди:

A. Жестовий інтерфейс

Жестовий інтерфейс - підмножина системи введення інформації для графічного інтерфейсу користувача, в якій використовується спеціальне обладнання, або пристрої введення, відмінні від клавіатури, або використовуються сенсорні екрани і дозволяє емулювати клавіатурні команди (або поєднання клавіш) за допомогою жестів. Основною мотивацією розробки таких інтерфейсів є поліпшення ергономічності керування, з відмовою від звичного для комп'ютерних програм меню програми.

Подібний інтерфейс може бути реалізований як за допомогою пристроїв координатного введення з можливістю зчитування координати однієї точки дотику (миша або графічний планшет), так і таких, в яких є можливість зчитування координат більш ніж однієї точки (наприклад, мультидотик, мультитач) - сенсорні екрани і панелі. Останні стали широко застосовуватися в інтерфейсах безлічі сучасних смартфонів з сенсорним екраном (наприклад, iPhone) і ноутбуків (як з тачпадом, так з сенсорним екраном) і інших мобільних пристроїв.

У разі для пристроїв з великим розміром екрана, наприклад, планшетних ПК, жести є стандартними функціями інтерфейсу управління та пір'яного введення. У кишенькових пристроїв, на відміну від класичних графічних інтерфейсів користувача, малі фізичні розміри екрану, і тому потрібна менша точність позиціонування, ніж для доступу до традиційних елементів графічного інтерфейсу - натискання «кнопки» або вибору пункту меню.

B. Голосовий інтерфейс

З технологічної точки зору весь інформаційний процес тут розділяється на декілька послідовних етапів, на кожному з яких використовується своя базова технологія. Такими етапами в даному випадку є:

- Аналого-цифрове перетворення мовного сигналу і введення отриманої цифрової інформації в пам'ять комп'ютера. Базовою технологією тут є аналого-цифрове перетворення, а реалізується ця технологія, як правило, апаратним способом за допомогою спеціальних електронних пристроїв, характеристики яких заздалегідь оптимізовані і добре відомі проектувальникам.

- Виділення в складі цифрової мовної інформації окремих фонем тієї мови, на якому проголошувалася мова, і ототожнення їх з типовими «образами» цих фонем, що зберігаються в пам'яті обчислювальної системи. Базовою технологією тут є технологія розпізнавання.

- Перетворення голосової інформації в текстову форму і здійснення процедур її морфологічного та синтаксичного контролю. Базовими технологіями тут є процедури морфологічного та синтаксичного контролю тексту, сформованого на основі аналізу мовної інформації, та внесення в нього необхідного коректування, пов'язаного з виправленням помилок[23].

C. Матеріальний інтерфейс користувача

Матеріальний інтерфейс користувача - це різновидність інтерфейсу користувача, в якому взаємодія з цифровою інформацією відбувається за допомогою матеріальної конструкції. Матеріальні інтерфейси користувача, такі як матеріальні біти - це спроба надати цифровій інформації фізичний облік, роблячи біти відчутними і тому доступними безпосередньо. При цьому переслідується мета нерозривно зв'язати такі різні сутності, як світи бітів і атомів. Прикладом матеріального інтерфейсу користувача можна назвати кульовий автовідповідач Дюрелла Бішопа. Кожна кулька відповідає повідомленням, залишеному на автовідповідачі. Переміщення кульки в спеціальну виїмку відтворює пов'язане з ним повідомлення або викликає того хто дзвонив. Інший приклад - система Топобо. Блоки її нагадують елементи конструктора LEGO, які можуть з'єднуватися разом, але, в той же час, переміщатися самостійно за рахунок моторчиків. Можна тягнути, штовхати або повертати ці елементи; вони запам'ятають ці дії і здатні їх відтворити. Інша реалізація дозволяє користувачеві матеріальним пером намалювати малюнок на столі системи. Використовуючи попередньо запрограмовані «жести», можна клонувати картинку або розтягувати по двох осях, як у програмі малювання[29].

D. Сензитивні інтерфейси

Сензитивний інтерфейс - тип інтерфейсу, що дозволяє користувачеві управляти пристроєм, завдяки натисненню на екран пальцем або ручкою-стилусом.

У цьому інтерфейсі використовується популярна технологія Multi-Touch, її можна застосовувати до таких пристроїв як сенсорні панелі та екрани, що розпізнають кілька торкань одночасно.

Дотик по екрану пальцем або ручкою-стилусом - є тач, а дотик декількома пальцями одночасно - мульти-тач. На сьогоднішній день з технічної точки зору існує безліч абсолютно різних підходів до реалізації сенсорних поверхонь.

Є два види екранів: резистивний і ємнісний.

Резистивна технологія відносно стара, яка стає вже неактуальною. Вони використовуються в тач-скронях, КПК і т. п. У цій технології користувач може використовувати стилус для більш точного натискання або будь-який предмет, що нагадує стилус. Ця технології має безліч недоліків, таких як невисока чутливість, механічний знос, відносно великі фізичні розміри, схильність до випадкових дотиків.

Ємкісна технологія набагато ефективніше резистивної. Ємнісний підхід більш точний і більш довговічний. Так само технологія дозволяє розпізнавати кілька торкань одночасно, але реагує тільки на людські пальці (та інші об'єкти з подібними електричними характеристиками).

Використання класичних стилусів, або підручних засобів в їх якості - неможливо, але на ринку присутні спеціальні стилуси, по суті, імітують властивості людського пальця.

До інших менш поширеним технологій відносяться інфрачервоне позиціонування, розпізнавання поверхневих акустичних хвиль, оптичне розпізнавання, дисперсія сигналу.

E. Тактильні інтерфейси

Тактильний інтерфейс користувача - це спосіб користувачеві тактильно відчути те, що зображено на екрані. Замість вібрації, часто застосовується в апаратах з сенсорним управлінням, для створення ілюзії змін на поверхні екрана. В останні роки тактильні технології стали популярні в дослідженнях, присвячених проблемам штучного інтелекту і віртуальної реальності. Почуття дотику виявляється найважливішим компонентом для відтворення віртуального середовища, який повинна викликати повну ілюзію реальності.

На даний час існує три тактильні технології:

- обертовий ексцентричний маховик;

- лінійний резонансний привід;

- п'єзоприводи.

Обертовий ексцентричний маховик - найстаріша тактильна технологія на ринку. Пристрій з тактильною функцією складається з маховика зі зміщеною віссю, що при обертанні створює всенаправлені вібрації. Ці коливання виникають в стільниковому телефоні в режимі вібродзвоника.

Для реалізації більш сучасної тактильної технології використовується лінійний резонансний привід. Він являє собою електромагніт з обмоткою і прикріпленою до нього пружиною.

П'єзоелектричні приводи складаються з плівки - датчика, який перетворює електричну напругу в механічні коливання. Ці датчики застосовуються також у системах збору енергії і в динаміках[8].

Далі розглянемо цілі та критерії оцінки ефективності інтерфейсу користувача.

З точки зору ергономіки (науку про ефективну взаємодію людини і техніки), найважливіше в додатку - створити такий користувацький інтерфейс, який зробить роботу ефективною і продуктивною, а також забезпечить задоволеність користувача від роботи з програмою.

Ефективність роботи означає забезпечення точності, функціональної повноти і завершеності при виконанні виробничих завдань на робочому місці користувача. Ефективність роботи відображає обсяг витрачених ресурсів при виконанні завдання, як обчислювальних, так і психофізіологічних.

Створення інтерфейсу користувача має бути націлене на показники ефективності людино-машинної системи, які можна виміряти кількісно і об'єктивно:

- продуктивність праці - визначається середньою кількістю вирішених завдань, отриманими за результатами роботи групи користувачів;

- точність роботи (кількість помилок) - показник точності включає відсоток помилок, які зробив користувач (число помилок набору, варіанти помилкових шляхів або відгалужень, число неправильних звернень до даних, запитів тощо);

- функціональна повнота визначається тим, якою мірою вироблений користувачем продукт (результат роботи), відповідає пред'явленим до нього вимогам; відображає ступінь використання первинних і оброблених даних, списку необхідних процедур обробки або звітів, число пропущених технологічних операцій або етапів при виконанні поставленої задачі для користувача. Цей показник може визначатися через відсоток застосування окремих функцій в роботі;

- завершеність роботи - описує ступінь виконання виробничого завдання середнім користувачем за певний термін або період, частку (або довжину черги) незадоволених (необроблених) заявок, відсоток продукції, що знаходиться на проміжній стадії готовності, а також число користувачів, які виконали завдання у фіксовані терміни;

- простота освоєння - визначається часом освоєння інтерфейсу, виходу на продуктивний рівень.

Задоволеність користувача можна оцінити шляхом проведення опитування (експертної оцінки) користувачів і за ступенем стресу, втоми, емоційного стану - по фізіологічним і психологічним показниками.

Задоволеність користувача від роботи тісно пов'язана з комфортністю його взаємодії з додатком, і сприяє збереженню професійних кадрів на підприємстві «Замовника» за рахунок привабливості роботи на даному робочому місці.

Вимоги до зручності та комфортності інтерфейсу зростають зі збільшенням складності робіт і відповідальності користувача за кінцевий результат. Висока задоволеність від роботи досягається в разі:

- прозорої для користувача навігації і цільової орієнтації в програмі. Головне, щоб було зрозуміло, куди йдемо, і яку операцію програма після цього кроку зробить;

- ясності і чіткості розуміння користувачем текстів та значення ікон. У програмі повинні бути ті слова і графічні образи, які користувач знає чи зобов'язаний знати за характером його роботи або займаної посади;

- швидкості навчання при роботі з програмою, для чого необхідно використовувати переважно стандартні елементи взаємодії, їх традиційне або загальноприйняте розташування;

- наявності допоміжних засобів підтримки користувача (пошукових, довідкових, нормативних), в тому числі і для прийняття рішення у невизначеній ситуації (введення за замовчуванням, обхід «зависання» процесів тощо).

Зручний інтерфейс допомагає користувачеві впоратись з втомою і напругою при роботі в умовах високої відповідальності за результат[17].

1.2 Голосовий інтерфейс та його практичне застосування

Використання голосового інтерфейсу є найбільш природною і зручною формою взаємодії людини з технічною системою. В даний час вже існує ряд систем, які використовують голосовий інтерфейс, забезпечуючи тим самим більш ефективне рішення деяких задач. Перш ніж перейти до розгляду прикладів практичного використання голосового інтерфейсу, порівняємо його з найбільш поширеними в даний час засобами взаємодії користувача з комп'ютером: клавіатурою і дисплеєм. Слід зазначити принаймні три принципові відмінності голосового інтерфейсу:

1) явний недолік клавіатури і дисплея полягає в тому, що для спілкування з комп'ютером людині потрібно пройти спеціальну підготовку. У той же час мова - це природний інтерфейс для будь-якої, навіть непідготовленої людини. Мова знижує в різкій ступені психологічну відстань між людиною і комп'ютером. Якщо з'являється голосовий інтерфейс, то коло користувачів комп'ютером може стати необмеженим;

2) голос сам по собі ніяк механічно не прив'язаний до комп'ютера і може бути пов'язаний з ним через системи комунікації, наприклад, телефон. Голосовий інтерфейс скорочує фізичну відстань між людиною і комп'ютером. Це додатково розширює коло потенційних користувачів комп'ютерів і робить голосовий інтерфейс ідеальним засобом для створення систем масового інформаційного обслуговування;

3) можна спілкуватися з комп'ютером в повній темряві, з закритими очима, в умовах зайнятості рук важелями управління, з зав'язаними руками і в іншій екстремальній обстановці. Ця властивість дає оперативність і мобільність спілкування, звільнення рук і розвантаження зорового каналу сприйняття при отриманні інформації. Це винятково важливо, наприклад, для диспетчера великий енергетичної системи або пілота літака і водія автомобіля. Крім того, комп'ютерні системи стають більш доступними людям з порушенням зору. В даний час голосові комп'ютерні технології вже досить широко поширені і розвиваються в декількох напрямках[2].

Це, однак, не означає, що голосовий спосіб людино-машинного спілкування цілком замінить традиційні способи введення-виведення інформації. Поряд з іншими засобами він активно сприяє подальшій інтелектуалізації людино-машинних систем. Результати, отримані в галузі розробки голосового інтерфейсу, стають доступні широким верстам населення. В даний час нам уже відомі приклади широкого використання голосового інтерфейсу, наприклад, в області телефонії, побутової техніки та ін [8, 210 c.].

Голосовий інтерфейс розглядається, як додатковий, що розширює можливості існуючих інтерфейсів. Таким чином, разом повинні будуть співіснувати миша, клавіатура і мікрофон. Вони повинні працювати в одній зв'язці, не створюючи перешкод один одному (біда багатьох програм для управління комп'ютером по голосу). Людина повинна мати можливість вибору найбільш зручного інтерфейсу в кожен конкретний момент часу. Наприклад, почати команду, використовуючи мишу, продовжити голосовим вводом і підтвердити натисканням кнопки на клавіатурі. У сучасних операційних системах вже закладалися можливості використання голосового інтерфейсу (нові ОС фірми Microsoft) [8, C. 209].

Практичне використання голосового інтерфейсу:

- телекомунікації

Голосові технології надають можливість цілодобового доступу для користувачів call центрів до послуг:

a) отримання довідкової інформації;

b) доступу до персональних даних та управління сервісами;

c) замовлення по телефону продуктів або послуг;

d) автоматичної переадресації дзвінка на потрібного абонента.

- мобільні пристрої

Дозволяє організувати можливість голосового управління будь-якими додатками мобільної платформи, а також реалізувати можливість введення числової і / або текстової інформації за допомогою голосу.

- побутові пристрої

За допомогою інтелектуального пульта дистанційного можна реалізувати голосове управління будь-якими побутовими та промисловими пристроями.

Наприклад, при управлінні телевізором, це:

a) голосове керування перемиканням каналів;

b) голосове управління настройками та програмування телевізора і засобів відтворення відео;

c) голосове формування запитів для інтелектуального пошуку необхідних відеосюжетів.

Голосові технології можуть знайти найширше застосування в інтелектуальних телевізійних системах нового покоління: за рахунок їх використання значно розшириться пакет сервісів для споживачів ТВ послуг. Наприклад, інтелектуальна приставка з можливостями індексації відеофрагментів дозволить:

a) Записувати і оцифровувати телевізійні програми;

b) Індексувати вироблені записи по категоріям (фільми, спортивні програми, новинні сюжети);

c) Знаходити ключові фрази і вирази в аудіопотоках (для формування вибірки новин з цікавої теми);

d) Знаходити музичні фрагменти, що відповідають певним критеріям пошуку;

e) Знаходити конкретних особистостей по голосовим фрагментам (для формування вибірки програм, в яких брали участь дані люди);

f) Очищати записи від небажаних фрагментів (реклами, заставки).

В свою чергу інформаційні сервери ТВ мереж дозволять організувати сервіси:

a) «Відео за заявкою» (відео на замовлення), коли абонент має можливість дивитися будь-яку передачу або картину в зручний для себе час.

b) Вибір сюжетів для перегляду, наприклад, у випуску новин можна подивитися звичайний сюжет або більш докладну розповідь, повторити спортивний блок ще раз;

c) Індексація та інтелектуальний пошук у базі даних відео фрагментів;

d) Інтерактивні розваги, що передбачають участь глядачів у вікторинах, конкурсах, іграх, спортивних змаганнях і т.д.;

e) Різноманітні сервісно-комерційні служби для абонентів, наприклад, можливість робити покупки не виходячи з дому.

- автомобілі

Аудіосистеми не тільки контролю, а й управління вже застосовуються в деяких марках автомобілів. Наприклад, водій називає вулицю, до якої йому потрібно дістатися, і система надає маршрут до місця призначення. Крім того, механізм розпізнавання голосових команд дозволить водію зв'язуватися з абонентами по телефону або отримувати доступ до своєї персоніфікованої інформації під час руху. Плюси такої системи в тому, що вона не знижує увагу водія за кермом, адже йому не потрібно відводити погляд від дороги і руки від керма, для того, щоб ввести інформацію з клавіатури. Використання звичайного (тактильного) способу набору за кермом не тільки незручно, але й небезпечно. Головною проблемою в такій ситуації є високий рівень шуму (шум вулиці, шум двигуна та ін.). Проте і ця проблема вже має варіанти вирішення.

- освіта

Завдяки голосовим технологіям можливе вивчення іноземних мов з постановкою правильної вимови. Також вони допоможуть школам і університетам підтримувати своїх споживачів на більш високому рівні, забезпечити новими напрямками для навчання, і покращити інформаційну доступність.

- комп'ютерні системи

В інформаційно-довідкових терміналах для управління меню використовують голосові команди (для введення цифр, окремих слів і фраз).

Системи голосової технології можуть використовуватися в системі інтеллектуальної автоматизації «розумний дім» для:

a) голосового управління сервером (технологія розпізнавання мови);

b) системи контролю доступу (технологія ідентифікації голосу диктора по пральний фразі);

c) автоінформатор (система синтезу мови).

- інтернет

В сервісах голосових порталів і пошукових системах реалізована можливість використання «природного інтерфейсу» спілкування користувачів при роботі з додатками. Також система розпізнавання мови використовується для голосової навігації і голосового управління додатками.

- системи доступу

Системи ідентифікації диктора по голосовому фрагменту знаходять широке застосування у складі комплексних систем обмеження доступу.

- аерокосмос

Передача розмов екіпажу в реальному часі у вигляді текстової інформації в «чорний ящик», або «на землю» в диспетчерські служби.

Система ідентифікації дикторів по голосовому фрагменту може застосовуватись в складі комплексних систем безпеки для ідентифікації співробітників, що мають доступ в закриті зони аеропорту, а також в системах забезпечення безпеки доступу в кабіни пілотів.

- військовий комплекс

Голосове управління дасть можливість зупинки бойової техніки при її пошкодженні або пораненні оператора.

Системи ідентифікації дикторів по звуковим фрагментам може застосовуватись для ідентифікації персоналу, що має доступ в закриті зони охороняємого об'єкта.

- ігри

Системи розпізнавання мови можуть використовуватися в абсолютно будь-яких комп'ютерних іграх і додатках, будь-яких жанрів і напрямів: від невеликих логічних ігор до онлайнових рольових проектів[27].

1.3 Системи розпізнавання мови

Розпізнавання мови - технологія, що дозволяє використовувати природний для людини голосовий інтерфейс для взаємодії з електронною технікою [6, С. 112].

Системи розпізнавання мови - це системи, що аналізують акустичний сигнал алгоритмами, заснованими на різноманітних теоріях, що припускають, які характеристики мовного сигналу створюють відчуття звуків даної мови, і математичних методах, з тією чи іншою точністю, що виділяють значущі параметри акустичного сигналу і перетворюють його в різній повноті в необхідну форму.

Практично всі відомі методи розпізнавання мови мають ряд основних загальних властивостей:

1) Для розпізнавання використовується метод порівняння з еталонами;

2) Сигнал може бути представлений або у вигляді безперервної функції часу, або у вигляді слова в деякому кінцевому алфавіті;

3) Для скорочення обсягу обчислень використовуються методи динамічного програмування. Динамічне програмування (ДП) - метод вирішення завдань шляхом складання послідовності з підзадач таким чином, що:

4) Перший елемент послідовності (можливо кілька елементів) має тривіальне рішення

5) Останній елемент цієї послідовності - це вихідна задача

6) Кожна задача цієї послідовності може бути вирішена з використанням рішення підзадач з меншими номерами.

Методи розпізнавання мови можна розділити на дві великі групи: непараметричні - з використанням непараметричних мір близькості до еталонів (до них можна віднести методи на основі формальних граматик і методи на основі метрик на безлічі мовних сигналів) - і параметричні (ймовірнісні - на основі методу прихованих моделей Маркова, нейромережеві).

Непараметричні методи, засновані на заходи близькості на безлічі голосових сигналів. Метод Вінцюка [3], заснований на методі динамічного програмування (Беллман Р. [1], Ітакура Ф. [11] та іншими) дозволив скоротити час обчислення значень функції близькості до еталонних сигналів, з експоненціального (від довжини сигналу) до квадратичного. В силу того, що основною специфікою методу є нелінійне спотворення тимчасової осі однієї з порівнюваних функцій, метод отримав назву «динамічна деформації часу». До достоїнств відносяться простота його реалізації та навчання. До недоліків можна віднести складність обчислення міри близькості, яка пропорційна квадрату довжини сигналу, і великий обсяг пам'яті, необхідний для зберігання еталонів команд - пропорційний довжині сигналу та кількістю команд в словнику.

Параметричні - методи, застосовувані до задачі розпізнавання мови в даний час, були вперше запропоновані низкою американських дослідників (Бейкер [9] і Джелінек [4]) в 1970-ті роки минулого століття. В них застосовується теорія прихованих моделей Маркова - двічі стохастичні процеси та ланцюга Маркова по переходах між станами і безлічі стаціонарних процесів в кожному стані ланцюга.

Класифікацію систем розпізнавання мови слід почати з визначення основних аспектів цих систем. До таких аспектів можна віднести:

Розмір словника. Чим більший розмір словника, з яким працює система розпізнавання мови, тим більше частота появи помилок при розпізнаванні слів. Для порівняння, словник, складається тільки з цифр, може бути розпізнаний практично безпомилково, тоді як частота появи помилок при розпізнаванні словника в сто тисяч слів може досягати 45%, але потрібно також враховувати унікальність слів у словнику. Якщо слова дуже схожі один на одного, то похибка розпізнавання збільшується.

Дикторозалежність. Існують дикторозалежні і дикторонезалежні системи розпізнавання мови. Дикторозалежна система призначена для роботи тільки з одним користувачем (людиною, яка навчала цю систему), в той час як дикторонезалежна система призначена для роботи з будь-яким диктором. Але створення по-справжньому дикторонезалежної системи - дуже трудомістке завдання. На поточному етапі розвитку систем розпізнавання мови, частота появи помилок в дикторонезалежних системах в 3-5 разів більше, ніж в дикторозалежних.

Злита або роздільна мова. Мову диктора умовно можна розділити на злиту і роздільну. Роздільна - це мова, в якій слова відокремлюються одне від одного спеціальною паузою (проміжком тиші). Злита мова - це природно вимовлені речення. Розпізнавання злитого мовлення складніше, так як у вимовлених слів немає чітких границь.

Структурні одиниці. В якості структурних одиниць можуть виступати фрази, слова, фонеми, дифони, алофони. Системи, які розпізнають мову, використовуючи цілі слова або фрази, називаються системами розпізнавання мови за шаблоном. Вони, як правило, дикторозалежні і їх створення менш трудомістке, ніж створення систем, які розпізнають мову на базі виділення лексичних елементів. В таких системах структурними одиницями мови є лексичні елементи (фонеми, дифони, Алофон).

Принцип виділення структурних одиниць. У сучасних системах розпізнавання мови використовується кілька підходів для виділення з потоку мови структурних одиниць. Найпоширеніший підхід заснований на перетворенні Фур'є, яке переводить вихідний сигнал з амплітудно-часового простору в частотно-часове, а тимчасову область визначає лінійне передбачення промови, яке описує голосовий сигнал за допомогою моделі авторегресії. Однак, аналіз Фур'є має цілу низку недоліків, в результаті яких відбувається втрата інформації про тимчасові характеристики сигналів, які обробляються. У зв'язку з цим, для задачі виділення структурних одиниць мовлення виправдано використання вейвлет-аналізу. Фур'є-аналіз припускає розкладання вихідної періодичної функції в ряд, в результаті чого початкова функція може бути представлена ??в вигляді суперпозиції синусоїдальних хвиль різної частоти. В свою чергу вейвлет-аналіз розкладає вхідний сигнал в базис функцій, що характеризують як частоту, так і час. Тому, за допомогою вейвлетів, можна аналізувати властивості сигналу одночасно і в фізичному просторі, і в частотному. Також, на відміну від традиційного перетворення Фур'є, вейвлет-перетворення визначено неоднозначно: кожному вейвлету відповідає своє перетворення. Це дозволяє ретельніше підібрати вейвлет-функцію з хорошими властивостями частотно-часової локалізації. Крім вейвлет- і Фур'є-аналізу в системах розпізнавання мови використовується кепстральних аналіз, але створення таких систем дуже трудомістке і вимагає дуже високої кваліфікації розробника.

Алгоритми розпізнавання. Після того як голосовий сигнал розбивається на частини, відбувається ймовірнісна оцінка приналежності цих частин до того чи іншого розпізнаваного елементу словника. Це здійснюється за допомогою одного з алгоритмів розпізнавання. Найбільшого поширення набули системи розпізнавання мови на базі прихованих Марковських моделей (ПММ). ПММ називається модель, яка складається з N станів, в кожному з яких деяка система може приймати одне з M значень якого-небудь параметра. Ймовірності переходів між станами задається матрицею ймовірностей

A = {aij},

де aij - ймовірність переходу з i-го в j-й стан. Ймовірності випадання кожного з M значень параметра в кожному з N станів задається вектором B = {bj (k)}, де bj (k) - ймовірність випадання k-го значення параметра в j-му стані. Ймовірність настання початкового стану задається вектором р = {рi}, де рi - ймовірність того, що в початковий момент система опиниться в i-му стані. Таким чином, прихованою марковською моделлю називається трійка л = {A, B, р}.

Використання прихованих марковських моделей для розпізнавання мови засноване на двох наближеннях: мова може бути розбита на фрагменти, відповідати станам в ПММ, параметри мовлення в межах кожного фрагмента вважаються постійними; ймовірність кожного фрагмента залежить тільки від поточного стану системи і не залежить від попередніх станів. Крім ПММ, в системах розпізнавання використовуються динамічне програмування та нейронні мережі.

Призначення системи визначає необхідний рівень абстракції, на якому відбуватиметься розпізнавання мови. Наприклад, в системі голосового набору

мобільного телефону буде здійснюватися розпізнавання за шаблоном (словом або фразою). Такі системи називаються командними. На відміну від них, система диктування вимагає більш точного розпізнавання (розпізнавання на базі виділення лексичних елементів) і при інтерпретації оголошених фраз, вона буде покладатися не тільки на те, що було вимовлено в поточний момент, але і на те, як співвідноситься з тим, що було вимовлено до цього. Також, в таку систему повинен бути вбудований набір граматичних правил. Чим суворіші ці правила, тим простіше реалізовувати систему розпізнавання, і тим обмеженим буде набір пропозицій, які вона зможе розпізнати[17].

В системах розпізнавання завчасно формується база фонем мови, що містить шаблони базового набору слів при «усередненій» промові, тобто незалежній від диктора. Мова переводиться в фонемний опис і надходить у файл опису фонем, звідки цей опис надходить до блоку розпізнавання, який проводить порівняння інформації, яка надійшла, з тією, яка зберігається в базі. Формуються розпізнані слова, які перетворюються в текстові дані або команду.

Системи розпізнавання мови складаються з двох частин - акустичної та лінгвістичної. У загальному випадку можуть включати в себе фонетичну, фонологічну, морфологічну, лексичну, синтаксичну та семантичну моделі мови.

Акустична - відповідає за подання мовного сигналу, за його перетворення в деяку форму, в якій вона представляє зміст мовного повідомлення у більш явному вигляді.

Лінгвістична - інтерпретує інформацію, що отримується від акустичної моделі, і відповідає за представлення результату розпізнавання споживачеві.

Структура стандартної системи розпізнавання мови:

Необроблена мова. Зазвичай, потік звукових даних, записаний з високою дискретизацією (20 КГц при запису з мікрофона або 8 КГц при запису з телефонної лінії).

Аналіз сигналу. Вхідний сигнал повинен бути спочатку трансформований і стиснутий, для полегшення подальшої обробки. Є різні методи для вилучення корисних параметрів і стиснення вихідних даних в десятки разів без втрати корисної інформації. Найбільш використовувані методи:

- аналіз Фур'є;

- лінійне передбачення мовлення;

- кепстральних аналіз.

Мовні кадри. Результатом аналізу сигналу є послідовність мовних кадрів. Зазвичай, кожен мовної кадр - це результат аналізу сигналу на невеликому відрізку часу (порядку 10 мс.), що містить інформацію про цю ділянку (порядку 20 коефіцієнтів).

Акустичні моделі. Для аналізу складу мовних кадрів потрібний набір акустичних моделей. Розглянемо дві найбільш поширені з них.

- Шаблонна модель. В якості акустичної моделі виступає якимось чином збережений приклад розпізнаваної структурної одиниці (слова, команди).

- Модель станів. Кожне слово моделюється як послідовність станів вказуючи набір звуків, які можливо почути в даній ділянці слова, грунтуючись при цьому на ймовірнісних правилах.

Акустичний аналіз. Полягає у зіставленні різних акустичних моделей до кожного кадру мови і видає матрицю зіставлення послідовності кадрів і безлічі акустичних моделей.

Корекція часу. Використовується для обробки тимчасової варіативності, що виникає при вимові слів (наприклад, «розтягування» або «з'їдання» звуків).

Послідовність слів. В результаті роботи, система розпізнавання мови видає послідовність (або кілька можливих послідовностей) слів, яка найбільш ймовірно відповідає вхідному потоку мови[17].

1.4 Огляд продуктів, які використовують технології голосового інтерфейсу

1) Sphinx-4 - найвідоміший і найбільш працездатний з відкритих програмних продуктів для розпізнавання мови на сьогоднішній день. Розробка ведеться в університеті Карнегі-Меллона, поширюється на умовах ліцензії Berkley Software Distribution (BSD) і доступний як для комерційного, так і для некомерційного використання.

Характеристики:

- Дикторонезалежність;

- Розпізнавання злитого мовлення;

- Навчання;

- Наявність версії для вбудованих систем[28].

Існують три основних модулі структури Sphinx-4: модуль попереднього аналізу (Frontend), декодер (Decoder) і модуль лінгвістичного аналізу (Linguist). Модуль попереднього аналізу приймає один або більше вхідних сигналів і перетворює їх в послідовність ознак. Модуль лінгвістичного аналізу переводить будь-який тип стандартної моделі мови, разом з транскрипціями зі словника та інформацією про структуру однієї або декількох акустичних моделей, в граф пошуку. Модуль пошуку в декодері використовує ознаки з модуля попереднього аналізу та графа пошуку з модуля лінгвістичного аналізу для виконання фактичного декодування, генеруючи результати. В будь-який момент до або під час процесу розпізнавання, додаток може передавати управління кожному з модулів, які можуть допомогти процесу розпізнавання.

Кожен елемент на являє собою модуль, який може бути легко замінений, що дозволяє дослідникам експериментувати з різними реалізаціями модуля без необхідності зміни інших частин системи.

Система Sphinx-4, як і більшість систем розпізнавання мови, має велику кількість параметрів, що настроюються, такі як розмір променя пошуку для поліпшення продуктивності системи. Для настройки таких параметрів в Sphinx-4 використовується модуль управління конфігурацією. На відміну від інших систем управління конфігурацією в Sphinx-4 дозволяє динамічно завантажувати і налаштовувати модулі під час виконання, що робить систему гнучкою і легко підключається. Наприклад, Sphinx-4, як правило, налаштований на попередній аналіз, який виділяє Мел-кепстральні коефіцієнти (MFCC). Використовуючи управління конфігурацією можна переналаштувати Sphinx-4 на побудову іншого аналізу, який виділяє перцептуальние коефіцієнти лінійного передбачення без необхідності змінювати вихідний код або перекомпілювати систему.

Щоб дати розробникам додатків можливість відслідковувати статистику декодера, таку як частота помилок слово, швидкість виконання, і використання пам'яті, Sphinx-4 надає ряд інструментів. Як і в решті частини системи, інструменти є налаштованим, що дозволяє користувачам виконувати широкий спектр системного аналізу. Крім того, інструменти також забезпечують інтерактивну середу виконання, що дозволяє користувачам змінювати параметри системи під час її роботи, роблячи доступним швидке експериментування з різними параметрами налаштування.

Sphinx-4 також підтримує утиліти, які обробляють результати розпізнавання на рівні додатків. Наприклад, ці утиліти отримують результати решітки, коефіцієнти впевненості, і ступінь розуміння природної мови[32].