В даній роботі за мету ставилася задача побудови нейронної мережі для вирішення задач класифікації об'єктів у багатопоточних комп'ютерних середовищах. Для реалізації даної мети потрібно було провести аналіз існуючих моделей та засобів організації багатопоточних обчислень, а також можливих архітектурних моделей побудови та навчання нейронних мереж. Згрупувавши отримані дані, потрібно було обрати одну з моделей для подальших досліджень та реалізації.

У попередніх розділах детально описувалися існуючі архітектури нейронних мереж, їх застосування та методи навчання. Згрупувавши всю доступну інформацію, автор пропонує реалізувати модель нейронної мережі на основі трьохшарового перцептрона. Вибір зумовлений тим, що дана модель, за своїми показниками, якнайкраще підходить для вирішення задач класифікації, оскільки трьохшарова архітектура є оптимальною (при меншій кількості шарів недостатня точність розпізнавання, в результаті накладання схожих областей; більша ж кількість шарів використовується для вирішення складніших завдань).

Для навчання мережі було обрано контрольований метод. Адже він дозволяє контролювати бажаний вихід мережі та порівнювати його з входом. Крім того неконтрольовані алгоритмі являються достатньо складними для реалізації. Для побудови моделі буде використано метод зворотного поширення помилки, який являється одним із різновидів контрольованих методів навчання.

Для програмної реалізації продукту, було обрано мову програмування C#, як середовище розробки Visual Studio 10. Вибір обґрунтований функціональними можливостями платформи, що дозволить реалізувати поставлені цілі, а також зручністю використання модулів програми, простотою інтерфейсу та доступністю великої кількості інформації для підтримки розробників.

Для досягнення головної мети даного проекту, а саме організації багатопоточності, було обрано стандартну бібліотеку для підтримки паралельних обчислень в С#, TPL (The Task Parallel Library), що є одним з функцій інтерфейсів Windows API. Основним критерієм вибору є зручність використання та відносна простота в програмній реалізації.

4.2 Теоретичне обґрунтування обраних моделей

4.2.1 Метод зворотного поширення помилки

У багатошарових мережах оптимальні вихідні значення нейронів всіх шарів, крім останнього, як правило, не відомі, і двох або більше шаровий перцептрон вже неможливо навчити, керуючись тільки величинами помилок на виходах НМ. Один з варіантів вирішення цієї проблеми - розробка наборів вихідних сигналів, що відповідають вхідним, для кожного шару НМ, що, звичайно, є дуже трудомісткою операцією і не завжди здійснено. Другий варіант - динамічне підстроювання вагових коефіцієнтів синапсів, в ході якого вибираються, як правило, найбільш слабкі зв'язки і змінюються на малу величину в ту чи іншу сторону, а зберігаються тільки ті зміни, які спричинили зменшення помилки на виході всієї мережі. Очевидно, що даний метод, незважаючи на свою простоту, вимагає громіздких рутинних обчислень. І, нарешті, третій, більш прийнятний варіант - поширення сигналів помилки від виходів НМ до її входів, у напрямку, зворотному прямому поширенню сигналів у звичайному режимі роботи. Цей алгоритм навчання НС отримав назву процедури зворотного поширення [25].

Згідно методу найменших квадратів, цільовою функцією помилки НМ, що мінімізується, є величина:

(4.1)

де - реальний вихідний стан нейрона j вихідного шару N нейронної мережі при подачі на її входи p-го образу; - ідеальний бажаний стан цього нейрона.

Підсумовування ведеться по всім нейронам вихідного шару і по всім оброблюваних мережею образам. Мінімізація ведеться методом градієнтного спуску, що означає підстроювання вагових коефіцієнтів наступним чином:

(4.2)

Тут w_ij - ваговий коефіцієнт синаптичного зв'язку, що з'єднує i-ий нейрон шару n-1 з j-им нейроном шару n, з - коефіцієнт швидкості навчання, 0 < з <1.

(4.3)

Тут під y_j, мається на увазі вихід нейрона j, а під s_j - зважена сума його вхідних сигналів, тобто аргумент активаційної функції. Так як множник dy_j/ds_j є похідною цієї функції за її аргументом, з цього випливає, що похідна активаційної функції повинна бути визначена на всій осі абсцис. У зв'язку з цим функція одиничного стрибка та інші активаційні функції з неоднорідностями не підходять для розглянутих НМ. У них застосовуються такі гладкі функції, як гіперболічний тангенс або класичний сигмоїд з експонентою.

У випадку гіперболічного тангенса

(4.4)

Третій множник s_j/w_ij, очевидно, дорівнює виходу нейрона попереднього шару y_i ^(n-1).

(4.5)

Тут підсумовування по k виконується серед нейронів шару n +1.

Ввівши нову змінну

(4.6)

ми отримаємо рекурсивну формулу для розрахунків величин _j ⁽ⁿ⁾ шару n з величин _k ⁽ⁿ⁺¹⁾ більш старшого шару n +1.

(4.7)

Для вихідного слоя

(4.8)

Одже тепер стало можливо записати рівняння 4.2 в розкритому вигляді:

(2.9)

Іноді для додання процесу корекції ваг деякої інерційності, що згладжує різкі скачки при переміщенні по поверхні цільової функції, (4.9) доповнюється значенням зміни ваги на попередній ітерації

(4.10)

де

м - коефіцієнт інерційності, t - номер поточної ітерації.

Таким чином, повний алгоритм навчання НМ за допомогою процедури зворотного поширення будується так [25]:

1. Подати на входи мережі один з можливих образів і в режимі звичайного функціонування НМ, коли сигнали поширюються від входів до виходів, розрахувати значення останніх.

(4.11)

де M - число нейронів у шарі n-1 з урахуванням нейрона з постійним вихідним станом +1, що задає зсув; y_i ^(n-1) =x_ij ^{(n) -} i-ий вхід нейрона j шару n.

(4.12)

де f () - сигмоїд

(4.13)

де I_q - q-та компонента вектору вхідного образу

2. Розрахувати ^(N) для вихідного шару по формулі (4.8).

Розрахувати по формулі (4.9) та (4.10) зміну ваги w ^(N) шару N.

3. Розрахувати по формулам (4.7) та (4.9) відповідно ^(N) та w ^(N) для всіх інших шарів, n = N-1,…1.

4. Скорегувати усі ваги в НМ

(4.14)

5. Якщо помилка мережі вагома, перейти на крок 1. Інакше - кінець.

4.2.2 Підходи до організації багапоточності

Існує наступна досить загальна класифікація варіантів паралельної декомпозиції нейромережевих обчислень:

· паралелізм рівня сесії навчання;

· паралелізм рівня навчального прикладу;

· паралелізм рівня шарів;

· паралелізм рівня вузлів (нейронів);

· паралелізм рівня ваг (зв'язків);

· паралелізм рівня окремих бітів.

Паралелізм рівня сесії навчання передбачає одночасне навчання однієї і тієї ж мережі на однакових навчальних прикладах, проте з різними параметрами навчання.

Паралелізм рівня навчального приклад називають також навчанням групами (batch learning): безліч навчальних прикладів розбивається на певну кількість навчальних підмножин, кожне з яких використовується для навчання свого примірника нейронної мережі даного типу. У процесі навчання накопичуються зміни ваг вихідної мережі для кожної навчальної підмножини. В кінці навчання накопичені зміни ваг об'єднуються і обчислюються нові значення ваг.

Паралелізм рівня шарів корисний коли мережа має достатню кількість шарів N > 1. Обчислення ведуться поточно: кожен шар обробляє в даний момент часу свій окремий приклад і, таким чином, збільшується швидкість проходження даних одного прикладу через всю мережу, оскільки мережею обробляється кілька прикладів одночасно.

Паралелізм рівня обробних вузлів (нейронів) означає, що кожен вузол є окремою обчислювальною одиницею, що працює незалежно від інших вузлів. Паралельно в цьому випадку виконується, наприклад, підсумовування зважених входів кожного нейрона, а також інша необхідна обробка.

Паралелізм рівня ваг (зв'язків) має на увазі ще більш глибоке розпаралелювання забезпечуючи одночасні обчислення "провідності" кожного зваженого зв'язку окремо.

Паралелізм рівня вузлів і паралелізм рівня ваг можуть бути застосовні до всіх конекціоністских моделей нейронних мереж.

Паралелізм рівня окремих бітів є найтоншим видом паралелізму і означає паралельну обробку на рівні окремих бітів.

Найбільш загальними й універсальними у застосуванні є способи розпаралелювання нейромережевих обчислень з 4 по 5. Проте, представляється очевидним, що в рамках кластерної архітектури дані підходи навряд чи можуть виявитися виправдані в зв'язку з занадто малими гранулами паралелізму (під гранулою паралелізму розуміється середня кількість операцій на кожен введений в гранулу або виведений з гранули байт) відповідних моделей обчислень.

Найбільш перспективними для реалізації на кластерному обчислювальному пристрої, очевидно, є варіанти 1 і 2, а також в деякій мірі (залежить від розв'язуваної задачі) варіант 3.

Слід зазначити, що при кластерній організації обчислень, що припускає досить істотний обсяг сумарної оперативної пам'яті, розподіленої по окремим вузлам, з'являється сприятлива можливість для паралельної обробки досить великих масивів даних, що може бути корисним при роботі з графічними зображеннями.

Метод 3 при сприятливих умовах (хороша реалізація, велика кількість шарів, і т.д.) може бути застосований для прискореної обробки потоку зображень (наприклад, відео-зйомки).

Відомо, що найбільш інтенсивне обчислювальне навантаження припадає на фазу навчання нейронних мереж (наприклад мереж прямого поширення за алгоритмом зворотного поширення помилки). Зменшення часу навчання нейронної мережі є актуальним завданням, особливо, на стадії експериментального дослідження придатності тих чи інших нейромережевих моделей, вибору оптимальних параметрів для їх успішного застосування на практиці.

Саме тому в даному проекті буде реалізовано розпаралелювання процесу навчання нейронної мережі, а саме обчислень на рівні нейронів в процесі роботи алгоритму зворотного поширення помилки.

4.2.3 The Task Parallel Library (TPL)

Для програмної реалізації поставленої мети було обрано стандартну бібліотеку організації паралельних обчислень програмного середовища С#.

The Task Parallel Library (TPL) являє собою набір відкритих типів і інтерфейсів API в System. Threading і System. Threading. Tasks простору імен в.net Framework версії 4 [18]. Мета TPL - зробити розробку більш продуктивною за рахунок спрощення процесу додавання паралелізму і паралелізму в додатках. TPL зважує ступінь паралелізму динамічно, щоб найбільш ефективно використовувати всі процесори, які доступні. Крім того, TPL проводить розбиття роботи, планування потоків на ThreadPool, підтримку скасування, управління та інших низькорівневих деталей. За допомогою TPL, ви можете максимізувати продуктивність вашого коду, зосереджуючись на задачах, які були поставлені щодо розробки вашої програми.

Починаючи з платформи.net Framework 4, TPL є кращим способом написання багатопоточного і паралельного коду. Однак не весь код підходить для розпаралелювання, наприклад, якщо цикл виконує лише невеликий обсяг робіт на кожній ітерації, або він не призначений для виконання багатьох ітерацій, то накладні витрати на розпаралелювання можуть викликати більш повільну роботу програми. Крім того, розпаралелювання, як і будь-яка багатопоточність ускладнює виконання програми.

4.3 Опис системи, що розробляється

4.3.1 Проектування функціональної структури

При розробці програмного продукту важливим є процес порівневого спуску від найбільш загальної та абстрактної моделі системи до логічної, а потім й до фізичної моделі. Для досягнення даної структури спочатку побуємо діаграму віріантів використання, яка описує функціональне призначення системи, або, іншими словами, що буде робити система в процесі свого функціонування.

На основі технічного завдання була побудована діаграма використання, що представлена на рис.4.1 З її допомогою було описано бачення системи з точки зору користувача, описані функціональні можливості системи.

Рисунок 4.1 - Загальна діаграма використання

Основні функції системи, що розробляється:

· розпізнавання букв латинського алфавіту;

· встановлення параметрів для створення нейронної мережі;

· можливість навчання нейронної мережі з використанням нових прикладів;

· можливість збереження та використання навченої конфігурації.

Взаємодія між користувачем та системою представляє собою діалог, де користувач обирає параметри системи та задає початкові дані. Процес навчання проходить без участі першого. Надалі користувачеві надається можливість працювати з навченою мережею. Він може подавати для обробки різні варіанти символів латинського алфавіту, які система буде розпізнавати та виводити результат.

Далі проведемо опис ієрархічних структур системи.

4.3.2 Опис та ієрархія основних класів системи

Діаграма класів (class diagram) слугує для представлення статичної структури моделі системи в термінології класів об'єктно-орієнтованого програмування. Діаграма класів може відображати, зокрема, різні взаємозв'язки між окремими сутностями предметної області, такими як об'єкти і підсистеми, а також описує їх внутрішню структуру і типи відносин.

Загальна діаграма ієрархії класів побудованої нейронної мережі представлена на рис.4.2, нижче приведено опис основних класів.

NeuralNetwork - клас, що описує логіку формування та навчання нейронної мережі, а також розпізнавання, за її допомогою, вхідного символу. Клас інкапсулює екземпляр класу, який реалізує інтерфейс IBackPropagation. Завдяки цьому екземпляру ми можемо формувати нейронні мережі з різною кількістю шарів не змінюючи сам клас NeuralNetwork.

IBackPropagation - проміжний інтерфейс, що дозволяє відокремити інтерфейс нейронної мережі від її реалізації.

BP3Layaer - клас, що реалізує інтерфейс IBackPropagation та описує нейронну мережу з трьома шарами нейронів. Він реалізує самі алгоритми навчання та розпізнавання через трьохшарову структуру нейронної мережі.

PreInput, Input, Hidden, Output - структури, що описують нейрони конкретних шарів (відповідно попередній, вхідний, прихований та вихідний шари). Однаковим полем для всіх структур, окрім Output, являється масив ваг. Для PreInput додатковим параметром є вхідне значення. Для Input, Hidden та Output розраховується вхідне, вихідне значення та помилка. Для Output додатковим параметром являється ціль (чи є вхідний символ правильним для виходу даного нейрону), а також саме символьне значення відповідного символу.

ImageProcessing - клас, який містить в собі 2 функції для опрацювання зображень. Перша інтерпретує зображення як масив чисел з плаваючою комою, а друга навпаки відновлює зображення з масиву.

Рисунок 4.2 - Ієрархія класів нейронної мережі

4.4 Алгоритм роботи нейронної мережі для задачі класифікації символів

4.4.1 Трансформація малюнку у машинний код

Навчання нейронної мережі починається з того, що потрібно обрати приклади для навчання. Розроблена програма використовує картинки у форматі. bmp, що знаходяться в окремій директорії. Кожна картинка має ім'я, що співпадає з символом, зображеним на ній. Це необхідно для подальшого функціонування алгоритму навчання.

Після вибору прикладів для навчання відбувається конвертація зображення в масив типу double. Спочатку розраховується середня ширина та висота усіх картинок. Далі розраховуються норми між розрахованим середнім значенням та реальним розміром даної. Потім попіксельно вираховуються кольори з клітинок. Після чого отримані результати записуються в масив.

4.4.2 Реалізація алгоритму зворотного поширення помилки

Для організації процесу навчання використовується алгоритм зворотного поширення помилки. Він був описаний у другому пункті даного розділу.

Перед етапом навчання йде етап формування нейронної мережі. За замовчанням формується нейронна мережа із наступної кількості шарів (формування автоматичне при виборі директорії та збереженні налаштувань):

1) (середня висота*середню ширину зображення (кількість значень у масиві double) + кількість прикладів навчання) * 0,33;

2) кількість нейронів першого шару поділена на 3;

3) кількість прикладів навчання.

Навчання відбувається почергово для кожної картинки з директорії. Алгоритм реалізується через 2 функції ForwardPropagate та BackPropagate. Перша виконує прямий хід через нейронні шари та призначена для встановлення початкових значень помилки на вихідному шарі. Друга робить зворотний хід цих помилок та призначена для корегування ваг на нейронних шарах.

Навчання системи продовжується поки помилка на виході не буде меншою від заданої користувачем або ж, якщо кількість ітерацій перевищить допустиму норму. Користувач також має можливість перервати навчання вручну.

На рис.4.3 зображено блок-схему роботи алгоритму навчання ШНМ методом зворотного поширення помилки.

Рисунок 4.3 - Блок-схема роботи алгоритму навчання

4.4.3 Програмна реалізація багатопоточності

Як було зазначалось раніше багатопоточність буде реалізована шляхом розпаралелювання в процесі навчання нейронної мережі, а саме обчислень на рівні нейронів в момент роботи алгоритму. Для програмної реалізації використано бібліотеку TPL.

Програмно використовується System. Threading. Tasks. Parallel, який забезпечую можливість паралельного виконання ітерацій на нейронному рівні.

4.4.4 Реалізація функції розпізнавання

Розпізнавання символів відбувається наступним чином. Зображення конвертується в масив типу double та подається на вхід мережі, після чого запускається функція прямого проходу і на виході ми отримуємо два найбільш вірогідних значення розпізнаного символу. Це 2 найбільших значення ваги на вихідному шарі.

4.5 Програмна реалізація нейронної мережі для розпізнавання символів