Разработка нейронной сети с быстрой и простой обучаемостью программы новым символам

Размещено на http://www.allbest.ru/

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

1 ОБОСНОВАНИЕ ЦЕЛЕСООБРАЗНОСТИ РАЗРАБОТКИ СИСТЕМЫ

1.1 Назначение системы

1.2 Обзор аналогов

1.2.1 ABBYY FineReader

1.2.2 OCR CuneiForm

1.2.3 Вывод по обзору

1.3 Основные требования к системе

1.3.1 Основные цели создания системы и критерии эффективности ее функционирования

1.3.2 Особенности и условия эксплуатации системы

1.3.3 Требования к функциональной структуре

1.3.4 Требования к техническому обеспечению

1.3.5 Требования к информационному обеспечению

1.3.6 Требования к программному обеспечению

2 ОСНОВНЫЕ ТЕХНИЧЕСКИЕ РЕШЕНИЯ ПРОЕКТА СИСТЕМЫ

2.1 Решение по комплексу технических средств

2.1.1 Описание системы программного обеспечения

2.2 Общее описание нейронных сетей

2.2.1 Однослойные нейронные сети

2.2.2 Многослойные нейронные сети

2.2.3 Сеть Хопфилда

2.2.4 Эффективность запоминания персептронов

2.3 Обучение персептрона

2.3.1 Алгоритм обучения персептрона

2.3.2 Обучение однослойной сети

2.3.3 Обучение двухслойной сети обратного распространения

2.4 Дельта-правило

3 МЕТОДИКА, РЕЗУЛЬТАТЫ ЭКСПЕРЕМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ И ОПИСАНИЕ ИНТЕРФЕЙСА ПРОГРАММЫ

3.1 Эффективность запоминания персептронов

3.2 Трудности с алгоритмом обучения персептрона

3.3 Проблема функции исключающее ИЛИ

3.4 Представляемость двухслойной нейронной сети

3.5 Возможности программы

3.6 Описание интерфейса и пользовательского меню

4 ПЛАНИРОВАНИЕ РАЗРАБОТКИ И ОПРЕДЕЛЕНИЕ СЕБЕСТОИМОСТИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

4.1 Резюме

4.2 Анализ положения дел в отрасли

4.3 Суть разрабатываемого проекта

4.4 Маркетинговый план

4.5 Производственный план

4.6 Организационный план

4.7 Финансовый план

4.8 Экологические и социально-экономические аспекты

4.9 Вывод

5 БЕЗОПАСНОСТЬ И САНИТАРНО-ГИГИЕНИЧЕСКИЕ УСЛОВИЯ ТРУДА НА РАБОЧЕМ МЕСТЕ ПОЛЬЗОВАТЕЛЯ ПЭВМ

5.1 Характеристика санитарно гигиенических условий труда

5.2 Микроклимат производственного помещения

5.3 Вентиляция производственного помещения

5.4 Шум и вибрация

5.5 Требования по защите от излучения

5.6 Требования к освещенности. Выбор и расчет системы освещения

5.6.1 Выбор типа светильника

5.6.2 Расчет необходимого количества светильников

5.7 Электробезопасность

5.8 Пожарная безопасность

5.9 Мероприятия по созданию благоприятных условий труда

5.10 Вывод

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ПРИЛОЖЕНИЕ А. ТЕКСТ ПРОГРАММЫ

ВВЕДЕНИЕ

нейронная сеть программа персептрон

В наше время все большее число людей пользуются компьютером и интернетом. В связи с чем информация ранее хранимая в печатном виде сейчас требуется в виде цифровом. Возникает потребность перевода информации с аналоговых носителей в электронные копии. При простом сканировании, из-за качества печати, сканирующих устройств и других возможных факторов, вероятность ошибки достаточно велика и требуется вносить поправки.

Таким образом, человек должен в большинстве случаев вручную редактировать полученные данные, а как известно человеческий фактор один из наиболее непостоянных. Чтобы облегчить участь современного человека, создаются автоматизированные программы в значительной мере снижающие потребность в человеческом вмешательстве. Так называемые Искусственные интеллекты, программное обеспечение позволяющее имитировать деятельность человека в различных областях. В нашем случае нейронная сеть будет отвечать за сравнение и вывод результата. Выходным результатом будет перевод изображения с символами в текстовый документ.

Методы опознания символа основаны на сравнении с образцами или на использовании характерных деталей.

1. ОБОСНОВАНИЕ ЦЕЛЕСООБРАЗНОСТИ РАЗРАБОТКИ СИСТЕМЫ

1.1 Назначение системы

Система идентификации символов реализует определение символа. Система предназначена для обработки графических изображений. Система позволяет сравнить несколько изображений друг с другом по выделенным локальным особенностям.

1.2 Обзор аналогов

Как уже было указано во введении, метод символов известен достаточно давно и с появлением электронно-вычислительной техники начали появляться программные продукты для анализа и сравнения изображений.

1.2.1ABBYY FineReader

Автоматическое распознавание - экономный вариант распознавания для конвертации большого массива документов.

Возможно применение технологии автоматического распознавания для автоименования файлов при поточном сканировании (автоматическое распознавание штрихкода документа, либо его учетного номера).

Распознавание с участием оператора - оператор определяет структуру документа, производит распознавание текста и графических областей.

Распознавание текста с участием оператора применяется, если: документ содержит сложные таблицы, графические элементы которые могут быть расценены ИИ как текстовые области и тп.

Распознавание с коррекцией ошибок - оператор определяет структуру документа, производит распознавание текста и графических областей, проверяет корректность распознавания и выправляет ошибки.

Распознавание старых/поврежденных документов - несмотря на богатую историю и наработанный опыт распознавания производители современных систем оптического распознавания не могут создать программный продукт, который будет воспринимать образы лучше человека. Иногда возникает потребность перевести в электронный вид старые или поврежденные документы (например, сметы, напечатанные на печатной машинке). Приблизительный процент успешного распознавания текста специализированным п.о. равен 50%. Для восстановления оставшейся половины оператор вручную перепечатывает информацию в электронный документ.

1.2.2OCR CuneiForm

OCR CuneiForm может распознавать любые полиграфические, машинописные гарнитуры всех начертаний и шрифты, получаемые с принтеров за исключением декоративных и рукописных. В систему встроены специальные алгоритмы для распознавания текста с матричного принтера, плохих ксерокопий факсов и машинописи.

OCR CuneiForm это:

1) высокое качество распознавания;

2) высокая скорость работы;

3) распознавание текстов на русском, английском, смешанном русско-английском, украинском, немецком, французском, испанском, итальянском, шведском и других (всего более 20);

4) работа в режиме автофрагментации для поиска текстовых блоков, таблиц и изображений, а также мощное средство ручной и полуавтоматической фрагментации;

5) распознавание таблиц любой структуры и сложности, в том числе и без отображения линий табличной сетки;

6) автоматическое сохранение иллюстраций (черно-белых и цветных) и таблиц в получаемом на выходе документе;

7) полное сохранение топологии страницы;

8) поддержка пакетного режима сканирования и распознавания;

9) простота использования и интуитивный интерфейс, встроенные помощники по работе с программой;

10) встроенный текстовый редактор для работы с распознанным текстом;

11) совмещенный показ изображений и результатов распознавания.

1.2.3 Вывод по обзору

Список программных продуктов, безусловно, может быть расширен, но все же самые характерные и популярные разработки в него включены.

Среди программных продуктов, посвященных идентификации и коррекции символов, можно выделить возможность как автоматического распознавания и коррекции, так и с помощью оператора.

В данном случае актуальной является разработка системы распознавания символов с помощью нейронных сетей, которые обладают возможностью быстро распознавать символы, а так же способностями обучения и самообучения.

1.3Основные требования к системе

1.3.1Основные цели создания системы и критерии эффективности ее функционирования

Создание системы распознавания позволит получить новую возможность по подготовке изображений к структурному анализу, разработать инструмент, улучшающий качество графической информации за счет снижения искажений и шумов.

Для оценки эффективности работы системы можно использовать качество получаемых на выходе изображений, и их структурное описание. А также уровень правильного распознавания.

1.3.2Особенности и условия эксплуатации системы

Система идентификации символов предназначена для работы с цифровыми изображениями, полученными посредством сканирования и их сегментации с полученного изображения.

Таким образом изображения символов имеют размер порядка нескольких мегапикселей и должны сохраняться в формате без сжатия, чтобы избежать искажений.

1.3.3Требования к функциональной структуре

Построение системы идентификации символа предполагает модульную структуру. Общий интерфейс и возможность доступа ко всем модулям в составе системы должна обеспечивать оболочка. Из оболочки вызываются следующие модули: подсистема анализа изображения, подсистема сравнения определения символа с помощью нейронной сети. Обмен данными между подсистемами происходит через проект в рамках общей оболочки.

1.3.4Требования к техническому обеспечению

Задача обработки изображений в системе связана с автоматическим анализом больших массивов графической информации. Преобразования, проводимые в системе, должны проводиться в процессе интерактивного взаимодействия с пользователем, поэтому паузы на обработку не должны превышать нескольких секунд. Исходя из этого, сформулированы требования к техническим характеристикам персонального компьютера, на котором будет функционировать система. Требования сведены в таблице 1.1.

Таблица 1.1 - Технические характеристики персонального компьютера

Наименование	Значение
Частота процессора, МГц	от 1800
Объем оперативной памяти, Мб	от 256
Разрешение экрана монитора	не менее 1024x768

1.3.5Требования к информационному обеспечению

Система предназначена для обработки битовых изображений. Вследствие неточностей, шумов и аппроксимаций, вносимых оборудованием (сканер или любое иное дискретизирующее графику устройство) в изображении появляются шумы различной природы. Система позволяет частично избавиться от этих искажений. Поэтому качество входных образов должно быть на приемлимом уровне.

1.3.6Требования к программному обеспечению

Систему целесообразно разрабатывать для функционирования под операционной системой семейства Windows, так как ОС данного класса наиболее широко распространены в современном мире. Платформой для разработки выбрана среда для разработки Borland Delphi 6 Enterprize. Эта среда поддерживает алгоритмический язык Pascal и обладает при этом возможностями быстрой разработки и проектирования визуальных интерфейсов, что особенно важно при работе с графической информацией.

2. ОСНОВНЫЕ ТЕХНИЧЕСКИЕ РЕШЕНИЯ ПРОЕКТА СИСТЕМЫ

2.1 Решение по комплексу технических средств

Как уже отмечалось в п. 1.3.4, для достижения удобного пользователю режима функционирования системы необходимо следующая минимальная конфигурация персонального компьютера: частота процессора 1800 МГц, объем оперативной памяти 254 Мб, монитор, поддерживающий разрешение 1024x768 точек. Также желательно наличие следующих периферийных технических средств: сканер, цветной струйный принтер для вывода на печать результатов.

2.1.1 Описание системы программного обеспечения

Для реализации и функционирования проекта необходимо общесистемное программное обеспечение ОС Windows XP, в основе которой лежит ядро, характеризуемое 32-разрядной вычислительной архитектурой и полностью защищенной моделью памяти, что обеспечивает надежную вычислительную среду.

Разработка системы распознавания и ее подсистем будет вестись с использованием среды для разработки приложений Borland Delphi 6 Enterprize. Среда разработки включает в себя высокопроизводительный 32-битный компилятор, что позволяет оптимизировать создаваемый код. Borland Delphi 6 Enterprize включает обширный набор средств, который повышает производительность труда программистов и сокращают продолжительность цикла разработки. Многофункциональная интегрированная среда разработки включает компилятор, удовлетворяющий стандарта ANSI/ISO, встроенный дизайнер форм, богатый набор средств для работы с компонентами, инструмент Solution Explorer, менеджер проектов и отладчик. Удобство разработки и эффективность созданных в данной среде разработки программа делают Borland Delphi 6 Enterprize оптимальным выбором для построения исследовательской системы, какой является система распознавания личности.

2.2 Общее описание нейронных сетей

2.2.1 Однослойные нейронные сети

В соответствии с [1] персептрон представляет собой модель обучаемой распознающей системы. Он содержит матрицу светочувствительных элементов (S-элементы), ассоциативные элементы (А-элементы) и реагирующие элементы (R-элементы). По сути персептрон состоит из одного слоя искусственных нейронов, соединенных с помощью весовых коэффициентов с множеством входов.

В 60е годы персептроны вызвали большой интерес. Розенблатт [1] доказал теорему об обучении персептрона и тем самым показал, что персептрон способен научиться всему, что он способен представлять. Уидроу [2-5] дал ряд убедительных демонстраций систем персептронного типа. Исследования возможности этих систем показали, что персептроны не способны обучиться ряду простых задач. Минский [6] строго проанализировал эту проблему и показал, что имеются жесткие ограничения на то, что могут выполнять однослойные персептроны, и, следовательно, на то, чему они могут обучаться.

Один из самых пессимистических результатов Минского показывает, что однослойный персептрон не может воспроизвести такую простую функцию как исключающее ИЛИ. Это - функция от двух аргументов, каждый из которых может быть нулем или единицей. Она принимает значение единицы, когда один из аргументов равен единице (но не оба). Если проблему представить с помощью однослойной однонейронной системы, то легко видеть, что при любых значениях весов и порогов невозможно расположить прямую линию, разделяющую плоскость (пространство образов) так, чтобы реализовывалась функция исключающее ИЛИ. Имеется обширный класс функций (наряду с функцией исключающее ИЛИ), не реализуемых однослойной сетью. Об этих функциях говорят, что они являются линейно неразделимыми, и они накладывают определенные ограничения на возможности однослойных сетей. Линейная разделимость ограничивает однослойные сети задачами классификации, в которых множества точек (соответствующих входным значениям) могут быть разделены геометрически. В случае двух входов разделитель является прямой линией. В случае трех входов разделение осуществляется плоскостью, рассекающей трехмерное пространство. Для четырех или более входов визуализация невозможна и необходимо мысленно представить n-мерное пространство, рассекаемое ``гиперплоскостью'' - геометрическим объектом, который рассекает пространство четырех или большего числа измерений. Как показано в [7], вероятность того, что случайно выбранная функция окажется линейно разделимой, весьма мала. Так как линейная разделимость ограничивает возможности персептронного представления, то однослойные персептроны на практике ограничены простыми задачами.

Чтобы сеть представляла практическую ценность, нужен систематический метод (алгоритм) для вычисления значений весов и порогов. Процедуру подстройки весов обычно называют обучением. Цель обучения состоит в том, чтобы для некоторого множества входов давать желаемое множество выходов. Алгоритм обучения персептрона был предложен в [1] и имеет множество модификаций. В настоящей работе реализована модель одного из вариантов. На рисунке 2.1 представлена общая модель персептрона.



Рисунок 2.1 - Персептрон со многими выходами

2.2.2 Многослойные нейронные сети

Серьезное ограничение представляемости однослойными сетями можно преодолеть, добавив дополнительные слои. Многослойные сети можно получить каскадным соединением однослойных сетей, где выход одного слоя является входом для последующего слоя, причем такая сеть, представленная на рисунке 2.2, может привести к увеличению вычислительной мощности лишь в том случае, если активационная функция между слоями будет нелинейной.

Многослойные сети способны выполнять общие классификации, отделяя те точки, которые содержаться в выпуклых ограниченных или неограниченных областях. Если рассмотреть простую двухслойную сеть с двумя нейронами в первом слое, соединенными с единственным нейроном во втором слое, то каждый нейрон первого слоя разбивает плоскость на две полуплоскости, образуя в пространстве образов V-образную область, а нейрон второго слоя реализует различные функции при подходящем выборе весов и порога. Аналогично во втором слое может быть использовано три нейрона с дальнейшим разбиением плоскости и созданием области треугольной формы. Включением достаточного числа нейронов во входной слой может быть образован выпуклый многоугольник любой желаемой формы. Точки, не составляющие выпуклой области, не могут быть отделены о других точек плоскости двухслойной сетью.

Трехслойная сеть является более общей. Ее классифицирующие возможности ограничены лишь числом искусственных нейронов и весов. Ограничения на выпуклость отсутствуют. Теперь нейрон третьего слоя принимает в качестве входа набор выпуклых многоугольников, и их логическая комбинация может быть невыпуклой. При добавлении нейронов и весов число сторон многоугольника может неограниченно возрастать. Это позволяет аппроксимировать область любой формы с любой точностью. В добавок не все выходные области второго слоя должны пересекаться. Возможно, следовательно, объединять различные области, выпуклые и невыпуклые, выдавая на выходе единицу всякий раз, когда входной вектор принадлежит одной из них.

Для обучения искусственных нейронных сетей широко применяется процедура обратного распространения. Обратное распространение было независимо предложено в трех различных работах [8, 9, 10]. В работе программно реализована двухслойная сеть обратного распространения.

Рисунок 2.2 - Двухслойная сеть обратного распространения

2.2.3 Сеть Хопфилда

Сети, рассмотренные выше, не имели обратных связей, т.е. связей, идущих от выходов сети к их входам. Отсутствие обратных связей гарантирует безусловную устойчивость сетей. Так как сети с обратными связями имеют пути от выходов к входам, то отклик таких сетей является динамическим, т.е. после приложения нового входа вычисляется выход и, передаваясь по сети обратной связи, модифицирует вход. Затем выход повторно вычисляется и процесс повторяется снова и снова. Для устойчивой сети последовательные итерации приводят к все меньшим изменениям выхода, пока в конце концов выход не становится постоянным. Для многих сетей процесс никогда не заканчивается, такие сети называются неустойчивыми. Проблема устойчивости ставила в тупик первых исследователей. Никто не был в состоянии предсказать, какие из сетей будут устойчивыми, а какие будут находится в постоянном изменении. К счастью, в работе [5] была получена теорема, описавшая подмножество сетей с обратными связями, выходы которых в конце концов достигают устойчивого состояния. Это замечательное достижение открыло дорогу дальнейшим исследованиям.

Дж. Хопфилд сделал важный вклад как в теорию, так и в применение систем с обратными связями. В его работе [11] при имитации поведения ансамбля нейронов использовались переменные, описывающие состояния нейронов (вектор состояния ), и переменные, описывающие связи между нейронами (оператор памяти W),а также два уравнения , определяющие изменение со временем. Одно из этих уравнений представляет изменение под действием оператора W (выработка реакции на стимул), а второе - изменение матрицы W, квадратичное по (запоминание).При этом вектор состояния ансамбля нейронов представляет собой вектор в фазовом пространстве динамической системы , а ``память'' реализована как система аттракторов. Запоминание новой информации осуществляется путем усложнения по определенному алгоритму структуры аттракторов. Такой подход допускает простую механическую аналогию, если представить себе вектор состояния как положение частицы, движущейся под действием силы тяжести и трения по некоторому рельефу. При скатывании с ``горы'' в одну из ``низин'' потенциальная энергия системы уменьшается, и в конце концов материальная точка останавливается из-за трения. Положение частицы в конечном состоянии (т.е. та из низин, в которой она останавливается) зависит как от формы рельефа, так и от начального состояния, с которого началось скатывание. Функционирование сети легко визуализируется геометрически. В случае двух бинарных нейронов в выходном слое каждой вершине квадрата соответствует одно из четырех состояний системы (00,01,10,11). В случае трехнейронной системы пространство образов представлено кубом (в трехмерном пространстве), имеющим 8 вершин, каждая из которых помечена трехбитовым бинарным числом. В общем случае система с n нейронами имеет 2n различных сосояний и представляется n - мерным гиперкубом. Когда подается новый входной вектор, сеть переходит из вершины в вершину, пока не стабилизируется. Устойчивая вершина определяется сетевыми весами, текущими входами и величиной порога. Если входной вектор частично неправилен или неполон, то сеть стабилизируется к вершине, ближайшей к желаемой.

В данной работе представлена программная реализация сети Хопфилда и проиллюстрированы ряд ее свойств.

2.2.4 Эффективность запоминания персептронов

Серьезные вопросы имеются относительно эффективности запоминания информации в персептроне (или любых других нейронных сетях) по сравнению с обычной компьютерной памятью и методами поиска информации в ней. Например, в компьютерной памяти можно хранить все входные образы вместе с классифицирующими битами. Компьютер должен найти требуемый образ и дать его классификацию. Различные хорошо известные методы могли бы быть использованы для ускорения поиска. Если точное соответствие не найдено, то для ответа может быть использовано правило ближайшего соседа.

Число битов, необходимое для хранения этой же информации в весах персептрона, может быть значительно меньшим по сравнению с методом обычной компьютерной памяти, если образы допускают экономичную запись. Однако Минский [6] построил патологические примеры, в которых число битов, требуемых для представления весов, растет с размерностью задачи быстрее, чем экспоненциально. В этих случаях требования к памяти с ростом размерности задачи быстро становятся невыполнимыми. Если, как он предположил, эта ситуация не является исключением, то персептроны часто могут быть ограничены только малыми задачами. Это остается открытым вопросом, относящимся ко всем нейронным сетям.

2.3 Обучение персептрона

Способность искусственных нейронных сетей обучаться является их наиболее интригующим свойством. Подобно биологическим системам, которые они моделируют, эти нейронные сети сами моделируют себя в результате попыток достичь лучшей модели поведения.

Используя критерий линейной разделимости, можно решить, способна ли однослойная нейронная сеть реализовывать требуемую функцию. Даже в том случае, когда ответ положительный, это принесет мало пользы, если у нас нет способа найти нужные значения для весов и порогов. Чтобы сеть представляла практическую ценность, нужен систематический метод (алгоритм) для вычисления этих значений. Розенблатт [12] сделал это в своем алгоритме обучения персептрона вместе с доказательством того, что персептрон может быть обучен всему, что он может реализовывать.

Обучение может быть с учителем или без него. Для обучения с учителем нужен «внешний» учитель, который оценивал бы поведение системы и управлял ее последующими модификациями. При обучении без учителя, рассматриваемого в последующих главах, сеть путем самоорганизации делает требуемые изменения. Обучение персептрона является обучением с учителем.

Процедуру подстройки весов обычно называют «обучением» и говорят, что сеть «обучается». Доказательство Розенблатта стало основной вехой и дало мощный импульс исследованиям в этой области.

2.3.1 Алгоритм обучения персептрона

Персептрон обучают, подавая множество образов по одному на его вход и подстраивая веса до тех пор, пока для всех образов не будет достигнут требуемый выход. Допустим, что входные образы нанесены на демонстрационные карты. Каждая карта разбита на квадраты и от каждого квадрата на персептрон подается вход. Если в квадрате имеется линия, то от него подается единица, в противном случае - ноль. Множество квадратов на карте задает, таким образом, множество нулей и единиц, которое и подается на входы персептрона. Цель состоит в том, чтобы научить персептрон включать индикатор при подаче на него множества входов, задающих нечетное число, и не включать в случае четного.

На рисунке 2.3 показана такая персептронная конфигурация. Допустим, что вектор Х является образом распознаваемой демонстрационной карты. Каждая компонента (квадрат) Х - (x1, x2, …, xn) - умножается на соответствующую компоненту вектора весов W - (w1, w2, ..., wn). Эти произведения суммируются. Если сумма превышает порог И, то выход нейрона Y равен единице (индикатор зажигается), в противном случае он - ноль. Эта операция компактно записывается в векторной форме как Y = XW, а после нее следует пороговая операция.



Рисунок 2.3 - Персептронная система распознавания изображений

Для обучения сети образ Х подается на вход и вычисляется выход Y. Если Y правилен, то ничего не меняется. Однако если выход неправилен, то веса, присоединенные к входам, усиливающим ошибочный результат, модифицируются, чтобы уменьшить ошибку.

Чтобы увидеть, как это осуществляется, допустим, что демонстрационная карта с цифрой 3 подана на вход и выход Y равен 1 (показывая нечетность). Так как это правильный ответ, то веса не изменяются. Если, однако, на вход подается карта с номером 4 и выход Y равен единице (нечетный), то веса, присоединенные к единичным входам, должны быть уменьшены, так как они стремятся дать неверный результат. Аналогично, если карта с номером 3 дает нулевой выход, то веса, присоединенные к единичным входам, должны быть увеличены, чтобы скорректировать ошибку.

Этот метод обучения может быть подытожен следующим образом:

1)Подать входной образ и вычислить Y.

2) а)Если выход правильный, то перейти на шаг 1);

б) Если выход неправильный и равен нулю, то добавить все входы к соответствующим им весам; или

в) Если выход неправильный и равен единице, то вычесть каждый вход из соответствующего ему веса.

3)Перейти на шаг 1).

За конечное число шагов сеть научится разделять карты на четные и нечетные при условии, что множество цифр линейно разделимо. Это значит, что для всех нечетных карт выход будет больше порога, а для всех четных - меньше. Отметим, что это обучение глобально, т. е. сеть обучается на всем множестве карт. Возникает вопрос о том, как это множество должно предъявляться, чтобы минимизировать время обучения.

2.3.2 Обучение однослойной сети

Обучение происходит по следующей схеме:

а) Все веса задаются случайным образом из диапазона(-0.5,+0.5).

б) На вход сети подается обучающий вектор и вычисляется выход каждого нейрона как алгебраическая сумма его взвешенных входов .

в) В модели использован метод обучения Уидроу - Хоффа [5], где используется непрерывный сигнал, чтобы вычислить ошибку для каждого нейрона, то есть вычитается выходной сигнал, как алгебраическая сумма его взвешенных входов, из требуемого выхода.

г) Корректируется веса сети так, чтобы минимизировать ошибку.

д) Повторяются шаги с а) по г) до тех пор пока общая ошибка сети не станет меньше допустимой, заданной в данной модели. Величина допустимой ошибки изменяется в целях эксперимента.

2.3.3 Обучение двухслойной сети обратного распространения

Для подсчета количества слоев использованы следующие соображения: слой состоит из множества весов со следующими за ними нейронами, суммирующими взвешенные сигналы. Первый слой состоит из двадцати нейронов, второй (выходной) - из двух нейронов.

В качестве активационной функции нейронов первого и второго слоя использована сигмоидальная функция. Так как многослойные нейронные сети обладают большей представляющей мощностью, чем однослойные, только в случае присутствия нелинейности, то сигмоид обеспечивает это требование. Данная функция всюду дифференцируема, что используется в алгоритме обратного распространения. Ее дополнительные преимущество состоит в автоматическом контроле усиления. Для слабых сигналов кривая вход - выход имеет сильный наклон, дающий большое усиление, а когда величина сигнала становится больше, усиление падает. Таким образом большие сигналы воспринимаются сетью без насыщения, а слабые сигналы проходят по сети без чрезмерного ослабления.

Обучение сети обратного распространения в модели происходило по следующей схеме:

а) Всем весам присвоены начальные значения, выбранные случайным образом из диапазона (-0.5,+0.5) .

б) Выбирается очередная обучающая пара из обучающего множества и подается входной вектор на вход сети.

в) Проход вперед . Вычисляется выход сети. Вычисления выполняются послойно. Сначала вычисляются выходы первого нейронного слоя, затем они используются в качестве входов второго слоя; вычисляются выходы нейронов второго слоя, которые и образуют выходной вектор сети.

г) Вычисляется разность между выходом сети и требуемым выходом (целевым вектором обучающей пары), то есть каждый из выходов сети вычитается из соответствующей компоненты целевого вектора, чтобы получить ошибку.

д) Обратный проход . Корректируется веса сети так, чтобы минимизировать ошибку. Так как для каждого нейрона выходного слоя задано целевое значение, то ошибка находится с использованием модифицированного дельта-правила для персептрона. Выходы нейронов скрытого слоя не имеют целевых значений для сравнения, то для поиска ошибки (и коррекции весов) делается ряд шагов, составляющие алгоритмы подстройки весов выходного и скрытого слоев .

Повторяются шаги с а) по д) для каждого вектора обучающего множества до тех пор, пока ошибка на всем множестве не достигнет приемлемого уровня. Величина предельной ошибки изменяется в целях эксперимента.

В модели сети используется метод ускорения обучения для алгоритма обратного распространения, предложенный в [9], увеличивающий также устойчивость процесса. Этот метод, названный импульсом, заключается в добавлении к коррекции веса члена, пропорционального величине предыдущего изменения веса. Коэффициент импульса выбран равным 0.5.

В доказательстве алгоритмов обучения персептрона [1] и процедуры обратного распространения [9] ничего не говорится о том, сколько шагов требуется для обучения сети. В данной работе для контроля остановки процесса обучения этих сетей введена величина допустимой ошибки сети, которая изменяется в экспериментах с моделями, чтобы определить условие разделимости для конкретного обучающего множества.

2.4 Дельта-правило

Важное обобщение алгоритма обучения персептрона, называемое дельта-правилом, переносит этот метод на непрерывные входы и выходы. Чтобы понять, как оно было получено, шаг 2 алгоритма обучения персептрона может быть сформулирован в обобщенной форме с помощью введения величины д, которая равна разности между требуемым или целевым выходом T и реальным выходом Y

д = (T - Y).(2.1)

Случай, когда д=0, соответствует шагу 2а, когда выход правилен и в сети ничего не изменяется. Шаг 2б соответствует случаю д > 0, а шаг 2в случаю д < 0.

В любом из этих случаев персептронный алгоритм обучения сохраняется, если д умножается на величину каждого входа хi и это произведение добавляется к соответствующему весу. С целью обобщения вводится коэффициент «скорости обучения» з), который умножается на дхi, что позволяет управлять средней величиной изменения весов.

В алгебраической форме записи

Дi = здxi,(2.2)

w(n+1) = w(n) + Дi,(2.3)

где Дi - коррекция, связанная с i-м входом хi; wi(n+1) - значение веса i после коррекции; wi{n) -значение веса i до коррекции.

Дельта-правило модифицирует веса в соответствии с требуемым и действительным значениями выхода каждой полярности как для непрерывных, так и для бинарных входов и выходов. Эти свойства открыли множество новых приложений.

3. МЕТОДИКА, РЕЗУЛЬТАТЫ ЭКСПЕРЕМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ И ОПИСАНИЕ ИНТЕРФЕЙСА ПРОГРАММЫ

3.1 Эффективность запоминания персептронов

Серьезные вопросы имеются относительно эффективности запоминания информации в персептроне (или любых других нейронных сетях) по сравнению с обычной компьютерной памятью и методами поиска информации в ней. Например, в компьютерной памяти можно хранить все входные образы вместе с классифицирующими битами. Компьютер должен найти требуемый образ и дать его классификацию. Различные хорошо известные методы могли бы быть использованы для ускорения поиска. Если точное соответствие не найдено, то для ответа может быть использовано правило ближайшего соседа.

Число битов, необходимое для хранения этой же информации в весах персептрона, может быть значительно меньшим по сравнению с методом обычной компьютерной памяти, если образы допускают экономичную запись. Однако Минский [6] построил патологические примеры, в которых число битов, требуемых для представления весов, растет с размерностью задачи быстрее, чем экспоненциально. В этих случаях требования к памяти с ростом размерности задачи быстро становятся невыполнимыми. Если, как он предположил, эта ситуация не является исключением, то персептроны часто могут быть ограничены только малыми задачами. Это остается открытым вопросом, относящимся ко всем нейронным сетям.

3.2 Трудности с алгоритмом обучения персептрона

Может оказаться затруднительным определить, выполнено ли условие разделимости для конкретного обучающего множества. Кроме того, во многих встречающихся на практике ситуациях входы часто меняются во времени и могут быть разделимы в один момент времени и неразделимы в другой. В доказательстве алгоритма обучения персептрона ничего не говорится также о том, сколько шагов требуется для обучения сети. Мало утешительного в знании того, что обучение закончится за конечное число шагов, если необходимое для этого время сравнимо с геологической эпохой. Кроме того, не доказано, что персептронный алгоритм обучения более быстр по сравнению с простым перебором всех возможных значений весов, и в некоторых случаях этот примитивный подход может оказаться лучше.

На эти вопросы никогда не находилось удовлетворительного ответа, они относятся к природе обучающего материала. В различной форме они возникают в последующих главах, где рассматриваются другие сетевые парадигмы. Ответы для современных сетей как правило не более удовлетворительны, чем для персептрона.

3.3 Проблема функции исключающее ИЛИ

Один из самых пессимистических результатов Минского показывает, что однослойный персептрон не может воспроизвести такую простую функцию, как исключающее ИЛИ. Это функция от двух аргументов, каждый из которых может быть нулем или единицей. Она принимает значение единицы, когда один из аргументов равен единице (но не оба). Проблему можно проиллюстрировать с помощью однослойной однонейронной системы с двумя входами, показанной на рисунок 3.1. Обозначим один вход через х, а другой через у, тогда все их возможные комбинации будут состоять из четырех точек на плоскости х-у, как показано на рисунок 3.2. Например, точка х = 0 и у = 0 обозначена на рисунке как точка А Таблица 3.3 показывает требуемую связь между входами и выходом, где входные комбинации, которые должны давать нулевой выход, помечены А0 и А1, единичный выход - В0 и В1.

Рисунок 3.1 - Однонейронная система

В сети на рисунок 3.1 функция F является обычным порогом, так что OUT принимает значение ноль, когда NET меньше 0,5, и единица в случае, когда NET больше или равно 0,5. Нейрон выполняет следующее вычисление:

NET = xw1 + yw2(3.1)

Никакая комбинация значений двух весов не может дать соотношения между входом и выходом, задаваемого таблица 3.1. Чтобы понять это ограничение, зафиксируем NET на величине порога 0,5. Сеть в этом случае описывается уравнением (3.1). Это уравнение линейно по х и у, т. е. все значения по х и у, удовлетворяющие этому уравнению, будут лежать на некоторой прямой в плоскости х-у.

xw1 + yw2 = 0,5(3.2)

Таблица 3.1 - Таблица истинности для функции исключающее ИЛИ

Точки	Значения х	Значения у	Требуемый выход
A0	0	0	0
B0	1	0	1
B1	0	1	1
A1	1	1	0

Любые входные значения для х и у на этой линии будут давать пороговое значение 0,5 для NET. Входные значения с одной стороны прямой обеспечат значения NET больше порога, следовательно, OUT=1. Входные значения по другую сторону прямой обеспечат значения NET меньше порогового значения, делая OUT равным 0. Изменения значений w1, w2 и порога будут менять наклон и положение прямой. Для того чтобы сеть реализовала функцию исключающее ИЛИ, заданную таблицей 3.1, нужно расположить прямую так, чтобы точки А были с одной стороны прямой, а точки В - с другой. Попытавшись нарисовать такую прямую на рисунок 3.2, убеждаемся, что это невозможно. Это означает, что какие бы значения ни приписывались весам и порогу, сеть неспособна воспроизвести соотношение между входом и выходом, требуемое для представления функции исключающее ИЛИ.

Рисунок 3.2 - Проблема исключающее ИЛИ

Взглянув на задачу с другой точки зрения, рассмотрим NET как поверхность над плоскостью х-у. Каждая точка этой поверхности находится над соответствующей точкой плоскости х-у на расстоянии, равном значению NET в этой точке. Можно показать, что наклон этой NET-поверхности одинаков для всей поверхности х-у. Все точки, в которых значение NET равно величине порога, проектируются на линию уровня плоскости NET (см. рисунок 3.3).



Рисунок 3.3 - Персептронная NET-плоскость

Ясно, что все точки по одну сторону пороговой прямой спроецируются в значения NET, большие порога, а точки по другую сторону дадут меньшие значения NET. Таким образом, пороговая прямая разбивает плоскость х-у на две области. Во всех точках по одну сторону пороговой прямой значение OUT равно единице, по другую сторону - нулю.

Для того, чтобы проиллюстрировать эту проблему, персептрону предоставляли четыре обучающих пары. К одному классу образов относили, подаваемое на измерительную сетчатку 5х7, шахматное поле и такое же поле, но с инвертируемым цветом. К другому классу - буквенные символы E и F. В результате распознавания персептрон классифицировал первый из указанных образов как относящийся к первому классу, а второй, третий и четвертый - ко второму. Т. е. персептрон ошибся на втором образе.

Эти же обучающие пары предоставили для обучения и распознавания модели двухслойной сети. В результате сеть все образы классифицировала правильно. Эти результаты согласуются с теорией представляемости персептрона и двухслойных сетей.

3.4 Представляемость двухслойной нейронной сети

Данный эксперимент был поставлен для выяснения способности двухслойной сети обратного распространения классифицировать буквенно-цифровые изображения (десять цифр и двадцать шесть букв латинского алфавита) на два класса - цифры и буквы. Сеть обратного распространения при уровне допустимой ошибки 0.001 путала классами цифры 3, 4, 5 и буквы S, I. При уровне допустимой ошибки 0.00001 сеть обратного распространения путала класс буквы S. При уровне допустимой ошибки 0.000001 сеть обратного распространения ошибок в классификации не допускала.

3.5 Возможности программы

Программа предназначена для распознавания изображений символов, после сигметативного выделения и корректировки образа по вертикали.

Программа написана на языке Pascal в интегрированной среде разработки Borland Delphi 6 Enterprize в форме Windows-приложения. Тексты исполняемых процедур с соответствующими комментариями приведены в приложении.

Конечной целью программы является выдача файла с текстом.

Программа обеспечивает:

- Распознавание уже известных символов

- Быстроту распознавания

- Возможность быстрого «обучения» для увеличения количества и качества распознаваемых символов

3.6 Описание интерфейса и пользовательского меню

В программе предусмотрен удобный графический интерфейс с интуитивно понятным пользовательским меню. После загрузки исполняемого файла программы на экране дисплея отображается основное окно, приведенное на рисунке 3.4. На панели в верхней части окна располагаются пункты главного меню.

Рисунок 3.4 - Начало работы

Пункт «Файл» главного меню содержит три подпункта: «Открыть», который позволяет открыть файл с изображением, «Сохранить Как», который позволяет сохранить полученный текст на диск в виде текстового файла, «Закрыть все»,который закрывает все открытые форм работы с программой, но не саму программу, и «Выход», который позволяет выйти из программы. Пункт «Справка» содержит подпункты «О программе» и «Помощь». При выборе подпункта «О программе» появляется окно, приведённое на рисунке 3.5, и при выборе «Помощь» » появляется окно, приведённое на рисунке 3.6.

Рисунок 3.5 - О программе

Рисунок 3.6 - Помощь

Далее представлен пример работы программы, представлено на рисунке 3.7 и представлеет собой окно с картинкой клавишами «Обучить», «Очистить» и «Распознать». Клавиша «Обучить» позволяет сопоставить картинку символу записанному в «Поле для символа». «Очистить» убирает картинку. «Распознать» приводит к выполнению распознавания символа с помощью нейронной сети и последующая запись результата в «Поле для символа».

Рисунок 3.7 - Распознавание

Частичный текст программы приведен в приложении А.

4. РАСЧЕТ ЭКОНОМИЧЕСКИХ ПОКАЗАТЕЛЕЙ

4.1 Резюме

Главной задачей моей дипломной работы является разработка программы, позволяющей распознавать изображения, в частности для распознавания символов. Программа применима для обработки отсканированных или сфотографированных изображений содержащих символы. Например при оцифровке книг или при распознавании номерных знаков. В данной отрасли представлено очень малое число продуктов.

4.2 Анализ положения дел в отрасли

На данный момент на рынке представлены несколько программных продуктов, такие как ABBYY FineReader и OCR CuneiForm. Фирмы предоставляющие данный софт являются практически полномерными монополистами в своей сфере. В связи с этим фактом цена на программную продукцию данных фирм высока.

В целом ситуация в отрасли выглядит обнадеживающей. Российский рынок активно развивается и функциональное программное обеспечение может найти свою нишу. В тоже время необходимо постоянное наблюдение конкурентов и своевременное совершенствование своего программного продукта, иначе шанс захватить и удержать долю рынка будет невелик.

4.3 Суть разрабатываемого проекта (описание научно технического продукта)

Цель данной работы состоит в разработке функционального и в тоже время простого программного обеспечения, способного распознавать текст, оцифровывать его.

Проект реализован в виде набора файлов программы, набора готовых алгоритмов. Набор готовых алгоритмов представлен в текстовом файле с целью возможности быстрого копирования и модификации.

Для использования программного обеспечения необходим компьютер. В зависимости от величины базы, количества обрабатываемых записей и производительности компьютера длительность выполнения преобразований записей может серьезно меняться от нескольких минут до десятков часов в случае базы с большим числом обрабатываемых записей.

Одной из главных особенностей системы является ее быстродействие. Среди преимуществ перед аналогами можно выделить возможность «обучения» программы для более эффективного распознавания и увеличения распознаваемых символов.

В рамках лицензии пользователя предлагается бесплатное обновление программы в течении ее действия (1 год). Это даст дополнительный фактор уверенности потенциальных покупателей продукта.

Код данной программы в обязательном порядке будет охраняться законом об авторских правах, и являться собственностью разработчика. Только при его согласии, будет осуществляться продажа, использование и распространение системы. Патент на данный код не требуется.

Прохождение сертификации для данной программы не обязательно. Для популяризации приложения возможны различные доклады на конференциях по безопасности информации, создание тем на различных форумах, связанных с тематикой отрасли.

4.4 Маркетинговый план

Маркетинг - процесс управления, согласующий ресурсы с возможностями для получения прибыли через идентификацию, прогнозирование, оказания влияния и удовлетворение потребительского спроса.

В данной дипломной работе разрабатывается программное обеспечение, которое может использоваться как готовый к продаже конечный продукт. Для его функционирования не требуется дополнительного программного обеспечения.

Для использования средств программы не требуется высокой квалификации, достаточно знания компьютера на уровне опытного пользователя.

Для клиента важной стороной разработки будет являться его относительно низкая стоимость и обеспечение бесплатной поддержки в течении действия лицензии. Программы конкурентов иногда могут обеспечить лучшую поддержку и обновление, но в свою очередь, просят за это большую плату.

Сравнительные характеристики товара-конкурента и нового товара приведены в таблице 4.1.

Таблица 4.1 - Сравнительные характеристики товара-конкурента и нового товара

Товар-конкурент	Сильные стороны	Слабые стороны	Характеристики нового товара
ABBYY FineReader	1. Наличие готовых алгоритмов.	1. Отсутствует поддержка пользовательских алгоритмов.	1. Наличие готовых алгоритмов. 2. Поддержка пользовательских алгоритмов/масок 3. Простой и удобный интерфейс пользователя. 4.Стоимость
OCR CuneiForm	1. Наличие готовых алгоритмов.	1. Малопонятный интерфейс 2. Возможная некорректность работы	1. Свободное распространение 2. Доработка продукта

Анализ рынка сбыта: основной целевой группой для сбыта программы являются физические лица. Характеристика сегментов рынка приведена в таблице 4.2.

Таблица 4.2 - Характеристика сегментов рынка

Сегмент	Описание сегмента	Прогнозируемый объем продаж лицензий, шт.
0	Физические лица, использующие программу в личных целях	1500 - 2000
Коммерческие предприятия	Основной рынок сбыта, большие объемы различной информации с необходимостью защиты	100 - 300

Диаграмма сегментирования рынка торговых систем приведена на рисунке 4.1.

Рисунок 4.1 - Диаграмма сегментирования рынка торговых систем

Стратегия. В интернете сегодня можно найти различные варианты программ обработки баз данных. Каждая из них имеет свои преимущества и недостатки. Чтобы добиться признания потребителя, программа должна включать ключевые положительные стороны существующих аналогов и минимальное количество недостатков, а так же иметь доступную большинству из основной целевой группы цену.

Для клиента важна доступная, простая в обращении, функциональная и производительная программа. Наилучшей стратегией продвижения разработанной программы на рынке, будет предоставление тестовых версий программы с ограниченными возможностями. Потенциальные покупатели смогут убедиться в необходимости приобретения программы при непосредственном тестировании программы, а затем купить необходимые лицензии для использования программы в полном объеме.

Основными методами продвижения данной системы являются:

1) проведение рекламных акций программы на форумах, конференциях и других информационных ресурсах интернета, касающихся работы с базами данных и защиты информации;

2) распространение тестовых версий программы для привлечения покупателя;

3) предоставление скидок оптовым покупателям;

4) бесплатное обновление системы в течение действия лицензии.

4.5 Производственный план

Для разработки программного обеспечения для данной системы, требуются 1 специалист с высшим техническим образованием, освоивший язык программирования Pascal и C++.

Для выполнения работы необходимо помещение с одной ПЭВМ. Площадь помещения должна быть не менее 6 кв. метров на человека, а объем помещения - не менее 20 куб. метров.

Для проведения работ необходимо следующее оборудование:

- 1 ПЭВМ на базе процессора Intel Core 2 Duo;

- OC Windows XP;

- Компилятор Borland Delphi 6 Enterprize;

- Подключение к сети Интернет;

В таблице 4.3 указана упорядоченная последовательность действий и оценка длительности разработки программного обеспечения системы по дням.

Таблица 4.3 - Упорядоченная последовательность действий и оценка длительности разработки программного обеспечения системы по дням

№	Действия	Аi	Mi	Bi	Moi	Di
1	Анализ тех. Задания	1	2	3	2	0,33
2	Изучение технической документации	3	4	5	4	0,33
3	Разработка алгоритмов преобразований	3	4	6	4,17	0,5
4	Разработка программного кода	8	12	14	11,67	1,00
5	Разработка интерфейса системы	2	3	4	3	0,33
6	Концептуальный проект	3	5	7	5	0,67
7	Тестирование и отладка	6	8	10	8	0,67
8	Документирование	2	4	5	3,83	0,5
Итого	28	42	55	41,67	4,33

Трудоемкость выполнения работы носит вероятностный характер, так как зависит от множества трудно учитываемых факторов. Для каждого действия устанавливаются 3 экспертные оценки:

Аi - оценка продолжительности действия при наиболее благоприятном стечении обстоятельств;

Mi - наиболее вероятная продолжительность действия;

Bi - оценка продолжительности действия при самом неблагоприятном стечении обстоятельств.

Ожидаемая величина длительности действия Moi и стандартное отклонение Di для каждого действия составляет:

MOi = (Аi + 4Mi + Bi) / 6,(4.1)

Di = (Bi - Ai) / 6.(4.2)

Дисперсия характеризует степень неопределенности выполнения работы за ожидаемое время.

На рисунке 4.2 представлена диаграмма Ганта разработки модульной автоматической торговой системы для следующих условий:

- затраты труда программиста - 42 чел.-дн (наиболее вероятная продолжительность действия);

- затраты машинного времени - 36дн. (время, в течении которого выполняются действия с использованием ЭВМ), отмечены более жирной линией.

Рисунок 4.2 - Диаграмма Ганта

Итоговая оценка трудоемкости разработки программного обеспечения и стандартное отклонение от этой оценки составляют:

, (4.3)

. (4.4)

Определение себестоимости разработки торговой системы. Расчет себестоимости проводится для определения рыночной цены программного обеспечения системы и инвестиционных затрат. Рыночная цена основывается на плановой себестоимости.

Плановая себестоимость С определяется следующим образом:

С = (З + А + Спр.)(1 + Кн),(4.5)

где З - заработная плата разработчика с начислениями на социальные нужды,А - амортизация ПЭВМ и другого оборудования,Спр - прочие производственные затраты, Кн - коэффициент накладных затрат.

При определенной выше длительности разработкиtp и коэффициентаначислений на социальные нужды 0,26 заработная плата составит: