Размещено на http://www.allbest.ru/

Министерство по развитию информационных технологий и коммуникаций Республики Узбекистан

Ташкентский университет информационных технологий

Выпускная квалификационная работа

Разработка и исследование системы распознавания мультимедийных приложений на базе нейронных сетей

Выпускник Русин П.А.

Руководитель Абдурахманов Р.П.

Руководитель по БЖД и экологии

Борисова Е.А.

Ташкент - 2015 г.

Задание

На выпускную квалификационную работу Русина Павла Александровича на тему: Разработка и исследование системы распознавания мультимедийных приложений на базе нейронных сетей.

1. Тема утверждена приказом по университету от "25" 12.2014 г. №14 69

2. Срок сдачи законченной работы 26.05.2015 г.

3. Исходные данные к работе: 1. Характеристики стандарта DPI. 2. Характеристики нейронных сетей.

4. Содержание расчетно-пояснительной записки (перечень подлежащих разработке вопросов:

Введение

1. Deep Packet Inspection в телекоммуникации и реализация на базе нейронных сетей.

2. Исследование моделей нейронных сетей.

3. Процесс обучения моделей систем управлений реализованных на нейронных сетях и их оптимизация для решения задач классификации.

4. Безопасность жизнедеятельности и экология. Заключение

5. Перечень графического материала демострационные слайды

6. Дата выдачи задания _________.2015 г.

Руководитель ___________________

Задание принял __________________

7. Консультанты по отдельным разделам выпускной работы:

Наименование раздела

Консультант

Задание выдал

Задание получил

Основная часть

Абдурахманов Р.П.

Безопасность жизнедеятельности

Борисова Е.А.

8. График выполнения работы
№	Наименование раздела	Срок выполнения	Подпись руководителя (консультанта)
1.	Deep Packet Inspection в телекоммуникации и реализация на базе нейронных сетей	25.02.2015
2.	Исследование моделей нейронных сетей	24.03.2015
3.	Процесс обучения моделей систем управлений реализованных на нейронных сетях и их оптимизация для решения задач классификации	15.05.2015
4.	Безопасность жизнедеятельности	29.05.2015

Аннотация

В данной выпускной квалификационной работе рассмотрены принципы организации Deep Packet Inspection в телекоммуникации и их реализация на базе нейронных сетей. Проведены исследования нейронных сетей. Был проведен процесс обучения моделей систем управления реализованных на базе нейронных сетях и выбор оптимальной модели для решения задач классификации мультимедийного трафика.

Также рассмотрены вопросы безопасности жизнедеятельности.

Annotation

In this final qualifying work I examined deep packet inspection fundamentals in telecommunication and its implementation based on neural networks. Neural networks was investigated. It was carried out the learning process of management system models based on neural networks and the optimal model selection to solve classification of multimedia traffic problems

Activity safety issues are also considered.

Оглавление

Введение

1. Deep Packet Inspection в телекоммуникации и реализация на базе нейронных сетей

1.1 DPI в телекоммуникации

1.1.1 Основные положения Deep Packet Inspection

1.1.2 Реализация Deep Packet Inspection в Quality of Service

1.1.3 Управление абонентами через Deep Packet Inspection

1.2 Применение нейронных сетей в задачах телекоммуникационных сетей

1.2.1 Инструменты анализа сетевого трафика

1.2.2 Предсказание пика трафика

1.2.3 Применение нейронных сетей в задачах несанкционированного доступа

Выводы

2. Исследование моделей нейронных сетей

2.1 Исследование характеристик нейронных сетей

2.2 Исследование вида передаточной функции

2.3 Исследование моделей реализации нейронных сетей

2.3.1 Реализация схемы сети на основе модели Хопфилда

2.3.2 Реализация схемы сети на основе модели Хэмминга

Выводы

3. Процесс обучения моделей систем управления, реализованных на нейронных сетях, и их оптимизация для решения задач классификации

3.1 Краткая характеристика исследуемых алгоритмов

3.2 Исследование поведения алгоритмов в процессе обучения

3.3 Оптимизация нейронной сети под задачи распознавания

Выводы

4. Безопасность жизнедеятельности и экология

4.1 Почва, ее загрязнение и последствия. Методы защиты

4.1.1 Эрозия почв

4.1.2 Загрязнение почв

4.1.3 Способы защиты почв от загрязнения

4.2 Освещение производственных помещений. Пути повышения эффективности труда

4.2.1 Общие сведения об освещении и его характеристики

4.2.2 Характеристики освещения

4.2.3 Основные требования к освещению

4.3 Эффективность трудовой деятельности человека

Выводы

Заключение

Список литературы

Введение

На заседании Кабинета Министров, посвященном итогам социально-экономического развития страны в 2014 году и важнейшим приоритетным направлениям экономической программы на 2015 год, президент в своем докладе, помимо экономики, подвел итоги и по развитию ИКТ в стране [1], [3].

Все большую популярность среди населения получают современные высокотехнологичные виды услуг, такие, как услуги мобильной связи, высокоскоростного интернета, телевизионной кабельной связи, дистанционные банковские услуги, услуги по обслуживанию и ремонту сельскохозяйственной и автомобильной техники, технологического оборудования [2].

За последние пять лет доля традиционных видов бытовых и коммунальных услуг снизилась с 16 до 9,5 процента, а доля высокотехнологичных услуг возросла до 21,2 процента.

В числе высокотехнологичных услуг наиболее интенсивно в последние годы развиваются услуги связи и информатизации, которые за последние пять лет возросли в 3,3 раза, а за отчетный год - на 24,5 процента.

Особое внимание уделяется вопросу повышения доступности услуг ИКТ для населения, в том числе проживающего в отдаленных регионах страны. Так, в 2014 году в республике проложено более 2 тысяч километров оптоволоконных линий связи, включая такие отдаленные районы, как Кунградский, Байсунский, Узунский, Муйнакский.

С каждым годом в стране растет число пользователей интернетом, которое сегодня составляет более 10,2 миллиона человек, или треть всего населения. При этом пропускная способность интернета в республике увеличена в 4 раза, а скорость доступа - в 1,5 раза. Наряду с этим стоимость интернета по сравнению с прошлым годом снижена на 11,6 процента.

Осознавая особую важность качественного использования услуг интернета в современной жизни и малое преимущество пропускной способности к количеству пользователей сети, вынуждает решать вопросы по грамотному использованию пропускной способности сети. С ростом размерности сети происходит радикальное перераспределение важности решения различных классов задач разработки и эксплуатации подобных объектов.

Технология DPI позволяет решать такие важные задачи как управление, классификация и прогнозирование трафика в сети. Стоит также подвергнуть исследованием задачи применения DPI для анализа сетевого трафика и предсказания временных пиков использования сети. Применение DPI, на основе нейронных сетей, в качестве аппарата классификации мультимедийного трафика может решить задачи скорости доступа в мировую глобальную сеть во время пиков использования сети.

Поэтому интеграции технологи DPI на основе оптимизированной модели нейронной сети сможет решить вопросы классификации мультимедийного трафика в сети, что благоприятно скажется на пропускную способность сети.

1. Deep Packet Inspection в телекоммуникации и реализация на базе нейронных сетей

1.1 DPI в телекоммуникации

1.1.1 Основные положения Deep Packet Inspection

Современная тенденция анализа состояний состоит в добавлении возможностей анализа состояний протокола, который некоторыми производителя называется глубоким анализом пакета (deep packet inspection). Анализ состояния протокола добавляет в стандартный анализ состояния базовую технологию обнаружения вторжения, которая анализирует протокол на прикладном уровне, сравнивая поведение протокола с определенными производителем профилями и определяя отклонения в поведении. Это позволяет межсетевому экрану разрешать или запрещать доступ, основываясь на том, как выполняется приложение. Например, межсетевой экран прикладного уровня может определить, что почтовое сообщение содержит неразрешенный тип присоединенного файла. Другая возможность состоит в том, что он может блокировать соединения, в которых выполняются определенные. Данная возможность также позволяет разрешать или запрещать передавать веб-страницы в зависимости от конкретных типов содержимого [12].

Deep Packet Inspection (DPI) -- технология накопления статистических данных, проверки и фильтрации сетевых пакетов по их содержимому. В отличие от брандмауэров, Deep Packet Inspection анализирует не только заголовки пакетов, но и полное содержимое трафика на уровнях модели OSI со второго и выше. Deep Packet Inspection способно обнаруживать и блокировать вирусы, фильтровать информацию, не удовлетворяющую заданным критериям.

Эволюция брандмауэров на основе прокси-серверов привела к появлению первых программ Deep Packet Inspection. Они были созданы в целях устранения сетевых проблем и для блокирования вирусов, а также в целях защиты от DoS-атак. Первоначально компьютеры, на которых был установлен Deep Packet Inspection, не были достаточно мощными, чтобы контролировать весь Интернет-трафик пользователей в режиме реального времени.

Через некоторое время, когда появилась возможность работы программ Deep Packet Inspection в режиме реального времени, они использовались Интернет-провайдером в основном для организации целевой рекламы и уменьшения заторов в сети. Сегодня же Deep Packet Inspection способно на много большее, чем просто обеспечивать безопасность. Интернет-провайдеры получили возможность контролировать проходящий трафик любого своего клиента. В настоящий момент в некоторых странах Интернет-провайдеры обязаны выполнять фильтрацию в соответствии с законодательством страны [5].

Система DPI выполняет глубокий анализ всех проходящих через неё пакетов. Термин "глубокий" подразумевает анализ пакета на верхних уровнях модели OSI, а не только по стандартным номерам портов. Помимо изучения пакетов по неким стандартным параметрам передачи в сети, по которым можно однозначно определить принадлежность пакета определённому приложению или протоколу. К примеру, по формату заголовков, номерам портов и длине протокола, система DPI осуществляет и так называемый поведенческий анализ трафика, который позволяет распознать приложения, не использующие для обмена данными заранее известные заголовки и структуры данных. Для идентификации также может осуществляться анализ последовательности пакетов, обладающими одинаковыми признаками, таким как Source_IP:port - Destination_IP:port, размер пакета, частота открытия новых сессий в единицу времени и другие параметры, по поведенческим моделям, соответствующим определенным приложениям. На сегодня реализация DPI имеет широкий спектр, самыми популярными становятся интегрированные в маршрутизаторы решения DPI. Такая реализация с плюсами в виде простой интеграции, имеет и некоторые маленькие недостатка и, такие как, не возможность предоставить весь спектр сервисов, доступных standalone решениям. Однако, для большинства задач этого вполне достаточно. Важной отличительной особенностью настоящего DPI является возможность аналитики трафика за счёт сбора различного рода статистики с разбивкой по приложениям, по портам, по тарифным планам, по регионам, по типам абонентских устройств.

Deep Packet Inspection может принимать решение не только по содержимому пакетов, но и по косвенным признакам, присущим каким-то определённым сетевым программам и протоколам. Для этого может использоваться статистический анализ.

Система DPI, как правило, устанавливается на границе сети оператор. Тем самым, весь трафик, который покидает или входит в сеть оператора, проходит через DPI, что даёт возможность его мониторинга и контроля.

Рис. 1.1. Реализация контроля трафика с помощью DPI на границе сети оператора.

Для решения специфических задач можно устанавливать эту систему не на границе сети, а спускать её ниже, ближе к конечным пользователям. Это может быть полезно тем операторам, которые по ряду причин помимо утилизации внешних каналов также хотят решать задачу контроля внутренних. Естественно, такие решения используют достаточно крупных сервис-провайдерах с большой распределённой сетью масштабов страны и с достаточно дорогими канальными ёмкостями.



Рис. 1.2. Реализация контроля трафика с помощью DPI внутри сети оператора.

Производительность DPI на рынке устройств плавает в пределах от сотен Мбит/с до 160 Гбит/с в рамках одного отдельно взятого устройства, которые также можно объединять в кластеры. Если рассматривать устройства для корпоративной отрасли решения предполагают низкоскоростные подключения по медным интерфейсам типов 10/100/1000. Операторские решения рассчитаны на подключение множества линков 1GE и 10GE. Но и это еще не придел рынок DPI устройств пополняется все новыми и новыми устройствами с огромнейшей пропускной способностью.

Все производители адекватно относятся к желаниям заказчиков добавить какой-то новый протокол в список поддерживаемых и всячески помогают в этом. Не секрет, что на каждом локальном рынке существуют специфические приложения, практически отсутствующие в иных странах.

У оператора появляется достаточно мощный инструмент, при умелом использовании которого можно решать различные задачи по эксплуатации сети и её развитию.

1.1.2 Реализация Deep Packet Inspection в Quality of Service

С точки зрения эксплуатации, оператор может контролировать утилизацию подключенных через DPI каналов на уровне приложений. Раньше такие решение таких задач реализовывалось с помощью Quality of Service, исключительно средствами построения очередей на основании маркировки трафика служебными битами в заголовках IP, 802.1q и MPLS, выделяя наиболее приоритетный трафик и гарантируя ему определённую пропускную способность в любой момент времени. Трафик типа Best Effort, к которому относится весь интернет трафик домашних абонентов, оставался фактически без контроля, что давало возможность некоторым отдельным веб-приложениям забирать себе всю свободную полосу, что, в свою очередь, вело к деградации любых других веб-приложений. С использованием DPI у оператора появляется возможность распределить канал между различными приложениями. Deep Packet Inspection часто используется провайдерами, для контроля трафика, а иногда и для блокировки некоторых приложений. С помощью Deep Packet Inspection можно определить, какое приложение сгенерировало или получает данные, и на основании этого предпринять какое-либо действие. Помимо блокирования, Deep Packet Inspection может собирать подробную статистику соединения каждого пользователя по отдельности. Также, при помощи quality of service Deep Packet Inspection может управлять скоростью передачи отдельных пакетов, подняв её или, напротив, уменьшив. По мнению некоторых Интернет-провайдеров, Deep Packet Inspection позволяет сдерживать приложения, забивающие Интернет-канал, изменять приоритеты передачи различных типов данных, например, ускоряя открытие Интернет страниц за счёт уменьшения скорости загрузки больших файлов. К примеру, в ночные часы разрешить трафику определенных приложений забирать себе больше полосы по отношению к другим приложениям, чем днём, во время активного пользованию сетью, когда в сети ходит большое количество другого веб-трафика от других веб-приложений. Также мобильные операторы с помощью DPI могут контролировать полосу определенного входящего трафика, к примеру, SIP-телефония. Вместо полной блокировки оператор может разрешать работу данных протоколов, но на очень низкой скорости с соответствующей деградацией качества предоставления сервиса у конкретного приложения.

Кроме того, Deep Packet Inspection способно обнаруживать среди общего потока трафика кусочки, соответствующие компьютерным вирусам и блокировать их, повышая, таким образом, безопасность сети. Иногда Deep Packet Inspection используется в больших корпорациях для предотвращения случайных утечек данных, а также для защиты от отправки по e-mail внутренних защищённых файлов [7].

1.1.3 Управление абонентами через Deep Packet Inspection

Важным моментом является то, что правила, на основании которых выполняется блокировка, могут быть заданы посредством двух основных базисов - per-service или per-subscriber. В первом случае простейшим образом оговаривается, что конкретному приложению позволяется утилизировать определённую полосу. Во втором привязка приложения к полосе осуществляется для каждого подписчика или группы подписчиков независимо от других, что производится через интеграцию DPI с существующими OSS/BSS системами оператора. Иными словами, гибкость тарифных планов и опций, подпадающих под контроль DPI, может изменяться в интересах данной работы. Если же речь идёт о трафике мобильных операторов, то DPI позволяет контролировать загрузку каждой базовой станции в отдельности, справедливо распределяя ресурсы БС таким образом, чтобы все пользователи остались довольны качеством сервиса.

DPI отлично умеет работать в связке с различными Value Added Services системами, такими как антиспам, антивирус, видеооптимизаторы и другими услугами на современном рынке. Суть функционала заключается в отводе части трафика по заданным администратором критериям, на сторонние устройства, для осуществления более глубокого анализа и обработки.

Довольно легко можно организовать предоставление пользователям услуг по родительскому контролю, которые становятся всё более и более актуальными.

Оборудование DPI, в связи со своим умением сбора и анализа входящего трафика и того, что происходит на сети, является весьма интересным устройством для некоторых организаций. При помощи DPI можно вести наблюдение за сетевой активностью пользователей. Можно перекрыть VPN, HTTPS, делающие невозможным анализ контента.

Разумеется, данную задачу можно решать силами сетевого ядра, но это не даст достойного результата по сравнению с результатами показанными DPI.

1.2 Применение нейронных сетей в задачах телекоммуникационных сетей

1.2.1 Инструменты анализа сетевого трафика

Создание нейронных сетей в первую очередь было аргументировано помощью с анализом огромных программных систем, так как сегодня цифровые телефонные станции включают в себя очень масштабные коды. Такие системы для своего успешного развития проходят длинный промежуток времени, с апгрейдом уже созданных старых кодов в текущие ново пишущийся код. Так как, для телекоммуникационной отрасли средне статистический уровень ошибок составляет примерно 20 ошибок на 106 единиц переданной информации. Отсюда следует, что поддержание полного работоспособного механизма нужно приложить немалые усилия, так как такой коэффициент ошибок представляет значительную проблему.

Исследование с помощью нейронных сетей дало возможность представить то, что единицы двоичной системы отсчет можно представить как отдельные естественные кластеры, когда представляют собой набор мер сложности. Для анализа было взято две произвольные последовательности единиц сети телекоммуникации. Первый набор данных это набор из 2235 последовательных процедур. Эти процедуры представлял собой блочно-структурированную последовательность, предназначенные для управления телекоммуникационными системами. Второй набор представляет собой уже из 4456 процедур, который был извлечен из просто рабочей сети. При анализе было использовано двенадцать стандартных мер сложности программного обеспечения, после чего каждая процедура стала представлять собой двенадцати вещественный вектор. Каждый образованный вещественный вектор передается к трем кластерам из нейронных сетей, которые находятся в обычной телекоммуникационной сети, взаимосвязанной с нейронной сетью. Принцип кластеризации определённый заранее для этих сетей подразумевает, что некоторые процедуры могут быть сгруппированы по протокольным характеристикам с идентичными протокольными характеристиками. Еще один частый принцип группировки процедур, представляет собой группировку по размерам процедур [8].

После группировки стоит рассмотреть поведение трафика на конкретной задаче, а именно в реализации системы, которая в дальнейшем будет определять скопированные и модифицированные потока трафика. Так как процесс клонирования трафика на сегодняшний день очень распространённое явление в телекоммуникации, так как новые протоколы могут быть некой копией уже созданных ранее протоколов с малейшими изменениями, что приводит к проблемам в отрасли. Например, если нужно изменить неисправные несколько бит информации, вероятно, важно будет изменить как саму информацию, так и модифицированную копии. Для таких задач были созданы нейронные сети, так как главной задачей нейронной сети является поиск представленных бит информации в виде преобразованного числового вектора фиксированной длины. Такое векторное преобразование представляет главное значение для корректной работы сети, так как идентичные блоки информации представляют так же и идентичные векторную форму представления.

Понятие "Идентичность" для блочной информации и векторной формы это разные понятия. Для блочной информации идентичность это одинаковая вероятность прихода последующих единиц, следовательно, и клонирование кода, для векторов идентичность означает, что они являются похожими в Эвклидовом пространстве. Все это можно представить с тех сторон. Во-первых, накапливается частота ключевых слов в единице программного обеспечения, во-вторых, записывается длина каждой строки и, наконец, представлена структура отступов. Все перечисленные параметры является важными, так как они формируют полную синтаксическую структуру протоколов.

Для демонстрации наглядного отображения отступов и длины блока на векторе фиксированной длины были взяты значения по умолчанию для отступов и далее они представляли собой как координаты на графике, затем отбирается сто точек из этого графика, для удобств отбора лучше использовать линейную экстраполированную. Данный метод кодирования информации является чрезвычайно стабильным против малых изменениях в исходной передаваемой информации. Окончательное векторное представление блока кода состоит из 100 частотных выборок, 100 соответствующих выборок длины линии, и 96 частот использования ключевых слов, чтобы дать вектор из 296 признаков.

Рис. 1.3. Представление блока кода, которое использовалось в детекторе клонирования.

SOM 55 на 55 (3025 нейронов) обучалась на 10257 векторных представлениях программного обеспечения, и результирующая карта дала представление данных, отображающих относительное сходство входных векторов. SOM была интегрирована в более крупную систему, которая позволяла определять аналогичность большинства процедур в данном объекте. Это и легло в основу завершенного инструмента обнаружения клонирования, который оказался полезным в определении многих примеров клонированного программного обеспечения.

1.2.2 Предсказание пика трафика

Так как нейронные сети являются моделью, управляемой данными, одним из ключевых требований для их использования является необходимость реальных данных в начале проекта. Трудности могут возникнуть по ряду причин, таких как конфиденциальность данных и их чувствительность, нежелание клиентов публиковать данные и размеры наборов данных. Также стало очевидно, что задача перехода от успешного нейронной сети на основе прототипа к полной системе не должна быть недооценена. Все нейронных сетей во многом зависит от соответствующей предварительной обработки входных данных и пост?обработки выходных данных.

Рис. 1.4. Конфигурация нейронной сети со скользящим окном, использованной для предсказания трафика в сети.

Для того чтобы максимально использовать пропускную способность сети, полезно быть в состоянии предсказать спрос на пропускную способность. Также мы исследовали, как предсказатель на основе нейронной сети может быть использован для прогнозирования спроса голосового трафика, передаваемого в сети. Архитектура использованной сети -- стандартное скользящее окно, однонаправленная сеть, обучаемая алгоритмом сопряженных градиентов. В дополнение к скользящему окну в явном виде был представлен хронологический контекст. Эта информация была добавлена, так как трафик многих телекоммуникационных сетей является периодичным, с взаимным наложением недельных, дневных и часовых трендов. Критический параметр для модели этого типа -- размер скользящего окна. Мы использовали технику из теории динамических систем, эвристику ложных ближайших соседей. Согласно результатам этого метода окно на четыре шага назад даст лучшую производительность. Система показывала хорошую прогнозирующую способность, и может быть успешно реализована в телекоммуникационных сетях.

1.2.3 Применение нейронных сетей в задачах несанкционированного доступа

Так же были проведены исследования, могут ли нейронные сети быть обучены для определения признаков мошенничества в модель пользования телефоном.

Всякий раз после завершения телефонного звонка производится запись детальной регистрации вызова. В зависимости от операции, исполняемой в настоящее время, структура записи будет меняться. В данном исследовании, для демонстрации более корректного результаты, лучше взять общий вид записи, стоящий из всех основных функций. К этим функциям относятся: номер счета, номер телефона, дата и время звонка, длительность звонка, зона отправителя и зона получателя, и некоторые другие поля. Одна такая запись представляет собой базу данных, которую нужно постоянно контролировать на фактор внешнего мошеннического влияния.

Тип проблемы необычный и трудный, так как он смешивает статическую классификацию и временной прогнозирование. Аномальное использование должно быть классифицировано как таковое, но только в отношении возникающих временных моделей. За период времени отдельный телефон будет генерировать макроскопические модели использования, в которых, например, межконтинентальные звонки могут быть редкими, однако в рамках этой общей модели неизбежно будут иметь место нарушения: в определенный день телефон может быть использован для нескольких межконтинентальных звонков.

На этом фоне аномальное использование может быть идентифицировано, как принадлежащее к одному из двух типов:

· Модель по своей сути мошенническая -- она почти никогда не случается при нормальном пользовании. Этот тип довольно легко обнаружить.

· Модель является аномальной только по отношению к исторической закономерности, установленной для этого телефона.

В целях выявления мошенничества второго типа для нейронной сети необходимо знать как историческое, макро, поведение телефона, так и недавнее микроповедение. Представляем обе эти части информации в качестве входных векторов сети. Тогда выход состоит из двухбитного представления соответствия этих двух частей, взятых вместе. Следует обратить внимание, что этот метод вполне адекватно справляется с мошенничеством первого типа, так как это должно быть очевидным вне зависимости от исторического поведения.

Для каждого пользователя сети собирающие базы данных клиентов, отражаются как полезные статистические представления, со всей уникальностью каждого профиля пользователя. Это включает в себя: долю местных, национальных и международных звонков, количество использованных устройств, количество звонков и среднюю продолжительность звонка для этого пользователя, а также другие детали. Они обобщены в течение двух периодов времени; исторического и последнего. Исторический профиль должен периодически обновляться с учетом постепенного изменения модели использования устройства. Некоторые из полей подвергаются нормализации, чтобы сохранять отсутствие априорного предпочтение одного поля другим, прежде чем профили предоставляются сети. Многослойный персептрон с 18-ю входами, различной конфигурацией нейронов в скрытых слоях и двумя выходами, один для представления правильного использования и один для представления мошеннического использования, обучался с использованием метода сопряженных градиентов.

График, получаемый при представлении пользователей с нормальным поведением, аналогичен графику уверенности представлений из себя значений выходного узла, соответствующего правильному использованию, которое вычитается из значения узла, соответствующего мошенническому использованию.

Профили с большой вероятностью мошенничества делятся на пограничные и ошибочно классифицированные результаты. Например, ошибочно классифицированными могу быть звонки профилей с низкой активностью, где трудно обнаружить аномалии в связи с нехваткой данных, для более точного определения вероятности мошенничества. Некоторые из ошибочно классифицированных профилей являются те профили которые имеют большое количество межконтинентальных звонков. И нейронным сетям придётся обучаться более длительный промежуток времени для демонстрации более корректного результата. Прототип таких систем в настоящее время успешно включен в полномасштабную систему обнаружения мошенничества.

Выводы

В первой главе рассмотрены основные положения DPI, возможности применения DPI в сетях передачи данных для реализации задач, по оптимизации нагрузки, по управлению абонентами. Применения DPI для анализа сетевого трафика и предсказания временного трафика. И в качестве аппарата классификации мультимедийного трафика использованы аппараты нейронные сети.

2. Исследование моделей нейронных сетей

2.1 Исследование характеристик нейронных сетей

В последние десятилетия в мире бурно развивается новая прикладная область математики, специализирующаяся на искусственных нейронных сетях. Актуальность исследований в этом направлении подтверждается массой различных применений нейронные сети. Это автоматизация процессов распознавания образов, адаптивное управление, аппроксимация функционалов, прогнозирование, создание экспертных систем, организация ассоциативной памяти и многие другие приложения. С помощью нейронных сетей можно, например, предсказывать показатели биржевого рынка, выполнять распознавание оптических или звуковых сигналов, создавать самообучающиеся системы, способные управлять автомашиной при парковке или синтезировать речь по тексту [4]

Широкий круг задач, решаемый нейронными сетями, не позволяет в настоящее время создавать универсальные, мощные сети, вынуждая разрабатывать специализированные нейронные сети, функционирующие по различным алгоритмам.

Несмотря на существенные различия, отдельные типы нейронных сетей обладают несколькими общими чертами.

Рис. 2.1. Искусственный нейрон

Во-первых, основу каждой нейронной сети составляют относительно простые, в большинстве случаев - однотипные, элементы (ячейки), имитирующие работу нейронов мозга. Далее под нейроном будет подразумеваться искусственный нейрон, то есть ячейка нейронной сети. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены. Он обладает группой синапсов - однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон - выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Каждый синапс характеризуется величиной синаптической связи или ее весом wi, который по физическому смыслу эквивалентен электрической проводимости.

Из всех общих черт, присущим всем нейронным сетям, стоить отметить. Принцип параллельной обработки сигналов, который достигается путем объединения большого числа нейронов в так называемые слои и соединения определенным образом нейронов различных слоев, а также, в некоторых конфигурациях, и нейронов одного слоя между собой, причем обработка взаимодействия всех нейронов ведется послойно.

Рис. 2.2. Трехнейронный однослойный перцептрон

В качестве примера простейшей нейронной сети рассмотрим трехнейронный перцептрон, то есть такую сеть, нейроны которой имеют активационную функцию в виде единичного скачка.

Теоретически число слоев и число нейронов в каждом слое может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированной микросхемы, на которых обычно реализуется нейронная сеть. Чем сложнее нейронная сеть, тем масштабнее задачи, подвластные ей.

Выбор структуры нейронной сети осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные, на сегодняшний день, конфигурации. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом он руководствуется несколькими основополагающими принципами:

· возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом выделенных слоев;

· введение обратных связей наряду с увеличением возможностей сети поднимает вопрос о динамической устойчивости сети;

· сложность алгоритмов функционирования сети, также способствует усилению мощи НС.

Вопрос о необходимых и достаточных свойствах сети для решения того или иного рода задач представляет собой целое направление нейрокомпьютерной науки. Так как проблема синтеза нейронных сетей сильно зависит от решаемой задачи, дать общие подробные рекомендации затруднительно. В большинстве случаев оптимальный вариант получается на основе интуитивного подбора.

Очевидно, что процесс функционирования нейронной сети, то есть сущность действий, которые она способна выполнять, зависит от величин синаптических связей, поэтому, задавшись определенной структурой нейронной сети, отвечающей какой-либо задаче, разработчик сети должен найти оптимальные значения всех переменных весовых коэффициентов.

Этот этап называется обучением нейронной сети, и от того, насколько качественно он будет выполнен, зависит способность сети решать поставленные перед ней проблемы во время эксплуатации. На этапе обучения кроме параметра качества подбора весов важную роль играет время обучения. Как правило, эти два параметра связаны обратной зависимостью и их приходится выбирать на основе компромисса.

Обучение нейронной сети может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы нейронных сетей формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы.

Существует великое множество различных алгоритмов обучения, которые однако делятся на два больших класса: детерминистские и стохастические. В первом из них подстройка весов представляет собой жесткую последовательность действий, во втором - она производится на основе действий, подчиняющихся некоторому случайному процессу.

Развивая дальше вопрос о возможной классификации нейронных сетей, важно отметить существование бинарных и аналоговых сетей. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль и логическая единица. К этому классу сетей относится и рассмотренный выше перцептрон, так как выходы его нейронов, формируемые функцией единичного скачка, равны либо 0, либо 1. В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения, что могло бы иметь место после замены активационной функции нейронов перцептрона на сигмоид.

Еще одна классификация делит нейронные сети на синхронные и асинхронные [11]. В первом случае в каждый момент времени свое состояние меняет лишь один нейрон. Во втором - состояние меняется сразу у целой группы нейронов, как правило, у всего слоя. Алгоритмически ход времени в нейронных сетях задается итерационным выполнением однотипных действий над нейронами.



Рис. 2.3. Пятинейронный двухслойный перцептрон

Сети также можно классифицировать по числу слоев. Который реализован путем прибавления еще одного слоя к однослойному перцептрону [6].

Но данные виды нейронных сетей не смогут функционировать без передаточной функции нейронной сети.

2.2 Исследование вида передаточной функции

Для исследования активационной функции, примем допущение того, что модель выбранной нейронной сети имеет данный вид.

Рис. 2.4. Модели нейронной сети в процессе использования активационной функции.

Функция активации - функция, вычисляющая выходной сигнал искусственного нейрона. В качестве аргумента принимает сигнал Y, получаемый на выходе входного сумматора .

Рассмотрим наиболее оптимальные активационные функции [10].

1. Единичный скачок или жесткая пороговая функция.

Простая кусочно-линейная функция. Если входное значение меньше порогового, то значение функции активации равно минимальному допустимому, иначе - максимально допустимому.

Рис. 2.5. График поведения жесткой пороговой активационной функции.

2. Линейный порог или гистерезис.

Несложная кусочно-линейная функция. Имеет два линейных участка, где функция активации тождественно равна минимально допустимому и максимально допустимому значению и есть участок, на котором функция строго монотонно возрастает.

Рис. 2.6. График поведения линейной пороговой активационной функции.

3. Сигмоидальная функция или сигмоид.

Монотонно возрастающая всюду дифференцируемая S-образная нелинейная функция с насыщением. Сигмоид позволяет усиливать слабые сигналы и не насыщаться от сильных сигналов. Гроссберг обнаружил, что подобная нелинейная функция активации решает поставленную им дилемму шумового насыщения.

Слабые сигналы нуждаются в большом сетевом усилении, чтобы дать пригодный к использованию выходной сигнал. Однако усилительные каскады с большими коэффициентами усиления могут привести к насыщению выхода шумами усилителей, которые присутствуют в любой физически реализованной сети. Сильные входные сигналы в свою очередь также будут приводить к насыщению усилительных каскадов, исключая возможность полезного использования выхода. Реализация функции, которая может обрабатывать как слабые, так и сильные сигналы можно представить через другие математические функции.

Примером сигмоидальной функции активации может служить логистическая функция, задаваемая следующим выражением:

(2.1.)

где - параметр наклона сигмоидальной функции активации. Изменяя этот параметр, можно построить функции с различной крутизной.

Рис. 2.7. График поведения сигмоидальной активационной функции на основе логистической функции.

Еще одним примером сигмоидальной функции активации является гиперболический тангенс, задаваемая следующим выражением:

(2.2.)

где - это также параметр, влияющий на наклон сигмоидальной функции.

Рис. 2.8. График поведения сигмоидальной активационной функции на основе гиперболического тангенса.

После исследования некоторых активационных функция можно заметить, что функции активации типа единичного скачка и линейного порога насыщают входные данные равномерно, что не всегда ведет к положительному результату. И их использование в нейронных сетях встречается редко и, как правило, используются только на учебных примерах, из-за своей элементарности реализации.

В практическом применении на сетях передач данных, в комплекции с использованием данной функции в составе нейронной сети нам подойдет сигмоидальная функция активации.

2.3 Исследование моделей реализации нейронных сетей

Среди различных конфигураций искусственных нейронных сетей встречаются такие, при классификации которых по принципу обучения, строго говоря, не подходят ни обучение с учителем [9], ни обучение без учителя. В таких сетях весовые коэффициенты синапсов рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных, и все обучение сети сводится именно к этому расчету. С одной стороны, предъявление априорной информации можно расценивать, как помощь учителя, но с другой - сеть фактически просто запоминает образцы до того, как на ее вход поступают реальные данные, и не может изменять свое поведение, поэтому говорить о звене обратной связи с "миром" не приходится. Из сетей с подобной логикой работы наиболее известны сеть Хопфилда и сеть Хэмминга, которые обычно используются для организации ассоциативной памяти. Далее речь пойдет именно о них.

2.3.1 Реализация схемы сети на основе модели Хопфилда

Структурная схема сети Хопфилда приведена на (рис.2.9.). Она состоит из единственного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан синапсами со всеми остальными нейронами, а также имеет один входной синапс, через который осуществляется ввод сигнала. Выходные сигналы, как обычно, образуются на аксонах [13].

Рис. 2.9. Структурная схема модели Хопфилда

Задача, решаемая данной сетью в качестве ассоциативной памяти, как правило, формулируется следующим образом. Известен некоторый набор двоичных сигнало, которые считаются образцовыми. Сеть должна уметь из произвольного неидеального сигнала, поданного на ее вход, выделить соответствующий образец или "дать заключение" о том, что входные данные не соответствуют ни одному из образцов. В общем случае, любой сигнал может быть описан вектором

X = { xi: i=0...n-1},

n - число нейронов в сети и размерность входных и выходных векторов. Каждый элемент xi равен либо +1, либо -1. Обозначим вектор, описывающий k-ый образец, через Xk, а его компоненты, соответственно, - xik, k=0...m-1, m - число образцов. Когда сеть распознает какой-либо образец на основе предъявленных ей данных, ее выходы будут содержать именно его, то есть

Y = Xk,

где Y - вектор выходных значений сети:

Y = { yi: i=0,...n-1}.

В противном случае, выходной вектор не совпадет ни с одним образцовым.

Если, например, сигналы представляют собой некие изображения, то, отобразив в графическом виде данные с выхода сети, можно будет увидеть картинку, полностью совпадающую с одной из образцовых или же "вольную импровизацию" сети.

На стадии инициализации сети весовые коэффициенты синапсов устанавливаются следующим образом [14], [15].

Алгоритм функционирования сети следующий:

1. На входы сети подается неизвестный сигнал. Фактически его ввод осуществляется непосредственной установкой значений аксонов, поэтому обозначение на схеме сети входных синапсов в явном виде носит чисто условный характер. Ноль в скобке справа от yi означает нулевую итерацию в цикле работы сети.

2. Рассчитывается новое состояние нейронов и новые значения аксонов.

3. Проверка, изменились ли выходные значения аксонов за последнюю итерацию. Если да - переход к пункту 2. При этом выходной вектор представляет собой образец, наилучшим образом сочетающийся с входными данными.

Как говорилось выше, иногда сеть не может провести распознавание и выдает на выходе несуществующий образ. Это связано с проблемой ограниченности возможностей сети. Для сети Хопфилда число запоминаемых образов m не должно превышать величины, примерно равной 0.15n. Кроме того, если два образа А и Б сильно похожи, они, возможно, будут вызывать у сети перекрестные ассоциации, то есть предъявление на входы сети вектора А приведет к появлению на ее выходах вектора Б и наоборот.

2.3.2 Реализация схемы сети на основе модели Хэмминга

Когда нет необходимости, чтобы сеть в явном виде выдавала образец, то есть достаточно, скажем, получать номер образца, ассоциативную память успешно реализует сеть Хэмминга. Данная сеть характеризуется, по сравнению с сетью Хопфилда, меньшими затратами на память и объемом вычислений, что становится очевидным из ее структуры (рис.2.10.).

Сеть состоит из двух слоев. Первый и второй слои имеют по m нейронов, где m - число образцов. Нейроны первого слоя имеют по n синапсов, соединенных со входами сети (образующими фиктивный нулевой слой). Нейроны второго слоя связаны между собой ингибиторными (отрицательными обратными) синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном.

Рис. 2.10. Структурная схема модели Хэмминга

Идея работы сети состоит в нахождении расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.

На стадии инициализации весовым коэффициентам первого слоя и порогу активационной функции присваиваются следующие значения.

Весовые коэффициенты тормозящих синапсов во втором слое берут равными некоторой величине 0 < < 1/m. Синапс нейрона, связанный с его же аксоном имеет вес +1.

Алгоритм функционирования сети Хэмминга следующий:

1. На входы сети подается неизвестный вектор

X = {xi:i=0...n-1},

исходя из которого рассчитываются состояния нейронов первого слоя.

После этого полученными значениями инициализируются значения аксонов второго слоя.

2. Вычислить новые состояния нейронов второго слоя и значения их аксонов.

Активационная функция f имеет вид порога, причем величина F должна быть достаточно большой, чтобы любые возможные значения аргумента не приводили к насыщению.

3. Проверить, изменились ли выходы нейронов второго слоя за последнюю итерацию. Если да - перейди к шагу 2. Иначе - конец.

Из оценки алгоритма видно, что роль первого слоя весьма условна: воспользовавшись один раз на шаге 1 значениями его весовых коэффициентов, сеть больше не обращается к нему, поэтому первый слой может быть вообще исключен из сети (заменен на матрицу весовых коэффициентов), что и было сделано в ее конкретной реализации, описанной ниже.

Выводы

В данной главе были исследованы механизмы создания, обучения и реализации моделей нейронных сетей, для их последующий интеграции в сети передачи данных. Подверглась рассмотреню детальная реализация нейронной сети. Изучены виды передаточных функций, для дальнейшей активации нейронной сети. Проанализированы самые эффективные модели нейронных сетей, такие как модель Хопфилда модель Хэмминга.

3. Процесс обучения моделей систем управления, реализованных на нейронных сетях, и их оптимизация для решения задач классификации

3.1 Краткая характеристика исследуемых алгоритмов

Обобщенный градиентный алгоритм обучения.

В этом алгоритме на каждой итерации выполняется вычисление градиента функции ошибки (определяются значения частных производных по синаптическим весам и смещениям) и делается шаг в направлении антиградиента. Величина шага задается пользователем [18].

Обобщенный градиентный алгоритм обучения в отличие от традиционного метода обратного распространения ошибки дает возможность обучать многослойные сети с произвольным числом слоев. Использование двойственных переменных ускоряет процесс обучения.

Градиентный алгоритм обучения с автоматическим определением длины шага.

Другое название - автономный градиентный алгоритм обучения. Определяется следующим набором параметров:

· Начальное значение шага,

· Количество итераций, через которое происходит запоминание данных сети (синаптических весов и смещений),

· Величина (в процентах) увеличения шага после запоминания данных сети, и величина уменьшения шага в случае увеличения функции ошибки.

В начале обучения с помощью автономного градиентного алгоритма записываются на диск значения весов и смещений сети. Затем происходит заданное число итераций обучения с заданным шагом. Если после завершения этих итераций значение функции ошибки не возросло, то шаг обучения увеличивается на заданную величину, а текущие значения весов и смещений записываются на диск. Если на некоторой итерации произошло увеличение функции ошибки, то с диска считываются последние запомненные значения весов и смещений, а шаг обучения уменьшается на заданную величину.

При использовании автономного градиентного алгоритма происходит автоматический подбор длины шага обучения в соответствии с характеристиками адаптивного рельефа.

Замечено, что в начале обучения шаг должен быть порядка 0.1, а в конце обучения - от 105 до 106. Автономный алгоритм по сравнению с обобщенным градиентным алгоритмом имеет преимущество в том, что шаг обучения автоматически увеличивается, подстраиваясь под адаптивный рельеф. Тем самым существенно сокращается количество шагов, которое требуется для обучения сети.

Алгоритм поиска в случайном направлении.

В алгоритме поиска в случайном направлении на каждой итерации делается шаг, направление которого задается случайным образом. Если данный шаг приводит к увеличению функции ошибки, то происходит возврат к исходным значениям синоптических весов и смещений и выполняется шаг в другом случайном направлении.

Градиентный алгоритм обучения с одномерной оптимизацией.

В этом алгоритме на каждом шаге обучения выполняется два пробных шага: один в направлении антиградиента, другой - в противоположном направлении. По трем точкам (включая исходную точку итерации) строится парабола.

Для параболы с лучами, направленными вверх, шаг делается в вершину параболы. Если лучи параболы направлены вниз, то выполняется шаг в сторону антиградиента на заданную величину. Таким образом, а этих алгоритмах адаптивный рельеф вдоль антиградиента функции ошибки аппроксимируется параболой.

В программной реализации алгоритма исключено увеличение значения функции ошибки.

Значения этой функции запоминаются для четырех точек (исходная точка, два пробных шага и минимум параболы). Шаг делается в точку с минимальным значением функции ошибки.

Градиентный алгоритм обучения с одномерной оптимизацией и с автоматическим определением длины шага.

В этом алгоритме выполняются действия, аналогичные автономному градиентному алгоритму.

Величина пробных шагов подбирается под адаптивный рельеф.

Данный способ исключения шагов с увеличением функции ошибки позволяет уменьшить количество вычислений на каждом шаге алгоритма.

Алгоритм имитации отжига.

Является в настоящее время одним из самых популярных алгоритмов для решения задач оптимизации.

Прежде всего, он используется для размещения микросхем на печатных платах. В литературе отмечается успешное использование алгоритма для обучения нейронных сетей малой размерности - с числом синаптических весов и смещений порядка нескольких сотен.

В алгоритме итерации выполняются случайным образом с учетом ограничений на значения настраиваемых параметров.

Причем допускаются шаги, приводящие к увеличению функции ошибки. Пусть на итерации нейронная сеть находится в точке адаптивного рельефа, характеризующейся значением функции ошибки .

Шаг из точки в точку со значением функции ошибки приводящий к увеличению значения функции ошибки на величину , допускается с вероятностью:

(3.1)

где - значение температуры на шаге . Значение температуры убывает с течением времени:

(3.2)

3.2 Исследование поведения алгоритмов в процессе обучения

На рисунках 3.1-3.8 представлены графики функции ошибки алгоритмов обучения нейронных сетей с различными значениями параметров[19].