Технология нейронных сетей

Размещено на http://www.allbest.ru/

Содержание

1. Введение

2. Обоснование темы контрольной работы

2.1 Технологии анализа данных

3. Описание методов и результаты обработки информации

3.1 Основные алгоритмы кластеризации данных

3.2 Основные алгоритмы отбора главных факторов

3.3 Основные алгоритмы построения множественной линейной регрессии

3.4 Основные алгоритмы оценки параметров процесса на скользящем постоянном интервале (по значениям заданного количества отсчётов)

3.5 Решение задач анализа данных на нейронных сетях и результаты моделирования на НС нелинейных функций

3.6 Методы визуализации данных в аналитической платформе Deducto

4. Выводы

5. Список используемой литературы

1. Введение

Технологии обработки информации дополняют и заменяют человеческую функцию её обработки путём автоматизации и интеграции логического и интуитивного подходов.

Новая технология обработки информации - это нейросети. Технология нейронных сетей, одного из видов искусственного интеллекта, возникла на основе подражания процессам обработки информации и принятия решений, происходящих в живых организмах. Иными словами нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения -- одно из главных преимуществ нейронных сетей перед традиционными алгоритмами.

2. Обоснование темы контрольной работы

2.1 Технологии анализа данных

Традиционные методы анализа данных (статистические методы) и оперативные аналитической обработки данных (online analytical processing, OLAP) в основном ориентированы на проверку заранее сформулированных гипотез (verification-driven data mining). Последующим этапом анализа является интеллектуальный анализ данных, в англоязычных источниках получивший название Data mining , иногда переводят как - добыча знаний, а также близкое название Knowledge Discovery in Databases (KDD) - обнаружение знаний в больших базах данных.

Интеллектуальным анализом данных называется процесс определения новых, корректных и потенциально полезных знаний на основе больших массивов данных. Поэтому главным предназначением технологий интеллектуального анализа данных является извлечение и представление знаний из накопленной в базах данных, информационных хранилищах и других источниках информации. Инструменты Data Mining могут находить такие закономерности самостоятельно и также самостоятельно строить гипотезы о взаимосвязях. Поскольку именно формулировка гипотезы относительно зависимостей является самой сложной задачей, преимущество Data Mining по сравнению с другими методами анализа является очевидным.

Все технологические методы Data Mining подразделяются на две большие группы по принципу работы с исходными обучающими данными:

1. Непосредственное использование данных на стадиях прогностического моделирования и/или анализа исключений (используются результаты стадии свободного поиска, они значительно компактнее самих баз данных) или сохранение данных в явном детализированном виде. Методы этой группы: кластерный анализ, метод ближайшего соседа и т.д. Проблема этой группы методов - при их использовании могут возникнуть сложности анализа сверхбольших баз данных.

2. Выявление и использование формализованных закономерностей, или дистилляция шаблонов. При этой технологии один образец (шаблон) информации извлекается из исходных данных и преобразуется в некие формальные конструкции, вид которых зависит от используемого метода Data Mining. Этот процесс выполняется на стадии свободного поиска, у первой группы методов данная стадия в принципе отсутствует.

Методы этой группы: логические методы или методы логической индукции (нечёткие запросы и анализы); символьные правила; деревья решений; генетические алгоритмы; методы визуализации; методы кросс-табуляции; методы, основанные на уравнениях (математических выражениях).

3. Описание методов и результаты обработки информации

3.1 Основные алгоритмы кластеризации данных

нейронный сеть кластеризация регрессия

Существует много различных алгоритмов кластеризации -- отчасти потому, что эффективность алгоритма кластеризации до некоторой степени зависит от характеристик данных. Целью алгоритмов кластеризации является создание классов, которые максимально связаны внутри себя, но различны друг от друга.

Существует два подхода к кластеризации: на основе разбиения графа и на основе гистограммного метода. Разбиение дискретного конечного множества элементов делается с помощью построения кратчайшего остовного дерева. Алгоритмы разбиения отличаются друг от друга процедурой группировки и критерием качества разбиения множества. Если свойства объекта представить в виде координат метрического пространства, то каждый объект со своими значениями свойств будет отображаться в некоторую точку этого пространства. Два объекта с почти одинаковыми значениями свойств отобразятся в две близкие точки, а объекты с сильно отличающимися свойствами будут представлены далёкими друг от друга точками. Если имеются сгустки точек, отделённые промежутками от других сгустков, то их целесообразно выделить в отдельные структурные части множества - классы.

В основу алгоритма разбиения положен метод разрезания кратчайшего остовного дерева. Для разбиения множества элементов на «К» классов удаляются «К-1» рёбер, обеспечивающих оптимальное значение функции качества. Адаптивная кластеризация множества элементов производится путём удаления части рёбер графа по критерию минимальной суммарной дисперсии классов. К данному методу относится алгоритм Прима в табличной форме, где по заданному графу заполняется матрица весов W(N, N). Веса несуществующих рёбер предполагаются сколь угодно большими. Образуется массив P(N) меток вершин графа (столбцов матрицы весов). Алгоритм решения задачи заключается в последовательном заполнении массива меток столбцов и состоит из следующих этапов:

1. Предварительный этап. Обнуляется массив P(N) меток столбцов таблицы. Произвольно выбранному столбцу присваивается значение метки, равной его номеру.

2. Этап, повторяющийся N-1 раз (общий этап). В строках, номера которых равны номерам помеченных столбцов, находится минимальный элемент среди элементов непомеченных столбцов. Столбец, в котором находится минимальный элемент, помечается меткой, номер которой равен номеру его строки. В случае если минимальных элементов несколько, выбирается любой. После помечивания очередного столбца элементу, симметричному относительно главной диагонали (для многомерного графа с «транспонированными индексами»), присваивается сколь угодно большое значение.

3. Заключительный этап. Рёбра, включённые в минимальное остовное дерево, определяются по меткам столбцов. Вес остовного дерева задаётся суммой весов входящих в него рёбер.

Пример расчёта на MS Excel (рис. 3.1.1 - 3.1.4 стр. 11 - 12):

Рис. 3.1.1. Заполненная форма ввода данных

Матрица расстояний:

Рис. 3.1.2. Форма с матрицей расстояний

Выполнение алгоритма Прима (рис. 3.1.3 стр. 12):

Рис. 3.1.3. Ход выполнения алгоритма Прима

Построенное дерево графа:

Рис. 3.1.4. Кратчайшее остовное дерево

Второй подход к кластеризации: оперативный кластерный анализ данных на основе гистограммного метода, который целесообразно использовать, когда исходных данных очень много (десятки, сотни измерений). Время обработки этим методом после проведения сортировки практически не зависит от числа измерений и зависит только от числа классов, на которые нужно произвести кластеризацию.

Кластерный анализ означает выделение однородных групп (кластеров) в пространстве характерных (для данной системы) признаков. Для их описания целесообразно использовать метод представления множества элементов с помощью системы линейных неравенств.

Рис. 3.1.5. Кластеризация однородных групп

Рассматриваемая совокупность случайной величины Х неоднородна и в неё входят, например, три группы совокупностей случайной величины с различными параметрами распределений (математическим ожиданием и средним квадратическим отклонением). Истинные зависимости y = y(x) для этих групп совокупности показаны на данном рисунке. Там же пунктиром показана линия регрессии y на x, построенная для совокупности всех групп. Таким образом, обработка неоднородной совокупности теми же методами, какие применимы для однородных, может привести к серьезным ошибкам.

Рассмотрим программную реализацию многомерной кластеризации.

Матрицы, представляющие собой произведение двух матриц, имеют 4 строки, сколько их было в первой матрице, и 1 столбец, сколько их было во второй матрице. В итоге все объекты объединены в один кластер. Основная идея кластерного анализа заключается в последовательном объединении группируемых объектов по принципу наибольшей близости - схожести свойств.

3.2 Основные алгоритмы отбора главных факторов

Объект контроля может характеризоваться большим количеством параметров, среди которых можно выделить наиболее информативные компоненты, назовём их главными.

Пример 1: Импортируем исходные данные из текстового файла в программу:

Разбиваем исходный набор данных на подмножества:

Указываем количество нейронов в структуре нейронной сети:

Запускаем процесс обучения нейронной сети:

Выбираем способы отображения данных в пункте «Data Mining», «Граф нейросети» для отображения нейронной сети в виде графа и «Что-если» для анализа построенной модели по принципу «что-если»:

Нейросеть, отображённая в виде графа:

3.3 Основные алгоритмы построения множественной линейной регрессии

Основная цель множественной регрессии - построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель. Уравнение множественной регрессии имеет вид: y = f(x1,x2,…,xk). Простейшая функция для построения множественной регрессионной модели - линейная:

или . (3.3.1)

а) Просмотр функции по квадрантам:

Вводим номер квадранта, который мы хотим просмотреть, в данном случае это квадрант с номером 2:

Имея начальные условия поиска, применим метод золотого сечения и 6 итераций:

Это минимизация многомерной функции на основе метода Давидона-Флетчера-Пауэлла (без ограничений), а теперь рассмотрим минимизацию многомерной функции при наличии линейных ограничений:

б) Вводим номер квадранта, который мы хотим просмотреть, в данном случае это квадрант с номером 1:

3.4 Основные алгоритмы оценки параметров процесса на скользящем постоянном интервале (по значениям заданного количества отсчётов)

При сглаживании временного ряда скользящими средними в расчётах участвуют все уровни ряда. Чем шире интервал скольжения, тем более плавным получается тренд (линия выравнивания значений). Сглаженный ряд короче первоначального на к-1 наблюдений (к - величина интервала сглаживания). В то же время скользящая средняя имеет ряд недостатков:

1) при малом числе наблюдений этот метод часто приводит к искажению тенденции;

2) при определении скользящей средней для дальнейших расчётов теряются начальные и конечные уровни ряда;

3) выбор величины интервала сглаживания часто трудно обосновать, а от этого зависит форма кривой.

Рассмотрим рекуррентную процедуру оценки параметров процесса на скользящем постоянном интервале (оценка процесса определяется по значениям заданного количества отсчётов).

Пример реализации на основе нейронной сети в MS Excel (стр. 44):

№		x1	x2	x3	x4	x5	Y
1	0,1	0,099833	0,198669	0,29552	0,389418	0,479426	0,564642
2	0,2	0,198669	0,29552	0,389418	0,479426	0,564642	0,644218
3	0,3	0,29552	0,389418	0,479426	0,564642	0,644218	0,717356
4	0,4	0,389418	0,479426	0,564642	0,644218	0,717356	0,783327
5	0,5	0,479426	0,564642	0,644218	0,717356	0,783327	0,841471
6	0,6	0,564642	0,644218	0,717356	0,783327	0,841471	0,891207
7	0,7	0,644218	0,717356	0,783327	0,841471	0,891207	0,932039
8	0,8	0,717356	0,783327	0,841471	0,891207	0,932039	0,963558
9	0,9	0,783327	0,841471	0,891207	0,932039	0,963558	0,98545
W1	-0,39993
W2	-0,10553
W3	0,191922
W4	0,490453
W5	0,78808

Y аппрок	ВВ=Y-Yаппрок		ВВ^2
0,564642	2,79E-07		7,77E-14
0,644217	3,05E-07		9,28E-14
0,717356	3,28E-07		1,07E-13
0,783327	3,47E-07		1,21E-13
0,841471	3,63E-07		1,32E-13
0,891207	3,76E-07		1,41E-13
0,932039	3,85E-07		1,48E-13
0,963558	3,9E-07		1,52E-13
0,985449	3,91E-07		1,53E-13
0,997495	3,88E-07		1,51E-13
0,999573		Сумма	1,28E-12
0,991664
0,973847

Усреднение без задания весов (W) наблюдений бессмысленно (сумма весов равна единице), т.к. сглаживание ряда, все члены которого равны одной и той же константе (t), должно приводить к той же константе (свойство скользящих средних).

Рассмотрим программную реализацию оценки параметров процесса на скользящем постоянном интервале:

1. Задаём назначения исходных столбцов данных:

2. Настраиваем структуру нейронной сети, выбирая тип функции «Сигмоида» и количество нейронов равное 1:

3. Запускаем процесс обучения нейронной сети:

4. Выбираем способ отображения данных:

5. Получим граф нейросети:

6. Анализ построенной модели:

Суть метода состоит в усреднении исходного ряда на интервале времени, длина которого выбрана заранее. При этом сам выбранный интервал скользит вдоль ряда, сдвигаясь каждый раз на один такт вправо. Ряд новых значений становится более гладким, вот почему подобную процедуру называют сглаживанием временного ряда.

3.5 Решение задач анализа данных на нейронных сетях и результаты моделирования на НС нелинейных функций

Рассмотрим решение следующих задач анализа данных на нейронных сетях и результаты моделирования на НС нелинейных функций:

1. Создадим и обучим нейронную сеть выполнению операции:

y = x1^2 + x2.

Исходные данные:

X1	X2	Y
1	-2	-1
0,5	0	0,25
0	0,5	0,5
1	1	2

Возьмем нейронную сеть вида:

Рис. 3.5.1. Структура нейронной сети

Подстройку параметров нейронной сети произведём с помощью MS Excel (рис 3.5.2 стр. 52). Введём параметры W11, W12, b1, W21, b2 случайным образом.

Рис. 3.5.2. Формирование с помощью MS Excel структуры нейронной сети

Для нахождения f1 в ячейку I2 введём функцию =A2*$D$2+B2*$E$2+$F$2. В ячейку J2 введём логистоническую функцию в виде функции =1/(1+EXP(-I2)). Для получения реального выхода нейрона необходимо полученное значение помножить на W21 и прибавить b2, для этого в ячейку K2 введём функцию =J2*$H$2+$G$2. Ошибка - разность желаемого и реального выходов. Сумма квадратов ошибок будет являться критерием поиска подстраиваемых параметров нейронной сети. В меню Сервис\Поиск решения проводим минимизацию критерия путём подбора весовых коэффициентов (рис. 3.5.3).

Рис.3.5.3. Обучение нейронной сети

2. Реализуем булевы функции с помощью нейронных сетей. Реализуем булеву алгебру с помощью нейронной сети (рис. 3.5.4 стр. 53):

Рис. 3.5.4. Структура нейронной сети

Любую булеву функцию можно реализовать с помощью операций отрицания, операции «И» и операции «ИЛИ». Рассмотрим реализацию операций «И» и «ИЛИ» с помощью MS Excel (рис. 3.5.5 - 3.5.8):

1. Реализация операции «И»:

Рис. 3.5.5. Формирование структуры нейронной сети (операция «И»)

Поиск решения:

Рис. 3.5.6. Обучение нейронной сети

2. Реализация операции «ИЛИ»:

Рис. 3.5.7. Формирование структуры нейронной сети (операция «ИЛИ»)

Поиск решения:

Рис. 3.5.8. Обучение нейронной сети

Рассмотрим программную реализацию моделирования на нейронной сети нелинейных функций:

1. Реализация операции «И». Импортируем данные в программу Deductor Studio:

Обучение нейронной сети:

Выбираем способ отображения данных:

После успешного завершения настройки просматриваем граф нейронной сети, и значения входных/выходных полей:

2. Реализация операции «ИЛИ». Импортируем данные в программу Deductor Studio:

Обучение нейронной сети:

Выбираем способы отображения данных в пункте «Data Mining», «Граф нейросети» для отображения нейронной сети в виде графа и «Что-если» для анализа построенной модели по принципу «что-если»:

Просматриваем граф нейронной сети, и значения входных/выходных полей:

3.6 Методы визуализации данных в аналитической платформе Deductor

Deductor состоит из пяти частей:

1. Studio - программа, реализующая функции импорта, обработки, визуализации и экспорта данных. Она может функционировать и без хранилища данных, получая информацию из любых других источников, но наиболее оптимальным является их совместное использование. В свою очередь хранилище данных консолидирует всю необходимую информацию для осуществления задач стратегического управления в среднесрочном и долгосрочном периоде. Визуализировать данные в Deductor Studio можно на любом этапе обработки. Система самостоятельно определяет, каким способом она может это сделать, например, если будет обучена нейронная сеть, то помимо таблиц и диаграмм можно просмотреть граф нейросети. Пользователю необходимо выбрать нужный вариант из списка и настроить несколько параметров. Способ возможных отображений зависит от выбранного метода обработки данных.

Предусмотрены следующие способы визуализации данных:

· OLAP-кубы (кросс-таблица, кросс-диаграмма);

· плоская таблица;

· диаграмма, гистограмма;

· статистика;

· анализ по принципу "что-если";

· граф нейросети;

· дерево - иерархическая система правил;

· прочее.

Методы визуализации, в зависимости от количества используемых измерений, принято классифицировать на две группы: представление данных в одном, двух и трёх измерениях и представление данных в четырёх и более измерениях. Любой набор данных можно визуализировать каким-либо доступным способом или несколькими способами, поскольку визуализация помогает интерпретировать построенные модели.

Традиционные методы визуализации могут находить следующее применение:

· представлять пользователю информацию в наглядном виде;

· компактно описывать закономерности, присущие исходному набору данных;

· снижать размерность или сжимать информацию;

· восстанавливать пробелы в наборе данных;

· находить шумы и выбросы в наборе данных.

Визуализация является одним из наиболее перспективных направлений анализа данных. Качественная визуализация данных является важной частью любой аналитической системы.

2. Deductor Viewer позволяет отделить процесс построения сценариев от использования уже готовых моделей. Все сложные операции по подготовке сценариев обработки выполняются при помощи Deductor Studio, а Deductor Viewer обеспечивает пользователям простой способ работы с готовыми результатами, скрывает от них все сложности построения моделей и не предъявляет высоких требований к квалификации сотрудников.

3. Deductor Warehouse - многомерное хранилище данных, аккумулирующее всю необходимую для анализа предметной области информацию. Использование единого хранилища позволяет обеспечить непротиворечивость данных, их централизованное хранение и автоматически обеспечивает всю необходимую поддержку процесса анализа данных.

4. Deductor Server - служба, обеспечивающая удалённую аналитическую обработку данных. Позволяет автоматически обрабатывать данные и переобучать модели на сервере, оптимизирует выполнение сценариев за счёт кэширования проектов и использования многопоточной обработки.

5. Deductor Client - клиент доступа к Deductor Server. Обеспечивает доступ к серверу из сторонних приложений и управление его работой.

В качестве программной реализации методов используем аналитическую платформу Deductor. Основой для анализа данных служит моделирование. Определив входные и выходные воздействия и имея в наличии набор данных, связывающий их, уже можно говорить о модели системы, даже если не известен закон, связывающий между собой входы и выходы системы. Существуют специальные методы, позволяющие изучать такие системы без знания математических зависимостей между переменными системы. На сегодня наибольшее распространение получили самообучающиеся методы и машинное обучение: нейронные сети, деревья решений и др.

Рассмотрим программную реализацию моделирования на нейронной сети нелинейных функций:

1. Импортируем данные в программу:

2. Выбираем способы отображения данных:

3. Настраиваем столбцы диаграммы, параметры многомерной диаграммы и назначения полей куба:

4. Настраиваем размещения измерений:

5. Получим следующие диаграммы (стр. 66):

6. Отображение многомерной диаграммы по осям:

Получим результирующую (преобразованную) совокупность точек:

6. Многомерное отображение данных:

Получили понятную модель данных в виде многомерного куба (3-х мерного куба). Осями многомерной системы координат служат основные атрибуты анализируемого процесса. На пересечениях осей-измерений - находятся данные, количественно характеризующие процесс. Вся работа с кубом сводится к различным его поворотам, группировкам. Меняются количество измерений, способы группировки.

Куб представляет собой один из распространённых методов комплексного многомерного анализа данных, получивших название OLAP, в основе которого лежит представление данных в виде многомерных кубов, называемых также OLAP-кубами или гиперкубами. По осям многомерной системы координат откладываются те или иные параметры анализируемого процесса. Для того чтобы получить хороший результат, необходимо, чтобы на экран выводился не весь куб, а только нужная его часть.

4. Выводы

Технология интеллектуального анализа данных (Data mining) может рассматриваться как результат эволюции информационных технологий. Современные её методы анализа данных - визуальный анализ и графическое представление данных. Общепризнанно, что нейронные сети являются естественным дополнением классических методов анализа и применяются там, где стандартные процедуры не дают нужного эффекта.

В многомерном статистическом анализе образовались разделы, которые не изолированы, а проникают, переходят один в другой. Это рассмотренные в данной контрольной работе методы обработки информации. На сегодня наибольшее распространение получили самообучающиеся методы и машинное обучение: нейронные сети, деревья решений и др.

5 Список используемой литературы

1. Булаев М.П., Кабанов А.Н., Маркова И.С. Нейронные сети для адаптивной обработки данных: Учеб. пособие / РГРТУ. - Рязань, 2012. - 64 с.

2. Близоруков М.Г. Количественные методы анализа многомерных величин: Учебн. пособие. - Изд-во: АМБ, 2006. - 68 с.

Размещено на Allbest.ru