Исследование трехслойных ИНС

Разработка программы, моделирующей процессы обучения, работы и прогнозирования ИНС с использованием постоянного, а также адаптивного шага обучения. Исследование поведения системы в зависимости от количества входов при постоянном шаге самообучения.

Рубрика Программирование, компьютеры и кибернетика
Вид контрольная работа
Язык русский
Дата добавления 16.10.2011
Размер файла 92,5 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Контрольная работа

Исследование трехслойных ИНС

Брест 2007

Введение

Целью контрольной работы является исследование обучения, работы и прогнозирования многослойных ИНС, в данном случае 3-слойной.

Для изучения ИНС нам необходимо разработать программу, моделирующую процессы обучения, работы и прогнозирования ИНС. За основу возьмем программу, написанную в процессе выполнения лабораторной работы №2, с доработками. В результате получили программу с интерфейсом, представленным ниже:

Рисунок 1 - Интерфейс программы

Величину среднеквадратической ошибки примем равной 0,05. Функции активации слоев для простоты работы с ними примем сигмоидные.

В процессе исследования ИНС мы выполним:

· поиск наиболее оптимальных ALFA для каждого слоя при постоянном шаге обучения и непосредственно само обучение;

· прогнозирование на базе результатов обучения с постоянным шагом обучения;

· обучение ИНС с помощь адаптивного шага обучения;

· прогнозирование на базе результатов обучения с адаптивным шагом обучения.

Также мы произведем изменение количества входов и проверим реакцию ИНС данные действия.

1. Обучение ИНС с использованием постоянного шага обучения

Обучение будем производить путем поэтапного изменения величины ALFA для каждого слоя с шагом 0,05. Наиболее оптимальными будут те ALFA, при которых количество шагов обучения (по 30 итераций) будет минимальным.

В следствии того, что нам необходимо менять ALFA для каждого слоя в отдельности, построение графиков зависимости количества шагов обучения от ALFA становится затруднительным. Приведем результат поиска оптимальных ALFA:

ALFA_1 = 0.45 - ALFA для первого слоя

ALFA_2 = 0.50 - ALFA для второго слоя

ALFA_3 = 0.45 - ALFA для третьего слоя

N = 3 - Кол-во шагов обучения

При данных ALFA произведем обучение ИНС:

№ шага

Yрасч.

Yэтал

E

1

0.202811

0.201410

0.001402

2

0.201563

0.201541

0.000022

3

0.201611

0.201670

-0.000059

4

0.201734

0.201797

-0.000063

5

0.201861

0.201923

-0.000062

6

0.201985

0.202047

-0.000061

7

0.202108

0.202169

-0.000060

8

0.202230

0.202289

-0.000059

9

0.202349

0.202407

-0.000058

10

0.202466

0.202524

-0.000057

11

0.202582

0.202638

-0.000056

12

0.202696

0.202751

-0.000055

13

0.202808

0.202862

-0.000054

14

0.202918

0.202971

-0.000053

15

0.203026

0.203079

-0.000052

16

0.203133

0.203184

-0.000051

17

0.203237

0.203288

-0.000051

18

0.203340

0.203390

-0.000050

19

0.203441

0.203490

-0.000049

20

0.203541

0.203588

-0.000048

21

0.203638

0.203684

-0.000047

22

0.203733

0.203779

-0.000046

23

0.203827

0.203872

-0.000045

24

0.203919

0.203963

-0.000044

25

0.204009

0.204052

-0.000043

26

0.204097

0.204139

-0.000042

27

0.204184

0.204224

-0.000041

28

0.204268

0.204308

-0.000040

29

0.204351

0.204389

-0.000039

30

0.204432

0.204469

-0.000038

E = 0.00000011859

Далее проведем прогнозирование на основании полученных результатов обучения:

№ шага

Yрасч.

Yэтал

E

1

0.204511

0.204547

-0.000037

2

0.204553

0.204624

-0.000070

3

0.204595

0.204698

-0.000103

4

0.204635

0.204770

-0.000135

5

0.204675

0.204841

-0.000166

6

0.204714

0.204910

-0.000196

7

0.204752

0.204977

-0.000225

8

0.204789

0.205042

-0.000253

9

0.204825

0.205105

-0.000280

10

0.204860

0.205167

-0.000307

11

0.204894

0.205226

-0.000332

12

0.204927

0.205284

-0.000356

13

0.204960

0.205340

-0.000380

14

0.204991

0.205394

-0.000402

15

0.205022

0.205446

-0.000424

E=0.00000026073

Приведем график зависимости величины ошибки от шага обучения:

График зависимости ошибки от шага

2. Обучение ИНС с использованием адаптивного шага обучения

Для достижения заданной точности оказалось достаточно 2 шага обучения (по 30 итераций). При этом на последнем шаге были получены следующие значения ALFA:

ALFA_1 = 0.57891 - ALFA для первого слоя

ALFA_2 = 0.02568 - ALFA для второго слоя

ALFA_3 = 0.40045 - ALFA для третьего слоя

Результат последнего шага обучения приведен ниже:

№ шага

Yрасч.

Yэтал

E

1

0.124568

0.205843

-0.081275

2

0.205849

0.205411

0.000439

3

0.205413

0.204793

0.000620

4

0.204794

0.203991

0.000803

5

0.203991

0.203006

0.000986

6

0.203005

0.201838

0.001167

7

0.201836

0.200488

0.001348

8

0.200485

0.198958

0.001527

9

0.198953

0.197249

0.001705

10

0.197243

0.195362

0.001881

11

0.195355

0.193299

0.002056

12

0.193291

0.191063

0.002228

13

0.191053

0.188654

0.002399

14

0.188643

0.186076

0.002567

15

0.186063

0.183330

0.002733

16

0.183316

0.180420

0.002896

17

0.180404

0.177347

0.003057

18

0.177329

0.174114

0.003215

19

0.174094

0.170725

0.003370

20

0.170703

0.167182

0.003521

21

0.167158

0.163488

0.003669

22

0.163462

0.159648

0.003814

23

0.159619

0.155664

0.003955

24

0.155632

0.151539

0.004093

25

0.151504

0.147279

0.004226

26

0.147241

0.142885

0.004355

27

0.142844

0.138364

0.004480

28

0.138318

0.133717

0.004601

29

0.133667

0.128951

0.004717

30

0.128896

0.124068

0.004828

E=0.00023145

Далее проведем прогнозирование на основании полученных результатов обучения:

№ шага

Yрасч.

Yэтал

E

1

0.124008

0.119074

0.004935

2

0.123943

0.113972

0.009971

3

0.123871

0.108768

0.015103

4

0.123792

0.103466

0.020326

5

0.123706

0.098071

0.025635

6

0.123610

0.092588

0.031022

7

0.123505

0.087021

0.036484

8

0.123389

0.081376

0.042013

9

0.123261

0.075658

0.047604

10

0.123121

0.069871

0.053249

11

0.122966

0.064022

0.058944

12

0.122795

0.058115

0.064680

13

0.122607

0.052156

0.070451

14

0.122400

0.046150

0.076250

15

0.122172

0.040103

0.082069

E=0.0189632

Приведем график зависимости величины ошибки от шага обучения:

График зависимости ошибки от шага

3. Исследование поведения системы в зависимости от количества входов при постоянном шаге обучения

программа обучение прогнозирование трехслойный

Проведем исследование поведения системы 6±4 входа. Будем проводить обучение для 2, 6 и 10 входовых ИНС, прогнозирование. По результатам исследования построим графики зависимости ошибки от количества входов.

1. Количество входов равно 6 - см. раздел 1.

2. Количество входов равно 2.

Процесс обучения:

№ шага

Yрасч.

Yэтал

E

1

0.203088

0.200868

0.002221

2

0.201210

0.201006

0.000204

3

0.201076

0.201142

-0.000066

4

0.201176

0.201277

-0.000101

5

0.201305

0.201410

-0.000105

6

0.201437

0.201541

-0.000104

7

0.201568

0.201670

-0.000102

8

0.201697

0.201797

-0.000101

9

0.201824

0.201923

-0.000099

10

0.201949

0.202047

-0.000098

11

0.202072

0.202169

-0.000096

12

0.202194

0.202289

-0.000095

13

0.202314

0.202407

-0.000093

14

0.202432

0.202524

-0.000092

15

0.202548

0.202638

-0.000091

16

0.202662

0.202751

-0.000089

17

0.202775

0.202862

-0.000088

18

0.202885

0.202971

-0.000086

19

0.202994

0.203079

-0.000085

20

0.203101

0.203184

-0.000083

21

0.203206

0.203288

-0.000082

22

0.203310

0.203390

-0.000080

23

0.203411

0.203490

-0.000079

24

0.203511

0.203588

-0.000077

25

0.203609

0.203684

-0.000076

26

0.203705

0.203779

-0.000074

27

0.203799

0.203872

-0.000073

28

0.203891

0.203963

-0.000071

29

0.203982

0.204052

-0.000070

30

0.204071

0.204139

-0.000068

E=0,0000762556

Прогнозирование на основании полученных результатов обучения:

№ шага

Yрасч.

Yэтал

E

1

0.204157

0.204224

-0.000067

2

0.204185

0.204308

-0.000123

3

0.204211

0.204389

-0.000178

4

0.204237

0.204469

-0.000232

5

0.204262

0.204547

-0.000285

6

0.204287

0.204624

-0.000336

7

0.204312

0.204698

-0.000386

8

0.204335

0.204770

-0.000435

9

0.204358

0.204841

-0.000482

10

0.204381

0.204910

-0.000529

11

0.204403

0.204977

-0.000574

12

0.204425

0.205042

-0.000617

13

0.204446

0.205105

-0.000659

14

0.204466

0.205167

-0.000700

15

0.204486

0.205226

-0.000740

E=0.00000166694

3. Количество входов равно 10.

Процесс обучения:

№ шага

Yрасч.

Yэтал

E

1

0.203332

0.200442

0.002891

2

0.200981

0.200586

0.000396

3

0.200678

0.200727

-0.000050

4

0.200740

0.200868

-0.000128

5

0.200866

0.201006

-0.000140

6

0.201001

0.201142

-0.000141

7

0.201137

0.201277

-0.000139

8

0.201272

0.201410

-0.000138

9

0.201405

0.201541

-0.000136

10

0.201536

0.201670

-0.000134

11

0.201665

0.201797

-0.000132

12

0.201793

0.201923

-0.000130

13

0.201919

0.202047

-0.000128

14

0.202042

0.202169

-0.000126

15

0.202164

0.202289

-0.000124

16

0.202285

0.202407

-0.000123

17

0.202403

0.202524

-0.000121

18

0.202520

0.202638

-0.000119

19

0.202634

0.202751

-0.000117

20

0.202747

0.202862

-0.000115

21

0.202858

0.202971

-0.000113

22

0.202968

0.203079

-0.000111

23

0.203075

0.203184

-0.000109

24

0.203181

0.203288

-0.000107

25

0.203284

0.203390

-0.000105

26

0.203386

0.203490

-0.000104

27

0.203486

0.203588

-0.000102

28

0.203585

0.203684

-0.000100

29

0.203681

0.203779

-0.000098

30

0.203776

0.203872

-0.000096

E=0, 000004

Прогнозирование на основании полученных результатов обучения:

№ шага

Yрасч.

Yэтал

E

1

0.203869

0.203963

-0.000094

2

0.203882

0.204052

-0.000169

3

0.203896

0.204139

-0.000243

4

0.203909

0.204224

-0.000315

5

0.203922

0.204308

-0.000386

6

0.203934

0.204389

-0.000455

7

0.203947

0.204469

-0.000523

8

0.203959

0.204547

-0.000589

9

0.203971

0.204624

-0.000653

10

0.203982

0.204698

-0.000716

11

0.203993

0.204770

-0.000777

12

0.204004

0.204841

-0.000837

13

0.204015

0.204910

-0.000895

14

0.204025

0.204977

-0.000951

15

0.204036

0.205042

-0.001006

E=0.00000306659

Получили зависимость среднеквадратической ошибки при прогнозировании от количества входов сети. Построим график зависимости:

График зависимости ошибки от количества входов при постоянном шаге обучения

4. Исследование поведения системы в зависимости от количества входов при адаптивном шаге обучения

Проведем исследование поведения системы 6±4 входа. Будем проводить обучение для 2, 6 и 10 входовых ИНС, прогнозирование. По результатам исследования построим графики зависимости ошибки от количества входов.

1. Количество входов равно 6 - см. раздел 2.

2. Количество входов равно 2.

Процесс обучения:

№ шага

Yрасч.

Yэтал

E

1

0.203819

0.200868

0.002952

2

0.200876

0.201006

-0.000130

3

0.201019

0.201142

-0.000123

4

0.201156

0.201277

-0.000121

5

0.201290

0.201410

-0.000120

6

0.201423

0.201541

-0.000118

7

0.201554

0.201670

-0.000116

8

0.201683

0.201797

-0.000115

9

0.201810

0.201923

-0.000113

10

0.201935

0.202047

-0.000112

11

0.202059

0.202169

-0.000110

12

0.202181

0.202289

-0.000108

13

0.202301

0.202407

-0.000107

14

0.202419

0.202524

-0.000105

15

0.202535

0.202638

-0.000103

16

0.202649

0.202751

-0.000102

17

0.202762

0.202862

-0.000100

18

0.202873

0.202971

-0.000098

19

0.202982

0.203079

-0.000097

20

0.203089

0.203184

-0.000095

21

0.203195

0.203288

-0.000093

22

0.203298

0.203390

-0.000092

23

0.203400

0.203490

-0.000090

24

0.203500

0.203588

-0.000088

25

0.203598

0.203684

-0.000087

26

0.203694

0.203779

-0.000085

27

0.203788

0.203872

-0.000083

28

0.203881

0.203963

-0.000082

29

0.203972

0.204052

-0.000080

30

0.204060

0.204139

-0.000079

E=0.000005

Прогнозирование на основании полученных результатов обучения:

№ шага

Yрасч.

Yэтал

E

1

0.204147

0.204224

-0.000077

2

0.204156

0.204308

-0.000152

3

0.204164

0.204389

-0.000226

4

0.204172

0.204469

-0.000298

5

0.204179

0.204547

-0.000368

6

0.204187

0.204624

-0.000437

7

0.204194

0.204698

-0.000504

8

0.204201

0.204770

-0.000569

9

0.204208

0.204841

-0.000633

10

0.204215

0.204910

-0.000695

11

0.204222

0.204977

-0.000755

12

0.204228

0.205042

-0.000813

13

0.204235

0.205105

-0.000870

14

0.204241

0.205167

-0.000926

15

0.204247

0.205226

-0.000979

E=0.00000287983

3. Количество входов равно 10.

Процесс обучения:

№ шага

Yрасч.

Yэтал

E

1

0.202954

0.200442

0.002512

2

0.200444

0.200586

-0.000141

3

0.200625

0.200727

-0.000102

4

0.200766

0.200868

-0.000101

5

0.200906

0.201006

-0.000100

6

0.201044

0.201142

-0.000099

7

0.201180

0.201277

-0.000097

8

0.201314

0.201410

-0.000096

9

0.201446

0.201541

-0.000095

10

0.201577

0.201670

-0.000093

11

0.201705

0.201797

-0.000092

12

0.201832

0.201923

-0.000091

13

0.201957

0.202047

-0.000089

14

0.202081

0.202169

-0.000088

15

0.202202

0.202289

-0.000087

16

0.202322

0.202407

-0.000085

17

0.202440

0.202524

-0.000084

18

0.202556

0.202638

-0.000083

19

0.202670

0.202751

-0.000081

20

0.202782

0.202862

-0.000080

21

0.202893

0.202971

-0.000079

22

0.203001

0.203079

-0.000077

23

0.203108

0.203184

-0.000076

24

0.203213

0.203288

-0.000075

25

0.203316

0.203390

-0.000073

26

0.203418

0.203490

-0.000072

27

0.203517

0.203588

-0.000071

28

0.203615

0.203684

-0.000069

29

0.203711

0.203779

-0.000068

30

0.203805

0.203872

-0.000067

E=0,000003

Прогнозирование на основании полученных результатов обучения:

№ шага

Yрасч.

Yэтал

E

1

0.203897

0.203963

-0.000065

2

0.203921

0.204052

-0.000130

3

0.203945

0.204139

-0.000194

4

0.203968

0.204224

-0.000257

5

0.203990

0.204308

-0.000317

6

0.204012

0.204389

-0.000377

7

0.204034

0.204469

-0.000435

8

0.204055

0.204547

-0.000492

9

0.204076

0.204624

-0.000548

10

0.204096

0.204698

-0.000602

11

0.204116

0.204770

-0.000655

12

0.204135

0.204841

-0.000706

13

0.204154

0.204910

-0.000756

14

0.204172

0.204977

-0.000805

15

0.204190

0.205042

-0.000852

E=0.00000216793

Получили зависимость среднеквадратической ошибки при прогнозировании от количества входов сети. Построим график зависимости:

Заключение

В ходе проведения контрольной работы было установлено:

· 3-слойная нейронная сеть во многом похожа на 2-слойную (способы обучения аналогичны, отличаются лишь особенностями реализации);

· 3-слойная нейронная сеть является более точной по сравнению с 2-слойной (если сравнивать результаты лабораторной работы №2, то видно, что 3-слойная ИНС обладает большей скоростью обучения, большей точностью);

· в 3-слойных ИНС в процессе обучения наблюдается «эффект уточнения» - на каждом последующем шаге величина среднеквадратической ошибки уменьшается;

· в ходе работы было рассмотрено влияние изменения количества входов на точность ИНС и построены графики зависимости. При анализе данных графиков можно предположить, что данная точность не максимальна и путем увеличения количества входов точность можно увеличить. Однако из графика также видно, что при добавлении очередного количества входов эффект от них гораздо меньше, чем от предыдущих. В соответствии с этим встает вопрос о целесообразности наращивания количества входов.

· как и в 1- и 2-слойных ИНС, адаптивный шаг обучения является более эффективным по скорости получения результата (3 шага - при обучении с постоянным шагом, 2 шага - при обучении с адаптивным шагом), но мене точным (E=0,00000026073 - при обучении с постоянным шагом; E=0,0189632 - при обучении с адаптивным шагом).

Размещено на Allbest.ru


Подобные документы

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.