Главная База знаний "Allbest" Программирование, компьютеры и кибернетика Формула Шеннона. Единицы количества информации: вероятностный и объемный подходы

Формула Шеннона. Единицы количества информации: вероятностный и объемный подходы

Вычисление количества информации, приходящейся на один символ по формуле Шеннона. Изменения информационной энтропии в текстах экономического, естественнонаучного и литературного содержания. Максимальное количество информации на знак по формуле Хартли.

Рубрика Программирование, компьютеры и кибернетика
Вид лабораторная работа
Язык русский
Дата добавления 06.12.2013
Размер файла 28,2 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Министерство образования и науки Российской Федерации

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования

"Тихоокеанский государственный университет"

Кафедра "Экономическая кибернетика"

Специальность 080500.62 УБ "Бизнес-информатика"

Лабораторная работа №2

Формула шеннона. Единицы количества информации: вероятностный и объемный подходы

Выполнил: студент ФЭУ

Группы УБ(б)-31

2013 года обучения

Проверил:

Матафонова А.Н.

Хабаровск 2013 г.

План

1. Подсчитать количество информации, приходящейся на один символ, в тексте экономического содержания

2. Подсчитать количество информации, приходящейся на один символ, в тексте технического содержания

3. Подсчитать количество информации, приходящейся на один символ, в тексте исторического содержания

4. Подсчитать количество информации, приходящейся на один символ, в тексте естественнонаучного содержания

5. Подсчитать количество информации, приходящейся на один символ, в художественно-литературном тексте

1. Подсчитать количество информации, приходящейся на один символ, в тексте экономического содержания

Организационно-правовые формы предприятий в своей основе определяют форму их собственности, то есть, кому принадлежит предприятие, его основные фонды, оборотные средства, материальные и денежные ресурсы. В зависимости от формы собственности в России в настоящее время различают три основные формы предпринимательской деятельности: частную, коллективную и контрактную.

Указание: составьте таблицу, аналогичную таблице 1, определив вероятность каждого символа в тексте как отношение количества одинаковых символов каждого значения ко всему числу символов в тексте. Затем по формуле Шеннона подсчитайте количество информации, приходящейся на один символ.

i

Символ

Р(i)

i

Символ

P(i)

i

Символ

Р(i)

1

Пробел

0,117

13

М

0,024

26

Точка

0,005

2

О

0,095

14

П

0,024

27

Г

0,005

3

Е

0,084

15

Л

0,021

28

Ж

0,005

4

И

0,068

16

К

0,016

29

Ч

0,005

5

Т

0,068

17

У

0,016

30

Х

0,002

6

Н

0,065

18

Я

0,016

31

Ц

0,002

7

Р

0,065

19

Запятая

0,016

32

Щ

0.002

8

С

0,063

20

Ф

0,013

33

Тире

0,002

9

В

0,043

21

Ю

0.013

34

Двоеточие

0,002

10

А

0,038

22

Ь

0,010

35

Ё

0,000

11

Ы

0,030

23

Б

0,008

36

Ш

0,000

12

Д

0,024

24

З

0,008

37

Ъ

0,000

25

Й

0.008

38

Э

0,000

Таблица расчетов к первому заданию в текстовом редакторе Excel

I

Р(i)

log2Pi

Pi*log2Pi

i

1

0,117486339

-3,095419565

-0,3636695

43

2

0,095628415

-3,395928676

-0,3247473

35

3

0,084699454

-3,573466862

-0,3026707

31

4

0,068306011

-3,878321443

-0,2649127

25

5

0,068306011

-3,878321443

-0,2649127

25

6

0,06557377

-3,943416472

-0,2585847

24

7

0,06557377

-3,943416472

-0,2585847

24

8

0,06284153

-4,011587974

-0,2520943

23

9

0,043715847

-4,53951953

-0,1984489

16

10

0,038251366

-4,717856771

-0,1804645

14

11

0,030054645

-5,058893689

-0,1520433

11

12

0,024590164

-5,380821784

-0,1323153

9

13

0,024590164

-5,380821784

-0,1323153

9

14

0,024590164

-5,380821784

-0,1323153

9

15

0,021857923

-5,573466862

-0,1218244

8

16

0,016393443

-5,965784285

-0,0977997

6

17

0,016393443

-5,965784285

-0,0977997

6

18

0,016393443

-5,965784285

-0,0977997

6

19

0,016393443

-5,965784285

-0,0977997

6

20

0,013661202

-6,265344567

-0,0855921

5

21

0,013661202

-6,265344567

-0,0855921

5

22

0,010928962

-6,64385619

-0,0726105

4

23

0,008196721

-6,965784285

-0,0570966

3

24

0,008196721

-6,965784285

-0,0570966

3

25

0,008196721

-6,965784285

-0,0570966

3

26

0,005464481

-7,64385619

-0,0417697

2

27

0,005464481

-7,64385619

-0,0417697

2

28

0,005464481

-7,64385619

-0,0417697

2

29

0,005464481

-7,64385619

-0,0417697

2

30

0,00273224

-8,965784285

-0,0244967

1

31

0,00273224

-8,965784285

-0,0244967

1

32

0,00273224

-8,965784285

-0,0244967

1

33

0,00273224

-8,965784285

-0,0244967

1

34

0,00273224

-8,965784285

-0,0244967

1

?

1

-205,0914626

-4,4357491

367

Количество информации согласно формуле Шеннона, приходящейся на один символ, в данном тексте H=4.4357, Н ? 4,43 бита. Максимальное количество информации, которое могло бы приходиться на один знак в данном тексте, вычисляемое по формуле Хартли, H=log2 367, Н ? 8бит.

2. Подсчитать количество информации, приходящейся на один символ, в тексте технического содержания

информация шеннон символ хартли

Общая технологическая схема изготовления сплавного транзистора напоминает схему изготовления диода, за исключением того, что в полупроводниковую пластинку производят вплавление двух навесок примесей с двух сторон. Вырезанные из монокристалла германия или кремния пластинки шлифуют и травят до необходимой толщины.

i

Символ

Р(i)

i

Символ

P(i)

i

Символ

Р(i)

1

Пробел

0,118

13

П

0,028

25

Й

0,006

2

О

0,099

14

Д

0,025

26

Щ

0,006

3

И

0,086

15

К

0,025

27

Запятая

0,006

4

Н

0,067

16

Я

0,025

28

Точка

0,006

5

А

0,060

17

З

0,022

29

Ф

0,003

6

Е

0,060

18

У

0,022

30

Ш

0,003

7

Т

0,054

19

Г

0,019

31

Ё

0,000

8

Л

0,047

20

Х

0.019

32

Ж

0.000

9

В

0,044

21

Ч

0,009

33

Ц

0,000

10

С

0,041

22

Ы

0,009

34

Ъ

0,000

11

Р

0,035

23

Ю

0,009

35

Ь

0,000

12

М

0,028

24

Б

0.006

36

Э

0,000

Таблица расчетов ко второму заданию в текстовом редакторе Excel

I

Р(i)

log2Pi

Pi*log2Pi

i

1

0,11821086

-3,0831412

-0,3644608

37

2

0,09904153

-3,3364277

-0,3304449

31

3

0,08626198

-3,5395195

-0,305326

27

4

0,06709265

-3,8996951

-0,2616409

21

5

0,06070288

-4,0588937

-0,2463865

19

6

0,06070288

-4,0588937

-0,2463865

19

7

0,0543131

-4,2108968

-0,2287069

17

8

0,04792332

-4,4111954

-0,2113991

15

9

0,04472843

-4,5063527

-0,2015621

14

10

0,04153355

-4,6082323

-0,1913962

13

11

0,03514377

-4,8365013

-0,1699729

11

12

0,02875399

-5,1584294

-0,1483254

9

13

0,02875399

-5,1584294

-0,1483254

9

14

0,02555911

-5,3219281

-0,1360237

8

15

0,02555911

-5,3219281

-0,1360237

8

16

0,02555911

-5,3219281

-0,1360237

8

17

0,02236422

-5,5063527

-0,1231453

7

18

0,02236422

-5,5063527

-0,1231453

7

19

0,01916933

-5,7178568

-0,1096075

6

20

0,01916933

-5,7178568

-0,1096075

6

21

0,00958466

-6,7958593

-0,065136

3

22

0,00958466

-6,7958593

-0,065136

3

23

0,00958466

-6,7958593

-0,065136

3

24

0,00638978

-7,3808218

-0,0471618

2

25

0,00638978

-7,3808218

-0,0471618

2

26

0,00638978

-7,3808218

-0,0471618

2

27

0,00638978

-7,3808218

-0,0471618

2

28

0,00638978

-7,3808218

-0,0471618

2

29

0,00319489

-8,3808218

-0,0267758

1

30

0,00319489

-8,3808218

-0,0267758

1

?

1

-167,95804

-4,4034034

313

Количество информации согласно формуле Шеннона, приходящейся на один символ, в данном тексте H=4.4034, Н ? 4,40 бита. Максимальное количество информации, которое могло бы приходиться на один знак в данном тексте, вычисляемое по формуле Хартли, H=log2 313, Н ? 8бит.

3. Подсчитать количество информации, приходящейся на один символ, в тексте исторического содержания

С конца пятнадцатого столетия в судьбах Восточной Европы совершается переворот глубокого исторического значения. На сцену истории Европы выступает новая крупная политическая сила - Московское государство. Объединив под своей властью всю северо-восточную Русь, Москва напряженно работает над закреплением добытых политических результатов и во внутренних, и во внешних отношениях.

i

Символ

Р(i)

i

Символ

P(i)

i

Символ

Р(i)

1

Пробел

0,121

13

У

0,026

25

Ц

0,007

2

О

0,111

14

Я

0,023

26

Ш

0,007

3

Е

0,071

15

Л

0,021

27

Ю

0,007

4

С

0,066

16

Д

0,018

28

Точка

0,007

5

Н

0,060

17

Х

0,015

29

Й

0,005

6

Т

0,060

18

Ч

0,015

30

Тире

0,005

7

В

0,058

19

Б

0,013

31

Запятая

0,005

8

А

0,055

20

Г

0.013

32

Ж

0,002

9

И

0,055

21

Ы

0,013

33

Ъ

0.002

10

Р

0,042

22

Ь

0,010

34

Ё

0,000

11

П

0,029

23

З

0,007

35

Ф

0,000

12

К

0,026

24

М

0.007

36

Щ

0,000

37

Э

0,000

Таблица расчетов к третьему заданию в текстовом редакторе Excel

I

Р(i)

log2Pi

Pi*log2Pi

i

1

0,12169312

-3,046921

-0,3707893

46

2

0,11111111

-3,1713684

-0,3523743

42

3

0,07142857

-3,8160372

-0,2725741

27

4

0,06613757

-3,9213902

-0,2593512

25

5

0,06084656

-4,0588937

-0,2469697

23

6

0,06084656

-4,0588937

-0,2469697

23

7

0,05820106

-4,1078033

-0,2390785

22

8

0,05555556

-4,1844246

-0,232468

21

9

0,05555556

-4,1844246

-0,232468

21

10

0,04232804

-4,5734669

-0,1935859

16

11

0,02910053

-5,1078033

-0,1486398

11

12

0,02645503

-5,2653446

-0,1392948

10

13

0,02645503

-5,2653446

-0,1392948

10

14

0,02380952

-5,4422223

-0,1295767

9

15

0,02116402

-5,5734669

-0,117957

8

16

0,01851852

-5,7958593

-0,1073307

7

17

0,01587302

-6,0588937

-0,0961729

6

18

0,01587302

-6,0588937

-0,0961729

6

19

0,01322751

-6,2653446

-0,0828749

5

20

0,01322751

-6,2653446

-0,0828749

5

21

0,01322751

-6,2653446

-0,0828749

5

22

0,01058201

-6,6438562

-0,0703054

4

23

0,00793651

-7,1584294

-0,0568129

3

24

0,00793651

-7,1584294

-0,0568129

3

25

0,00793651

-7,1584294

-0,0568129

3

26

0,00793651

-7,1584294

-0,0568129

3

27

0,00793651

-7,1584294

-0,0568129

3

28

0,00793651

-7,1584294

-0,0568129

3

29

0,00529101

-7,6438562

-0,0404437

2

30

0,00529101

-7,6438562

-0,0404437

2

31

0,00529101

-7,6438562

-0,0404437

2

32

0,0026455

-8,9657843

-0,023719

1

33

0,0026455

-8,9657843

-0,023719

1

?

1

-192,94505

-4,4496453

378

Количество информации согласно формуле Шеннона, приходящейся на один символ, в данном тексте H=4.4496, Н ? 4,44 бита. Максимальное количество информации, которое могло бы приходиться на один знак в данном тексте, вычисляемое по формуле Хартли, H=log2 378, Н ? 8бит.

4. Подсчитать количество информации, приходящейся на один символ, в тексте естественнонаучного содержания

Новые данные о физиологической потребности организма человека в пищевых веществах и энергии, а также выяснение закономерностей ассимиляции пищи в условиях нарушенного болезнью обмена веществ на всех этапах метаболического конвейера позволили максимально сбалансировать химический состав диет и их энергетическую ценность.

i

Символ

Р(i)

i

Символ

P(i)

i

Символ

Р(i)

1

Пробел

0,119

13

Р

0,025

25

Э

0,009

2

Е

0,097

14

Х

0,021

26

Я

0,009

3

И

0,090

15

Г

0,018

27

Д

0,006

4

О

0,084

16

Б

0,015

28

Ц

0,006

5

А

0,068

17

З

0,015

29

Ю

0,006

6

Н

0,068

18

П

0,015

30

Ж

0,003

7

С

0,059

19

Ч

0,015

31

Ф

0.003

8

В

0,050

20

Й

0.012

32

Ш

0,003

9

Т

0,040

21

Щ

0,012

33

Запятая

0,003

10

Л

0,031

22

Ы

0,012

34

Точка

0,003

11

К

0,028

23

Ь

0,012

35

Ё

0,000

12

М

0,025

24

У

0.009

36

Ъ

0,000

Таблица расчетов к четвертому заданию в текстовом редакторе Excel

I

Р(i)

log2Pi

Pi*log2Pi

i

1

0,11838006

-3,0831412

-0,3649825

38

2

0,09657321

-3,3808218

-0,3264968

31

3

0,09034268

-3,4739312

-0,3138443

29

4

0,08411215

-3,5734669

-0,300572

27

5

0,06853583

-3,8783214

-0,265804

22

6

0,06853583

-3,8783214

-0,265804

22

7

0,05919003

-4,0831412

-0,2416813

19

8

0,04984424

-4,3510744

-0,216876

16

9

0,04049844

-4,6438562

-0,1880689

13

10

0,03115265

-5,011588

-0,1561242

10

11

0,02803738

-5,1584294

-0,1446289

9

12

0,02492212

-5,3808218

-0,1341015

8

13

0,02492212

-5,3808218

-0,1341015

8

14

0,02180685

-5,5734669

-0,1215398

7

15

0,01869159

-5,7958593

-0,1083338

6

16

0,01557632

-6,0588937

-0,0943753

5

17

0,01557632

-6,0588937

-0,0943753

5

18

0,01557632

-6,0588937

-0,0943753

5

19

0,01557632

-6,0588937

-0,0943753

5

20

0,01246106

-6,3808218

-0,0795118

4

21

0,01246106

-6,3808218

-0,0795118

4

22

0,01246106

-6,3808218

-0,0795118

4

23

0,01246106

-6,3808218

-0,0795118

4

24

0,00934579

-6,7958593

-0,0635127

3

25

0,00934579

-6,7958593

-0,0635127

3

26

0,00934579

-6,7958593

-0,0635127

3

27

0,00623053

-7,3808218

-0,0459864

2

28

0,00623053

-7,3808218

-0,0459864

2

29

0,00623053

-7,3808218

-0,0459864

2

30

0,00311526

-8,3808218

-0,0261085

1

31

0,00311526

-8,3808218

-0,0261085

1

32

0,00311526

-8,3808218

-0,0261085

1

33

0,00311526

-8,3808218

-0,0261085

1

34

0,00311526

-8,3808218

-0,0261085

1

?

1

-200,84008

-4,4375474

321

Количество информации согласно формуле Шеннона, приходящейся на один символ, в данном тексте H=4.4375, Н ? 4,43 бита. Максимальное количество информации, которое могло бы приходиться на один знак в данном тексте, вычисляемое по формуле Хартли, H=log2 321, Н ? 8бит.

5. Подсчитать количество информации, приходящейся на один символ, в художественно-литературном тексте

С любопытством стал я рассматривать сборище. Пугачев на первом месте сидел, облокотясь на стол и подпирая черную бороду своим широким кулаком. Черты лица его, правильные и довольно приятные, не изъявляли ничего свирепого. Все обходились между собою как товарищи и не оказывали никакого особенного предпочтения своему предводителю.

i

Символ

Р(i)

i

Символ

P(i)

i

Символ

Р(i)

1

Пробел

0,142

13

Д

0,027

25

Запятая

0,009

2

О

0,111

14

К

0,027

26

З

0.006

3

И

0,077

15

М

0,027

27

Щ

0,006

4

Е

0,071

16

Б

0,021

28

Ш

0,003

5

С

0,052

17

Я

0,021

29

Ж

0,003

6

А

0,049

18

Г

0,018

30

Х

0,003

7

Р

0,046

19

У

0,018

31

Ц

0,003

8

В

0,043

20

Ч

0.015

32

Ъ

0,000

9

Л

0,043

21

Ы

0,015

33

Ё

0.000

10

Н

0,040

22

Ь

0,015

34

Й

0,000

11

Т

0,040

23

Ю

0,012

35

Ф

0,000

12

П

0,034

24

Точка

0,012

36

Э

0,000

Таблица расчетов к пятому заданию в текстовом редакторе Excel

I

Р(i)

log2Pi

Pi*log2Pi

i

1

0,13636364

-2,8783214

-0,3924984

45

2

0,10909091

-6,5195281

-0,7112212

36

3

0,07575758

-3,7369656

-0,2831035

25

4

0,06969697

-3,8572598

-0,2688393

23

5

0,05151515

-4,2933589

-0,221173

17

6

0,04848485

-4,3808218

-0,2124035

16

7

0,04545455

-4,4739312

-0,2033605

15

8

0,04242424

-4,5734669

-0,1940259

14

9

0,04242424

-4,5734669

-0,1940259

14

10

0,03939394

-4,6803821

-0,1843787

13

11

0,03939394

-4,6803821

-0,1843787

13

12

0,03333333

-4,9213902

-0,1640463

11

13

0,03030303

-5,0588937

-0,1532998

10

14

0,02727273

-5,2108968

-0,1421154

9

15

0,02727273

-5,2108968

-0,1421154

9

16

0,02121212

-5,5734669

-0,1182251

7

17

0,02121212

-5,5734669

-0,1182251

7

18

0,01818182

-5,7958593

-0,1053793

6

19

0,01818182

-5,7958593

-0,1053793

6

20

0,01515152

-6,0588937

-0,0918014

5

21

0,01515152

-6,0588937

-0,0918014

5

22

0,01515152

-6,0588937

-0,0918014

5

23

0,01212121

-6,3808218

-0,0773433

4

24

0,01212121

-6,3808218

-0,0773433

4

25

0,00909091

-6,7958593

-0,0617805

3

26

0,00606061

-7,3808218

-0,0447323

2

27

0,00606061

-7,3808218

-0,0447323

2

28

0,0030303

-8,3808218

-0,0253964

1

29

0,0030303

-8,3808218

-0,0253964

1

30

0,0030303

-8,3808218

-0,0253964

1

31

0,0030303

-8,3808218

-0,0253964

1

?

1

-177,80773

-4,7811157

330

Количество информации согласно формуле Шеннона, приходящейся на один символ, в данном тексте H=4.7811, Н ? 4,78 бита. Максимальное количество информации, которое могло бы приходиться на один знак в данном тексте, вычисляемое по формуле Хартли, H=log2 330, Н ? 8бит.

Размещено на Allbest.ru


Подобные документы

  • Количество информации

    Бит, неопределенность, количество информации и энтропия. Формула Шеннона. Формула Хартли. Логарифмы. Количество информации, получаемой в процессе сообщения. Взаимодействие источника и приемника информации. Количество, информационная емкость ячеек памяти.

    реферат [579,6 K], добавлен 17.07.2008

  • Понятие и свойства информации, ее виды

    Сущность термина "информация". Информация как соотношения между сообщением и его потребителем. Свойства информации: философский, кибернетический подход. Характеристика носителей информации. Единицы количества информации: вероятностный и объемный подходы.

    реферат [63,4 K], добавлен 27.03.2010

  • Основы теории информации

    Способы передачи и хранения информации наиболее надежными и экономными методами. Связь между вероятностью и информацией. Понятие меры количества информации. Энтропия и ее свойства. Формула для вычисления энтропии. Среднее количество информации.

    реферат [99,7 K], добавлен 19.08.2015

  • Математическая теория информации

    Механизм передачи информации, ее количество и критерии измерения. Единицы информации в зависимости от основания логарифма. Основные свойства и характеристики количества информации, ее энтропия. Определение энтропии, избыточности информационных сообщений.

    реферат [33,9 K], добавлен 10.08.2009

  • Математическая теория информации

    Количество информации и ее мера. Определение количества информации, содержащегося в сообщении из ансамбля сообщений источника. Свойства количества информации и энтропии сообщений. Избыточность, информационная характеристика источника дискретных сообщений.

    реферат [41,4 K], добавлен 08.08.2009

  • Вероятность и информация

    Понятие вероятности случайного события. Зависимость количества информации в сообщении о некотором событии от вероятности этого события. Формула Хартли, которая определяет зависимость количества информации в битах от количества равновероятных событий.

    презентация [1,4 M], добавлен 01.12.2015

  • Основы информатики

    Информация и ее свойства. Единицы измерения данных. Вероятностный и объемный подход к измерению количества информации, способы ее передачи. Рассмотрение поставщиков финансовой информации в Интернете; технологии финансовых инвестиций в компьютерной сети.

    контрольная работа [61,5 K], добавлен 08.06.2013

  • Понятие информации и сообщения

    Основные понятия теории информации как науки. Среднее количество информации, приходящееся на 1 знак определяемое формулой Шеннона. Общая схема передачи сообщения. Пропускная способность канала. Булева алгебра и техническая реализация процесса вычисления.

    презентация [365,8 K], добавлен 13.08.2013

  • Изменение информации

    Символьное и образное представление информации. Единицы ее измерения. Язык как способ символьного представления информации. Знак как элемент конечного множества. Алфавитный подход к измерению информации. Решение задач на определение ее количества.

    презентация [178,2 K], добавлен 12.12.2012

  • Количественная мера информации

    Основы теории передачи информации. Экспериментальное изучение количественных аспектов информации. Количество информации по Хартли и К. Шеннону. Частотные характеристики текстовых сообщений. Количество информации как мера снятой неопределенности.

    лабораторная работа [42,3 K], добавлен 15.02.2011

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.

© 2000 — 2023, ООО «Олбест» Все права защищены