Теорія інформації та кодування

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Національний технічний університет України

«Київський політехнічний інститут»

Кафедра електронних приладів та пристроїв

Розрахункова робота

по курсу: «Теорія інформації та кодування»

Виконав:

Студент гр. ДЕ81

Соверченко Д.В.

Київ 2011



Завдання 1

У алфавіті використовуються чотири букви: А, В, С, D

а) Скласти максимальну кількість повідомлень, комбінуючи по чотири букви у повідомленні

б) Яка кількість інформації припадає на один елемент таких повідомлень?

в) Чому дорівнює кількість інформації на символ первинного алфавіту?

Розв'язання

а)

№	1	2	3	4	5	6	7	8
1	АААA	BAAA	CAAA	DAAA	ABDC	BBDC	CBDC	DBDC
2	AAAB	BAAB	CAAB	DAAB	ABDD	BBDD	CBDD	DBDD
3	AAAC	BAAC	CAAC	DAAC	ACAB	BCAB	CCAB	DCAB
4	AAAD	BAAD	CAAD	DAAD	ACAC	BCAC	CCAC	DCAC
5	AABA	BABA	CABA	DABA	ACAD	BCAD	CCAD	DCAD
6	AACA	BACA	CACA	DACA	ACBA	BCBA	CCBA	DCBA
7	AADA	BADA	CADA	DADA	ACBB	BCBB	CCBB	DCBB
8	AABB	BABB	CABB	DABB	ACBC	BCBC	CCBC	DCBC
9	AABC	BABC	CABC	DABC	ACBD	BCBD	CCBD	DCBD
10	AABD	BABD	CABD	DABD	ACCA	BCCA	CCCA	DCCA
11	AACB	BACB	CACB	DACB	ACCB	BCCB	CCCB	DCCB
12	AACC	BACC	CACC	DACC	ACCC	BCCC	CCCC	DCCC
13	AACD	BACD	CACD	DACD	ACCD	BCCD	CCCD	DCCD
14	AADB	BADB	CADB	DADB	ACDA	BCDA	CCDA	DCDA
15	AADC	BADC	CADC	DADC	ACDB	BCDB	CCDB	DCDB
16	AADD	BADD	CADD	DADD	ACDC	BCDC	CCDC	DCDC
17	ABAA	BBAA	CBAA	DBAA	ACDD	BCDD	CCDD	DCDD
18	ACAA	BCAA	CCAA	DCAA	ADAB	BDAB	CDAB	DDAB
19	ADAA	BDAA	CDAA	DDAA	ADAC	BDAC	CDAC	DDAC
20	ABAB	BBAB	CBAB	DBAB	ADAD	BDAD	CDAD	DDAD
21	ABAC	BBAC	CBAC	DBAC	ADBA	BDBA	CDBA	DDBA
22	ABAD	BBAD	CBAD	DBAD	ADBB	BDBB	CDBB	DDBB
23	ABBA	BBBA	CBBA	DBBA	ADBC	BDBC	CDBC	DDBC
24	ABBB	BBBB	CBBB	DBBB	ADBD	BDBD	CDBA	DDBD
25	ABBC	BBBC	CBBC	DBBC	ADCA	BDCA	CDCA	DDCA
26	ABBD	BBBD	CBBD	DBBD	ADCB	BDCB	CDCB	DDCB
27	ABCA	BBCA	CBCA	DBCA	ADCC	BDCC	CDCC	DDCC
28	ABCB	BBCB	CBCB	DBCB	ADCD	BDCD	CDCD	DDCD
29	ABCC	BBCC	CBCC	DBCC	ADDA	BDDA	CDDA	DDDA
30	ABCD	BBCD	CBCD	DBCD	ADDB	BDDB	CDDB	DDDB
31	ABDA	BBDA	CBDA	DBDA	ADDC	BDDC	CDDC	DDDC
32	ABDB	BBDB	CBDB	DBDB	ADDD	BDDD	CDDD	DDDD

б)

в)

Завдання 2

Як визначити кількість інформації у одному повідомленні, якщо відомо максимально можлива кількість повідомлень N? Як визначити кількість інформації, якщо відома кількість якісних ознак, з яких складені повідомлення, а також відома кількість символів, у кожному повідомленні. Розрахувати при k = 128; m = 7.

Розв'язання

Завдання 3

Алфавіт складається з m літер: A, B, C, D.... Вірогідності появи чотирьох літер дорівнюють: p_A=0,5, р_B=0,25, р_C=0,10, p_D=0.1, p_E=0.05. Визначити кількість інформації на символ повідомлення, що складається з такого алфавіту. Номер 1 по списку - 4 літери, номер 2-5, номер 3 - 6...номер 9- 12, номер 13-4 літери алфавіту.

Розв'язання

Для варіанту 14 кожне повідомлення складається з 5 літер (m = 5):

Завдання 4

Число символів алфавіту m= 6. Визначити кількість інформації на символ повідомлення, що складається з цього алфавіту,

- якщо символи зустрічаються с рівними вірогідностями.

- якщо символи алфавіту зустрічаються у повідомленні з вірогідностями р₁=0.5, р₂=0.2, р₃=0,1 р₄=0.1, р₅=0.05,р₆=0,05.

Розв'язання

Завдання 5

Чому дорівнює кількість інформації при отриманні 10 повідомлень рівномірного чотири розрядного трійкового (з основою 3) коду?



Розв'язання

Ентропія на одне повідомлення

К-ть інформації в 10 повідомленнях:

Завдання 6

Повідомлення складені з рівно імовірного алфавіту, із змістом m=1024 якісних ознак. Чому дорівнює кількість символів у прийнятому повідомленні, якщо відомо, що воно містить I=110 біт інформації. Чому дорівнює повідомлення.

Розв'язання

Звідки

Завдання 7

Чому дорівнює ентропія системи, яка складається з k = 6 взаємозалежних підсистем, якщо: 1) кожна підсистема складається з n елементів, кожний з яких з рівною вірогідністю може знаходитися у m станах, 2) підсистема S складається з n₁ = 3 елементів, підсистема S₂ - з n₂ = 3 елементів і так далі, підсистема S_k - з n_к елементів, кожен з них може з рівною вірогідністю знаходитись у m станах, 3) кожна підсистема складається з різної кількості елементів, які з різною вірогідністю можуть знаходитись одному з станів.

Розв'язання

Знайдемо ентропію підсистеми:

Знайдемо ентропію окремих підсистем:

;

Загальна ентропія підсистеми рівна:

Ймовірності трьох елементів першої, другої та третьої підсистем становлять відповідно,,

Ентропія на 1 елемент:



Ентропія окремих підсистем:

, ,

Загальна ентропія дорівнює сумі ентропій підсистем:



Завдання 8

Визначити ентропію системи, складеної з двох підсистем. Перша підсистема складена з трьох елементів, кожен з яких може знаходитися у двох станах з ймовірностями р₁=0,1, р₂=0,9. Друга підсистема складена з двох елементів, кожен з яких може знаходитися у трьох станах з ймовірностями р₁=0,1, р₂=0,4, р₃=0,5.Оберіть ймовірності для другої підсистеми так, щоб їх сума була рівні одиниці.

Розв'язання

Завдання 9

Визначити ентропію повідомлення з 12 літер, якщо загальна кількість літер в алфавіті дорівнює 16 і всі повідомлення рівноймовірні:



Розв'язання

Завдання 10

Визначити диференційну ентропію неперервного повідомлення, розподіленого за нормальним законом , якщо його середня потужність в нормованих одиницях, дорівнює

Розв'язання

Завдання 11

Вимірювана величина x змінюється в межах від х₀ до х₀+b і розподілена за законом рівної ймовірності. Знайти диференційну ентропію величини х, якщо b дорівнює 28 нормованим одиницям. 

Розв'язання

Ентропія дорівнює:

Завдання 12

Джерело інформації генерує повідомлення з символів алфавіту {x_j}, і=1, m. Обчислити ентропію джерела, його надмірність за умови взаємної незалежності символів, якщо і=18, p - див. в обчисленнях, а також його продуктивність Rд= Н(х)/ф,де ф - тривалість елементарних повідомлень джерела: ф=15мс

Розв'язання

Ентропія

:

1) Надмірність джерела:

2) Продуктивність джерела:



Завдання 13

На вході мережі, що передає сигнали, рівень міцності дорівнює Р_вх= 220мВт, а на деякій відстані Р_вих=215мВт. Розрахувати послаблення сигналу у децибелах, що дорівнює:

L_дб= 10lg(Р_вих/Р_вх)

Розв'язання

Завдання 14

Показати, що фізичний об'єм телевізійного сигналу перевищує фізичний об'єм радіомовного сигналу при однаковій їх довжині у 540 раз. ?F_тв=6,5МГц,(7,0 МГц, 7,5МГц, 8,0МГц, 9,0МГц, 9,5МГц, 10МГц, 10,5МГц, 11МГц) Р_рв=?12кГц. Динамічні діапазони ТВ и РВ однакові.

Розв'язання

Завдання 15

Канал зв'язку з шириною енергетичного спектру ДF=40кГц використовується на протязі Т_к = 40с. У каналі діє білий шум рівномірною спектральною щільністю міцності G_ш=10^-4мВт/Гц. Знайти граничну міцність сигналу, який може бути переданим по такому каналу, якщо його фізичний об'єм V_К=10 000.

Розв'язання

По формулі для D_c знаходимо . Значення динамічного діапазону сигналу, як може бути переданим по даному каналу знайдемо, приймаючи до уваги співвідношення V_C<V_K, формулі для об'єму сигналу маємо:

Завдання 16

Амплітудно-модульований сигнал буде передаватись каналу, що має об'єм V_к=10 000.Знайти припустимий коефіцієнт глибини модуляції m, якщо смуга частот сигналу ДF_с=10кГц, а довжина Т_с=12с.

Розв'язання

Вважаючи, що заданий сигнал та канал узгоджені по смузі та тривалості, (чаc використання) знайдемо припустимий динамічний діапазон AM сигналу, який може передавати суттєвих перекручень по каналу з завданим об'ємом: D_C=V_K/T_C?F_C=0.083. Максимальна та мінімаль міцність AM сигналу за період модулювального сигналу може бути знайдена через значення коефіцієнта глибини модуляції: Р_макс=U_m²(1+m)², P_мин=U_m²(1-m)². Підставимо знайдені значення до виразу для динамічного діапазону D_c та отримаємо:

У нашому випадку D_c=0.083,

Завдання 17

Обчислити пропускну здатність неперервного каналу зв'язку, якщо середня потужність сигналу на вході приймача Р_с=30мкВт, а перешкодою є тепловий шум приймального пристрою зі смугою ДF= 70кГц. Приймач працює при температурі t°C = 20 °С. Т=293 К

Розв'язання

Потужність теплового шуму:

Пропускна спроможність:

Завдання 18

Фотоелектричний датчик перетворює дискретні відліки оптичного зображення на двійковий код, який переробляється у перешкодостійкий двійковий код. Область сканування зображення являє собою прямокутник X х Y, де (Х=45х10^-3 м,У=40х10^-3м), розмір скануючої апертури ДХ х ДУ= 65х65мкм². Діапазон змін вихідного сигналу датчика, що відповідає най яскравішим та найтемнішим ділянкам зображення є U_c= 0.4В. Ефективна величина шуму U_ш= 4мВ=4x10^-3В. Тривалість кадру Тк=6х10^-3с, б_с=0.7. Визначити максимальну смугу частот каналу зв'язку ДF_k необхідну для забезпечення передачі отриманого потоку інформації одержувачеві, питомі витрати енергії в_E при питомих витратах смуги пропускання в_?f = 0,5. Відлікові значення сигналу представити двійковим кодом з перевіркою на парність та манчестерським кодом.

Розв'язання

1) Кількість амплітудних градацій, що розрізняються в сигналі одного елемента зображення:

2) Кількість інформації, що знімається одним скануючим елементом з одного елемента зображення:

округлюємо

3) Кількість елементів, що розрізняються при скануванні по горизонталі N_x та по вертикалі N_y:



4) Кількість двійкових розрядів по Х та по У у кадрі:

5) Кількість елементів у кадрі:

6) Загальна кількість інформації у кадрі:

7) Швидкість передачі інформації за кадр:

8) Необхідна смуга частот каналу зв'язку:

9) Питомі витрати енергії сигналу при передачі 1 біту інформації через канал зв'язку:



Код	Перев. на парн.	Манч. Код
00000000	10000001	01010101010101
00000001	10001000	01010101010110

Завдання 19

Спектр каналу зв'язку простягається від F_н=22МГц до Fв=27МГц відношення сигналу до шуму q=SNR=26дБ. Знайти пропускну здатність каналу, та визначити, скільки для цього знадобиться рівнів сигналу.

Розв'язання

1) Полоса пропускання каналу зв'язку:

2)

3) Відношення сигнал-шум:;

4) Пропускна здатність каналу зв'язку:

5) К-ть дискретних рівнів сигналу (з ф-ли Найквіста):

6)



Завдання 20

Сигнал формується у вигляді двійкового коду з ймовірностями появи символів 1 і 0, які дорівнюють відповідно p(x₁)= 0,3, р(х₀)= 0,7.Появи символів взаємопов'язані умовними ймовірностями:р(х₀/х₀)= 0,2 ймовірність того, що після 0 йтиме 0,р(х₁/х₀)= 0,8 ймовірність того, що після 0 йтиме 1,р(х₁/х₁)= 0,3 ймовірність того, що після 1 йтиме 1,р(х₀/х₁)= 0,7 ймовірність того, що після 1 йтиме 0. Знайти ентропію.

Розв'язання

Завдання 21

Повідомлення передається у двійковому коді (m=2). Тривалість передачі нуля (0) , тривалість передачі одиниці (1) Д=100Ч10^-6. Знайти швидкість передачі інформації для випадків:

а) символи рівноймовірні та незалежні;

б) ймовірність появи символу 0 дорівнює р₀= 0,37, ймовірність появи символу 1 дорівнює

р₁= 0,63;

в) р₀= 0,2, р₁=0,8;

г) р₀= 0,02, р₁= 0,98



Розв'язання

а) Символи рівно ймовірні й незалежні:

б) Ймовірність появи

в) Ймовірність появи

г) Ймовірність появи

Завдання 22

Джерелом інформації є вимірювальний датчик випадкового процесу X, рівномірно розподіленого в межах від 0 до 256 нормованих одиниць. Визначити кількість інформації, яку отримують в результаті одного заміру значення цього випадкового процесу, якщо похибка вимірювання розподілена за нормальним законом і середнє квадратичне значення похибки

у = 4.

Розв'язання

Завдання 23

За методикою Шеннона-Фано закодувати оптимальним статистичним кодом ансамбль повідомлень джерела {хі} для передачі статистично незалежних повідомлень з 8 символів, якщо задані апріорні ймовірності їх появи на виході джерела р(хi) дорівнюють: р(х1)= 0.22, р(х2)= 0.18, р(х3)= 0.15, Р(х4)= 0,15, р(х5)= 0.1, р(х6)= 0.1, р(х7)= 0.05, р(х8)= 0.05, так що їх сума рівна одиниці. Визначити параметри коду.

Повідомлення	p(xi)	Кодування	Код. комб.	К-ть знаків	І(хі)
x1	0,22	11	11	2	2,184
x2	0,18	101	101	3	2,474
x3	0,15	100	100	3	2,737
x4	0,15	011	011	3	2,737
x5	0,1	010	010	3	3,322
x6	0,1	001	001	3	3,322
x7	0,05	0001	0001	4	4.322
x8	0,05	0000	0000	4	4.322

Середня довжина кодової комбінації:



При оптимальному двійковому кодуванні, з урахуванням ймовірності комбінації, ентропія:

У процесі роз'язання задачі завжди виконується умова: .

Коефіцієнт надлишковості абсолютний: .

Коефіцієнт надлишковості відносний: .

Завдання 24

Побудувати оптимальний код за методикою Хаффмена з n символів з ймовірностями

Знаки	Ймовір.	Допоміжні стовпчики
z1	0,30	0.30	0.30	0.40	0.60	1
z2	0,20	0,20	0.30	0.30	0.40
z3	0,15	0.20	0.20	0.30
z4	0,15	0,15	0.20
z5	0,10	0,15
z6	0,10



Кодове дерево

z1	10
z2	00
3	111
z4	110
z5	011
z6	010

Завдання 25

Повідомлення дискретного джерела кодуються рівномірним двійковим кодом і передаються симетричним каналом зв'язку з перешкодами. Визначити пропускну здатність каналу зв'язку за умови, що тривалість двійкових сигналів ф = 10мкс, середня ймовірність

.

Розв'язання

Пропускна здатність двійкового симетричного каналу обчислюється за формулою:



Завдання 26

Розробити код Хемінга з кількістю інформаційних символів k = 6, контрольних символів r = 4 та загальною довжиною кодової комбінації n = r + k = 10. Під час прийому коду Хемінга із каналу зв'язку мав місце одиничний збій у розряді, який треба визначити по прийнятій кодовій комбінації відраховуючи зліва направо. Знайти, виправити збій, записати вірний код Хемінга.

Розв'язання

Для 14 варіанту : 001110. Складаємо таблицю - контрольні суми коду Хемінга

n10	n9	n8	n7	n6	n5	n4	n3	n2	n1
0	1	r4	0	0	0	r3	0	r2	r1

	S4	S3	S2	S1
1	0	0	0	1
2	0	0	1	0
3	0	0	1	1
4	0	1	0	0
5	0	1	0	1
6	0	1	1	0
7	0	1	1	1
8	1	0	0	0
9	1	0	0	1
10	1	0	1	0



S1=n1+n3+n5+n7+n9=r1+0+0+0+1; r1=1
S2=n2+n3+n6+n7+n10=r2+0+0+0+0; r2=0
S3=n4+n5+n7+n6=r3+0+0+0; r3=0
S4=n8+n9+n10=r4+0+1; r4=1

Отримуємо код Хемінга:

n10	n9	n8	n7	n6	n5	n4	n3	n2	n1
0	1	1	0	0	0	0	0	0	1

Вносимо помилку в код Хемінга n10:

n10	n9	n8	n7	n6	n5	n4	n3	n2	n1
1	1	1	0	0	0	0	0	0	1

Визначаємо помилку

Завдання 27

Для підвищення перешкодостійкості електронної системи передачі дискретної інформації застосоване перешкодостійке блочне кодування кодовими комбінаціями довжиною n, які забезпечують виправлення g незалежних помилок у кожній комбінації при заданій ймовірності помилкового приймання одного розряду р_e Обчислити ймовірність помилкового приймання кодової комбінації при n= 11, g = 1, р_e= 10^-4



Розв'язання

Ймовірність помилкового приймання кодованої комбінації обчислюється за формулою:

при ймовірність виникнення некоректованих помилок:

оскільки

Завдання 28

У електронній системі передачі дискретної інформації застосоване перешкодостійке кодування з виправленням однократних помилок. Система працює з джерелом М повідомлень. Відоме максимальне значення ймовірності помилкового приймання одного повідомлення р_пом- Визначити допустиме значення ймовірності помилкового приймання символу ре, якщо М=24, p_пом = 10^-6

Розв'язання

1) Кількість інформаційних символів k у кодовій комбінації:



2) Кількість контрольних символів визначається з нерівності:

3) Допустима ймовірність помилкового приймання одного символу при

4) звідки

Завдання 29

Електронна система призначена для передачі дискретних повідомлень алфавіту М. Визначити значення допустимих ймовірностей помилок на один символ при роботі натуральним двійковим кодом і перешкодостійким блочним кодом,який виправляє однократні помилки, якщо відома ймовірність помилкового приймання кодової комбінації Рпом. Обчислити еквівалентний виграш у перешкодостійкості в перерахунку на один символ за таких числових значень М=1024,р_пом=10^-4

Розв'язання

інформація ентропія кодування децибела

1) Кількість інформаційних символів k у кодовій комбінації:



2) Кількість контрольних символів визначається з нерівності:

3) При натуральному двійковому кодуванні

4) Звідси ;

5) Користуючись ф-лою з попереднього завдання:

6) Еквівалентний виграш у перешкодостійкості:

Размещено на Allbest.ru