Математичні моделі та характеристики дискретних сигналів

Математичні моделі та характеристики дискретних сигналів

1. Поняття дискретного сигналу

Уся множина точок містить у собі нескінченну кількість інформації, тому вона часто є малопридатна для сприйняття, аналізу та ефективного оброблення і потребує стиску первинної інформації без суттєвої втрати корисної інформації.

3 іншого боку, неідеальність та нестабільність характеристик апаратури та ліній зв'язку (середовища), у яких поширюється аналоговий сигнал, завжди супроводжується спотворенням його форми та втратою корисної інформації. Зменшення спотворень та часткове усунення вказаних втрат можна досягти перетворенням неперервного сигналу в дискретний у часі або на множині значень, що еквівалентно представленню його скінченою множиною точок. Таке перетворення сигналу полегшує зберігання та оброблення інформації, дає змогу збільшувати кількість сигналів, які поширюються по одному й тому ж каналу зв'язку (ущільнювати канали зв'язку), проводити стискання первинної інформації тощо.

У простішому випадку сигнал можна описати множиною його миттєвих значень у фіксовані моменти часу (рис. 1а). Такий процес перетворення аналогового сигналу називають дискретизацією, а миттєві значення дискретизованого сигналу - відліками.

На рис. 1а відліки позначені вертикальними стрілками, висота яких відповідає значенням відліків дискретизованого сигналу .

Заміна неперервної множини миттєвих значень сигналу множиною дискретних значень називають квантуванням (рис. 1б). З рисунка бачимо, що при квантуванні аналоговий сигнал змінюється меншим (або більшим) найближчим дискретним значенням з деякою похибкою, яку можна допустити. Віддаль між рівнями квантування називають інтервалом квантування.

Часто аналоговий сигнал одночасно дискретизують у часі і квантують за рівнем (рис. 1в). Таке перетворення сигналу забезпечують спеціальні пристрої - аналого-цифрові перетворювачі (АЦП). У цьому випадку перетворенний сигнал називають цифровим.

Рисунок 1 - Способи перетворення аналогового сигналу у дискретизований (а), квантований (б) та цифровий (в)

Можливість заміни аналогового сигналу дискретним та вибір способу такого перетворення залежить від спектрального складу або швидкості зміни в часі первинного аналогового сигналу, а також можливої похибки перетворення первинного сигналу у дискретний. Розглянемо ці питання детальніше.

2. Квантування неперервних сигналів за рівнем

Квантування сигналів за рівнем широко використовують у пристроях цифрового оброблення інформації, інформаційно-вимірювальних системах, системах автоматичного керування тощо.

При квантуванні сигналу за рівнем неперервна множина значень сигналу замінюється множиною дискретних значень. Маючи це на меті, у діапазоні неперервних значень сигналу вибирають скінченну кількість дискретних значень (дискретних рівнів) і в кожен момент часу значення сигналу замінюється найближчим дискретним значенням. Отже, унаслідок квантування неперервний аналоговий сигнал замінюється ступінчастою функцією . На практиці квантування здійснюється заміною значення сигналу найближчим меншим дискретним значенням, як показано на рис. 2а.

Рисунок 2 - (а) - заміна неперервного сигналу ступінчастою функцією із найближчим меншим значенням; (б) - характер зміни похибки квантування

Відстань між сусідніми дискретними рівнями називають кроком квантування або інтервалом квантування.

Якщо крок квантування незмінний, то квантування називають рівномірним. Рівномірне квантування найпоширеніше, тому що воно технічно реалізується достатньо просто. Оскільки при квантуванні миттєве значення сигналу замінюється найближчим дискретним значенням, то при цьому появляється методична похибка, яку прийнято називати шумом квантування. Очевидно, що похибка квантування має випадковий характер і її абсолютне значення у будь-який момент часу дорівнює різниці між квантованим значенням та миттєвим значенням сигналу :

. (1)

Ha рис. 2б показано характер зміни абсолютного значення похибки квантування при заміні дійсного миттєвого значення сигналу найближчим меншим дискретним значенням, звідки видно, що за такого способу квантування абсолютна похибка завжди від'ємна і лежить у межах .

Наявність методичної похибки означає, що суттєвою відмінністю процесу квантування за рівнем від дискретизації у часі є те, що після реалізації процесу квантування неперервний сигнал не можна відновити з похибкою, меншою за половину інтервалу квантування.

Закон розподілу похибки квантування як випадкової величини залежить від закону розподілу миттєвих значень сигналу . Приймемо, що при достатньо великій кількості рівнів квантування похибка квантування підлягає рівномірному законові розподілу ймовірностей, одновимірна густина розподілу якого зображена на рис. 3.

Рисунок 3 - Одновимірна густина розподілу ймовірностей похибки квантування

Отже, згідно з рис. 9 можна записати:

(2)

Математичне сподівання похибки квантування (момент першого порядку):

. (3)

Дисперсія похибки квантування (момент другого порядку):

. (4)

Середня квадратична похибка квантування:

. (5)

Як випливає з (5), середня квадратична похибка квантування зменшується із зменшенням інтервалу дискретизації, тобто із збільшенням кількості рівнів квантування.

Треба відзначити, що можливий інший спосіб квантування неперервного сигналу за рівнем, згідно з яким миттєве значення сигналу замінюється найближчим меншим або більшим дискретним значенням - залежно від того, котре з них ближче до миттєвого значення, як показано на рисунку 4а.

Характер зміни похибки для цього способу квантування зображено на рисунку 4б. Як видно з рис. 4б, похибка квантування змінюється у межах від до . Прийнявши, що закон розподілу ймовірностей цієї похибки теж є рівномірний, знаходимо, що її математичне очікування , дисперсія , середня квадратична похибка, як і в попередньому випадку, дорівнює .

Рисунок 4 - (а) - заміна неперервного сигналу ступінчастою функцією із найближчим значенням (меншим або більшим); (б) - характер зміни похибки квантування

Якщо інтервал дискретизації не є постійним, то квантування називають нерівномірним. Нерівномірне квантування застосовують тоді, коли відомо, що ймовірність розподілу миттєвих значень сигналу по шкалі рівнів неоднакова. При цьому ті значення сигналу , ймовірність появи яких велика, передаються з меншою похибкою квантування, а малоймовірні значення з більшою похибкою.

Отже, унаслідок нерівномірного квантування зменшується дисперсія похибки квантування.

3. Основні поняття про інформаційні моделі сигналів

Основним завданням радіоелектронних систем та пристроїв є передавання, приймання, перетворення та зберігання інформації, яка подана у вигляді електричних сигналів. Зрозуміло, що при цьому одним із найважливіших питань є питання про кількісну міру переданої інформації або про інформаційні моделі сигналів.

Раніше було сказано, що сигнал, прийнятий на приймальному пункті, несе нову інформацію для кореспондента лише в тому разі, коли є невизначеність щодо стану джерела інформації, тобто коли кореспондент не знає точно про конкретний стан джерела інформації. Тому питання про кількість прийнятої інформації безпосередньо пов'язане з мірою невизначеності щодо переданого повідомлення.

Наприклад, якщо при багаторазовому прийманні сигналу від конкретного джерела отримуємо однаковий результат (тобто невизначеність відсутня), то кореспондент (спостерігач) знатиме наперед результат такого досліду і не отримає ніякої нової інформації.

Якщо ж під час приймання сигналу можливі два різні рівноймовірні результати, то в цьому разі кореспондент кожен раз може отримати результат, який йому заздалегідь невідомий, тобто сигнал містить певну інформацію. Очевидно, що чим більше різних рівноймовірних значень можна отримати під час приймання сигналу, тим більшу кількість інформації містить цей сигнал.

Розглянемо більш загальний випадок, коли джерело інформації може передавати незалежні й несумісні повідомлення з імовірностями, які дорівнюють відповідно . Очевидно, що чим менша апріорна ймовірність появи конкретного повідомлення, тим більшу кількість інформації воно несе. Отже, звідси випливає, що за кількісну міру інформації, яку несе конкретне повідомлення , доцільно прийняти величину, обернену апріорній імовірності появи цього повідомлення, тобто .

Ha практиці прийнято зручнішу логарифмічну міру кількості інформації, яка міститься у повідомленні :

. (6)

Із (6) бачимо, що при значенні ймовірності появи повідомлення , яке дорівнює одиниці, кількість інформації, що її несе це повідомлення, дорівнює нулеві. Вираз (6) одночасно характеризує також апріорну невизначеність повідомлення , і тому його можемо використати і для кількісної оцінки невизначеності, яку називають частинною ентропією:

. (7)

Зауважимо, що термін "ентропія" у термодинаміці характеризує середню невизначеність стану системи молекул речовини. Залежно від вибору основи логарифму а у виразах (6) та (7) отримуємо різні одиниці вимірювання кількості інформації та ентропії. Так, при використанні десяткових логарифмів (a = 10) кількість інформації та ентропії визначають у дітах, при використанні двійкових логарифмів (a = 2) - у бітах, а при використанні натуральних логарифмів (а = е = 2,718281828) - у нітах. Оскільки пристрої цифрового оброблення інформації та електронно-обчислювальні машини використовують двійкову систему числення, то найпоширенішими є двійкові одиниці вимірювання кількості інформації - біти.

Середню (на одне повідомлення) кількість інформації та ентропії для усієї сукупності {x} випадкових повідомлень , апріорні ймовірності появи яких відповідно дорівнюють , можемо визначити за формулою:

(8)

. (9)

Зауважимо, що не зважаючи на збіг виразів (8) та (9), кількість інформації та ентропія принципово відрізняються між собою. Так, ентропія є об'єктивною характеристикою джерела повідомлення, і вона може бути апріорно розрахована (тобто до отримання повідомлення), якщо відомі статистичні характеристики повідомлень.

Характеристика є апріорна, тобто така, яка визначає кількість інформації, отриманої під час прийняття повідомлень. Іншими словами, ентропія - це міра нестачі інформації про стан джерела повідомлень. Очевидно, що у процесі надходження повідомлень про стан джерела його ентропія зменшується.

Із (9) випливає, що у разі, коли повідомлень є рівноймовірними (тобто ймовірність появи кожного повідомлення дорівнює ), то середня кількість інформації, яку несе одне повідомлення, дорівнює:

. (10)

Наприклад, якщо користуватися алфавітом, що складається з 32 букв, і посилати рівномірні повідомлення з п'яти літер, то загальна кількість п'ятилітерних повідомлень дорівнює кількості розміщень із 32 по 5, тобто . Отже, одне повідомлення несе в середньому біт інформації.

Із викладеного раніше зрозуміло, що формула (10) описує ентропію дискретних повідомлень. Аналіз показує, що ентропія дискретних повідомлень має такі основні властивості:

1. Оскільки ймовірності появи окремих повідомлень є невід'ємними і лежать у проміжку , то ентропія є величина дійсна, додатна і обмежена.

2. Ентропія детермінованих повідомлень дорівнює нулеві.

3. Ентропія рівномірних повідомлень максимальна і дорівнює , причому вона зростає з ростом кількості повідомлень.

4. Якщо два повідомлення є альтернативними, тобто вони мають властивість: , то ентропія може змінюватися у межах від нуля до одиниці (у двійкових одиницях).

Справді, у цьому випадку ентропія дорівнює:

. (11)

Із (11) випливає, що ентропія дорівнює нулеві за умов:

а) , ;

б) , . (12)

Якщо обидва повідомлення є рівномірними (тобто ), то ентропія набирає максимального значення, яке дорівнює одиниці:

біт.

Неперервне повідомлення можемо розглядати як випадкову величину, котра характеризується одновимірною густиною розподілу ймовірності (рис. 5).

Замінимо функцію ступінчастою (рис. 5) так, щоб усередині кожної ділянки дотримувалася умова:

. (13)

Рисунок 5 - Одновимірна густина розподілу ймовірностей неперервного повідомлення

Вираз (13) описує ймовірність потрапляння випадкової величини в інтервал при зміні неперервного повідомлення дискретним. Очевидно, що така заміна буде точніша, чим меншими будуть інтервали .

Ентропія отриманого дискретного повідомлення, згідно з (11), визначена у двійкових одиницях, дорівнює:

. (14)

Для визначення ентропії неперервного повідомлення здійснимо граничний перехід при :

. (15)

У (15) враховано, що

.

З виразу (15) видно, що ентропія неперервного повідомлення має дві складові, першу з яких визначає закон розподілу ймовірностей повідомлення, а друга прямує до нескінченності при . Проте в реальних умовах відлік повідомлень на приймальному пункті ведеться у дискретних точках, тому що апаратура має скінченну роздільну здатність та скінченну точність, а інтервал має скінченну величину. Це означає, що друга складова у (15) є постійною величиною і не розглядається.

Отже, ентропію неперервного повідомлення визначає перша складова (15), яку називають диференціальною ентропією.

. (16)

Зауважимо, що якщо величина є безрозмірна, то диференціальну ентропію можна визначити у двійкових одиницях - бітах. Ha відміну від ентропії дискретних повідомлень величина залежить від масштабу x, тобто від вибору одиниць вимірювання. Зокрема, може приймати від'ємні значення. Тому диференціальна ентропія, узята окремо, не може служити абсолютною мірою невизначеності неперервного повідомлення.

4. Основні поняття про кодування сигналів

Раніше вказувалось, що кодуванням у широкому розумінні називають процес перетворення повідомлень у сигнал. Досвід показує, що застосування дискретних (дискретизованих та квантованих) сигналів порівняно з неперервними (аналоговими) сигналами сприяє поліпшенню передавання, обробки та зберігання інформації, забезпечує спрощення апаратної реалізації інформаційних пристроїв, підвищення надійності та ефективності їх функціонування.

З іншого боку, дискретний характер повідомлень, які поширюються у каналі зв'язку на фоні завад, сприяє зменшенню помилок під час їх приймання і тому підвищує завадостійкість інформації.

Перелічені переваги застосування дискретних сигналів порівняно з аналоговими, незважаючи на їх основний недолік - значне розширення спектра, є причиною їх широкого використання у системах передавання інформації. Тому у випадках, коли первинні сигнали є неперервними, здійснюють, як завжди, попередні їх перетворення у дискретні сигнали. У зв'язку з цим термін "кодування" відносять звичайно до дискретних сигналів, і кодуванням у вузькому розумінні називають заміну кожного значення або квантового сигналу відповідною послідовністю кодових сигналів. Сукупність правил, за якими здійснюється згадана заміна, називають кодом, а послідовність кодових символів - кодовою комбінацією (кодовим символом).

У ролі символів кодової комбінації звичайно використовують прямокутні відео- або радіоімпульси та паузи. Розрізнення символів кодової комбінації здійснюють за кодовими ознаками (параметрами) символів - амплітудою, полярністю, тривалістю, фазою, частотою, заповненням тощо. Кількість ознак, що їх одночасно використовують у кодовій комбінації, називають основою коду,а загальну кількість символів, з якої складається кодова комбінація, називають довжиною (значністю) коду.

На рис. 6 зображені деякі варіанти коду завдовжки та основою =2 з різними кодовими ознаками.

Рисунок 6- Приклади чотиризначної кодової комбінації (а) - з амплітудною (= 2), (б) - часовою (=2), (в) - полярною (=2), (г) - частотною (=2) кодовими ознаками

3 рис. 6 бачимо, що пауза між кодовими імпульсами може відображатися відсутністю імпульсу (рис. 4a), скороченням тривалості (рис. 12б), зміною полярності (рис. 6в) або частоти (pис. 6г) імпульсу.

Заміну значень дискретного сигналу кодовою комбінацією елементарних символів здійснює спеціальний пристрій - кодер. Саме в ньому закладені умови побудови кодових комбінацій та способи формування кодових ознак. У найпростішому випадку в ролі кодера виступає радіотелеграфіст із телеграфним ключем. Сучасні пристрої для кодування є складними системами із вбудованими мікропроцесорними елементами.

Існує безліч способів побудови кодових комбінацій. При виборі конкретного способу насамперед беруть до уваги складність реалізації пристроїв кодування та декодування, завадостійкість та швидкість (час) передавання інформації, можливість виявлення та виправлення помилок у прийнятій інформації, матеріальні витрати на забезпечення каналу зв'язку.

Способи побудови кодових комбінацій відрізняються умовами їх побудови, кількістю різних символів, формою подання у каналі передавання, можливістю виявлення і виправлення помилок, законами кодоутворення

За умовами побудови коди поділяють на рівномірні та нерівномірні.

У рівномірних кодах повідомлення передають кодовими групами з однаковою кількістю елементів (=const).

Нерівномірні коди (наприклад, код Морзе) використовують кодові групи з різною кількістю елементів (=var). Це дає змогу забезпечити найбільшу швидкість передавання інформації і економічність побудови коду. Проте нерівномірні коди потребують або передавання спеціального символу, котрий вказує на закінчення кодової комбінації, або такої побудови кодових комбінацій, за якої жодна з них не є початком інших. 3 іншого боку, тут також виникає проблема виявлення помилок під час приймання коду, які з'являються у вигляді втрати або виникнення нових елементів у кодовій групі внаслідок дії завад у каналі зв'язку. Тому використання рівномірних кодів, у котрих виявлення помилок не є складним, доцільніше з погляду забезпечення завадостійкості передавання інформації.

За кількістю різних символів у кодових комбінаціях розрізняють одиничні (=l), двійкові (=2) та багатопозиційні (>2) коди.

Одиничні коди використовують лише один символ, а різні кодові комбінації відрізняються між собою кількістю таких символів. Прикладом одиничних кодів (їх також називають число-імпульсними) є телефонні коди абонентів ATC. Хоча згадані коди є прості, проте через нерівномірність (і тим самим низьку завадостійкість) їх використовують рідко.

У двійкових кодах використовують символи з двома кодовими ознаками (наприклад, наявність або відсутність імпульсу). Це є причиною їх широкого застосування, тому що сучасні методи передавання, приймання, оброблення та зберігання інформації ґрунтуються на двійковій системі числення. Сказане також є причиною рідкого застосування багатопозиційних кодів, бо вони потребують наявності елементів з багатьма стійкими станами та пов'язані із складністю реалізації математичних операцій.

Залежно від можливості виявлення та виправлення помилок у кодах розрізняють прості (примітивні) та коректуючі коди.

При застосуванні простих кодів втрата або спотворення хоча б одного символу в кодовій комбінації під час приймання може бути сприйнята як нова кодова комбінація, що призводить до неправильної реєстрації інформації. Вказаний недолік частково усувається при застосуванні коректуючих кодів, у які вводять додаткові (надлишкові) символи для забезпечення можливості виявлення та усунення помилок у прийнятій комбінації. У найпростішому випадку в таких кодах додатково вводять один надлишковий символ, значення якого разом із символами основних елементів коду дає парне (непарне) число. Це дає змогу в місці прийому на основі перевірки кодової комбінації на парність (непарність) виявляти наявність у ній непарної кількості помилок. Водночас впровадження у кодову комбінацію за певними правилами більшої кількості надлишкових символів дає змогу, крім того, виправляти помилки. Кількість таких помилок у кодовій комбінації, які можна одночасно виявити та виправити, залежить від кількості надлишкових символів.

Коректуючі коди, які також називають завадостійкими кодами, поділяють на два класи: блочні (рекурентні) та неперервні.

У блочних кодах повідомлення або елемент повідомлення кодується та декодується окремими блоками кодових комбінацій із певною кількістю символів. Звичайно довжину кодових комбінацій блока для забезпечення кращої завадостійкості вибирають однаковою ( = const).

У неперервних кодах надлишкові символи вводять у кожну кодову комбінацію окремо.

Залежно від способу введення надлишковості в коректуючі коди їх поділяють на розділювані та нерозділювані.

У розділюваних коректуючих кодах завдовжки n передавання повідомлення здійснюють за допомогою (<) інформаційних символів, а інші -контрольних символів використовують для перевірки, маючи на меті виявлення та виправлення помилок. Положення вказаних символів у кодах є фіксоване, а самі вони визначаються на основі певних лінійних операцій над інформаційними символами або над їх підблоками. У першому випадку розділювані блочні коди називають систематичними, у другому - несистематичними.

У нерозділюваних кодах немає чіткого поділу символів на інформаційні та контрольні.

За законами кодоутворення коди ділять на комбінаторні (нечислові) та арифметичні (числові).

Кодові комбінації у комбінаторних кодах будують на підставі законів комбінаторики.

Арифметичні коди будують на підставі правил утворення чисел та виконання над ними арифметичних операцій у різних системах числення. Арифметичні коди можуть бути прості, складні та рефлексні (віддзеркалені). Ці коди утворюють та декодують спеціальні технічні пристрої - аналого-цифрові та цифро-аналогові перетворювачі, і тому їх часто використовують у технічних інформаційних системах.

У простих числових кодах переважно використовують позиційні двійкову, вісімкову та шістнадцяткову системи числення. Ці коди добре пристосовані для передавання, оброблення та зберігання інформації у цифрових та обчислювальних пристроях.

Складні коди опираються на системи числення з декількома основами. Типовим представником такого коду є двійково-десятковий код, котрий використовують як проміжний при введенні та виведенні інформації у комп'ютерах.

Рефлексні коди - це спеціальні різновиди двійкових кодів, утворені так, що при зміні значення числа на одиницю двійковий символ змінюється лише в одному розряді. Це дає змогу усунути неоднозначність приймання коду при дії завад, у якому неперервна (плавна) зміна цифри, що відображає фізичну величину, може супроводжуватися одночасною зміною значень деякої кількості розрядів.

За формою подання у каналі передавання коди поділяють на послідовні та паралельні.

Якщо символи кодової комбінації у каналі передають послідовно в часі, то такі коди називають послідовними.

У разі одночасного передавання символів кодової комбінації по декількох лініях, кількість яких дорівнює довжині коду, маємо справу з паралельним кодом. Цей спосіб дає змогу підвищити швидкість передавання інформації, але пов'язаний із збільшенням витрат на використання багатопровідних ліній зв'язку. Здебільшого його використовують у швидкодіючих пристроях оброблення і зберігання інформації та у пристроях перетворення аналогових величин у цифрові й навпаки.