Размещено на http://www.allbest.ru/

Оцінювання якості зображення в системах цифрового телебачення зі стисненням у форматі Mpeg-4

формат програма visual part

Введення

Термін здачі студентом закінченої роботи “7”червня 2010р

Вихідні дані до роботи метод стиснення зображень у форматі MPEG-4, методи вимірювання якості зображень - суб'єктивні та об'єктивні, об'єктивні метрики - PSNR, MSAD, SSIМ (визначаються кількісні або (та) якісні показники, яким повинен відповідати об'єкт проектування наукового дослідження).

Перелік питань, які мають бути розроблені (формулюється у повному обсязі керівником ДР із попереднім узгодженням (за необхідності) з консультантами з окремих питань і може бути структурований за розділами (частинами): основний, охорона праці тощо); формулювання питань повинно починатися словами: “Розробити...”, Обґрунтувати...”, “Оптимізувати...”, “Провести аналіз...”, “Розрахувати...” тощо):

а) основна частина Охарактеризувати особливості формату стиснення MPEG-4 Part 2; проаналізувати відмінності між MPEG-4 VIsual і Н.264; проаналізувати об'єктивні та суб'єктивні методи оцінювання якості відео зображень; провести експериментальні вимірювання якості відеозображень, стиснутих у форматі MPEG-4

б) охорона праці розробити заходи з забезпечення безпечних умов праці на робочому місці .

Перелік графічного (ілюстративного) матеріалу (із зазначенням обов'язкових креслень, плакатів)

1-ий плакат- MPEG-4 .

2-ий - методи вимірювання якості зображень (класифікація) .

3-ій - результати дослідження .

Консультант:

з питань охорони праці к.т.н., доцент Козлов С.С.

Дата видачі завдання “9” березня 2010р.

Таблиця. КАЛЕНДАРНИЙ ПЛАН-ГРАФІК виконання дипломної роботи Студенткою Клименко Л.Г.

№ з/п	Назва етапів роботи та питань, які мають бути розроблені відповідно до завдання	Термін виконання	Позначки керівника про виконання завдань
1	Аналіз літературних джерел	17.03.2010
2	Огляд формату стиснення MPEG-4 Visual	10.04.2010
3	Огляд формату стиснення H.264/MPEG-4 Part10	20.04.2010
4	Порівняння MPEG-4 VIsual і Н.264	1.05.2010
5	Огляд об'єктивних методів оцінювання якості відеозображень	7.05.2010
6	Огляд суб'єктивних методів оцінювання якості відеозображень	14.05.2010
7	Експериментальні вимірювання якості відеозображень, стиснутих у форматі MPEG-4	27.05.2010
8	Оформлення пояснювальної записки	30.05.2010
9	Підготовка та оформлення плакатів для доповіді	5.06.2010

Реферат

Атестаційна бакалаврська робота містить основну частину на аркушах, ілюстрацій, таблиці, додаток.

Метою роботи є ознайомлення з форматами стиснення родини MPEG-4 (MPEG-4 part 2 та MPEG-4 part 10/AVC/ H.264), дослідження існуючих методів оцінки якості відеозображення та практичне застосування обробленої інформації.

Методом дослідження є кодування відеозображень кодеками mpeg-4 і x264 з різними коефіцієнтами стиснення та оцінення якості відеозображень за допомогою програми MSU Video Quality Measurement Tool.

В результаті виконання атестаційної бакалаврської роботи було досліджено ефективність стиснення зображення в форматі MPEG-4.

Галузь застосування: системи цифрового телебачення.

Отримані практичні результати дозволять зробити висновок про якість стиснення зображення форматами MPEG-4, що формат стиснення MPEG-4 part 10/AVC/ H.264 має вищі показники якості .

MPEG-4, ОБ'ЄКТИВНІ МЕТОДИ ОЦІНКИ ЯКОСТІ ЗОБРАЖЕННЯ, КОДУВАННЯ, PSNR, ШВИДКІСТЬ ПЕРЕДАЧІ, H.264, MPEG-4 VISUAL, ЦИФРОВЕ ТЕЛЕБАЧЕННЯ.

Annotation

Structure of the work: pages, illustrations, tables, 1 appendix.

The topic of this work is: Image quality assessment in the digital broadcasting systems with MPEG-4 compression.

The objective is to acquaint the family with compression formats MPEG-4 (MPEG-4 part 2 and MPEG-4 part 10/AVC / H.264), study of existing video quality assessment methods and practical application of the processed information.

Research method is coding video codecs mpeg-4 and x264 with different compression ratio and video quality assessment using MSU Video Quality Measurement Tool .As a result of certification bachelor work was to study the effectiveness of image compression in MPEG-4.

Application: digital television system.

MPEG-4 builds on the proven success of three fields: Digital television, Interactive graphics applications (synthetic content), Interactive multimedia (World Wide Web, distribution of and access to content).

MPEG-4 provides the standardized technological elements enabling the integration of the production, distribution and content access paradigms of the three fields.

MPEG-4 Visual is the global multimedia standard, delivering professional-quality audio and video streams over a wide range of bandwidths, from cell phone to broadband and beyond.

Because of its exceptional performance and quality, Advanced Video Coding (AVC) is at the core of the MPEG-4 specifications and is the video codec of choice for Internet, wireless and television systems. AVC provides video encoding that compresses much more efficiently than older formats yet delivers quality rivaling that of uncompressed DVD video.

Таблиця. Перелік умовних позначень, символів, одиниць, скорочень та термінів

БН	-	Будівельні норми
ГДК	-	Гранично допустима концентрація
ГНТП	-	Галузеві норми технологічного проектування
ДКП	-	дискретне косинусне перетворення
ЕВМ	-	електромагнітне випромінювання
МДУ	-	Московський Державний Університет
НРВ	-	Невибухових руйнуючих речовина
ПУЕ	-	Правила улаштування електроустановок
AVC	-	Advanced Video Coding, просунуте кодування відео
BFM	-	Brightness Flicking Metric, метрика мерехтіння між кадрами
CABAC	-	Context-adaptive binary arithmetic coding, контекстнозалежне адаптивне бінарне арифметичне кодування
CAVLC	-	Context-adaptive variable-length coding, контекстнозалежне адаптивне кодування із змінною довжиною кодового слова
DCT	-	Discrete cosine transform, дискретне косинусне перетворення
DFM	-	Drop Frame Metric, метрика пропущених кадрів
DivX, XviD	-	кодеки стандарту MPEG4
DPCM	-	Differential Pulse Code Modulation, диференційна імпульсно-кодова модуляція
DSCQS	-	Double Stimulus Continuous Quality Scale, метод двосторонньої шкали непевної якості
DSIS	-	Double Stimulus Impairment Scale, двостороння шкала впливу
DV	-	Digital video, цифрове відео
FMO	-	Flexible Macroblock Ordering, гнучкий макроблок
H.264	-	стандарт стиснення відео
IEC	-	International Electrotechnical Commission, Міжнародна електротехнічна комісія
ISO	-	International Organization for Standanlization, міжнародна організаця по стандартизації
ITU	-	International Telecoininunication Union, робоча група міжнародного союзу по телекомунікаціях
MAD	-	Median absolute deviation,медіана абсолютного відхилення
MBAFF	-	MB-level adaptive frame/field, адаптивне до макроблоків кодування полів
MPEG-2, MPEG-4	-	Moving Picture Experts Group, Експертна група з питань рухомого зображення, назва групи стандартів цифрового кодування
MSAD	-	Modified sum of absolute difference, середньоквадратична абсолютна різниця
MSUCQE	-	MSU Continuous Quality Evaluation Метод непевного оцінювання якості МДУ
NAL	-	Network abstraction level, рівень мережної абстракції
NEМ	-	Noise Estimation Metric, метрика оцінки рівня шуму
PAFF	-	Picture-adaptive frame-field coding, адаптивне кодування полів зображення
PC	-	Personal computer, персональний комп'ютер
PCM	-	Pulse-code modulation, імпульсно-кодова модуляція
PSNR	-	Реak-To-Реak Signal-To-Noise Ratio, міра відношення сигналу до шуму
RGB	-	Red, green, blue, червоний, зелений і синій - колірна модель
SAMVIQ	-	Subjective Assessment Multimedia Video Quality, метод суб'єктивного оцінювання якості мультимедійного відео
SCACJ	-	Stimulus Comparison Adjectival Categorical Judgement, метод двостороннього оцінювання та порівняння за категоріями
SCD	-	Scene Change Detector Метрика моментів зміни сцени
SSIM	-	Structural similarity, метрика структурної схожості
VCEG	-	Video Coding Experts Group,група експертів по відео кодуванню
VO	-	Video object, відеооб'єкт
VOP	-	video object plane, площина відеооб'єкту
VQM	-	Video quality model, модель оцінки якості відео
YUV	-	колірна модель, де колір представляється як 3 компоненти - яскравість (Y) і дві колірні компоненти(U і V).

Вступ

Актуальність теми. Особливістю відеоданих, являється дуже великий об'єм. Спеціалісти в області стиснення даних, вже протягом багатьох років працюють над покращенням ефективності алгоритмів стиснення відеоінформації. В наш час є дуже велика необхідність передавати великі об'єми відеоінформації по супутникових і кабельних мережах - постала задача оптимізації способів кодування відеоданих.

На сьогоднішній день MPEG-2 - це стандарт цифрового кодування аудіо і відео сигналів, який використовується більшістю операторів супутникового телебачення для передачі сигналів абонентам. Черговим витком у розвитку алгоритмів відеокомпрессіі став стандарт MPEG-4. Спочатку він призначався для передачі потокового відео по низькошвидкісних каналах, але так само знайшов застосування і в цифровому телебаченні. MPEG-4 все ще знаходиться на стадії розробки і ділиться на декілька частин, ключовими частинами стандарту MPEG-4 Visual part 2 та MPEG-4 part 10/AVC/ H.264. Дані формати мають певні відмінності, які впливають на якість стиснутих ними відеооданних.

Мета. Ознайомитися та дослідити існуючі методи оцінки якості зображення і, таким чином, провести експеримент, в якому зробити аналіз якості відеозображення стиснутого у форматах MPEG-4 Visual та H.264.

Задачею дослідження є виконання наступного завдання:

– ознайомитись з форматами стиснення MPEG-4 Visual та H.264

– проаналізувати існуючі методи оцінки якості зображення;

– провести експеримент,в якому оцінити якість зображення стиснутих відео зображень;

– на основі отриманих даних, зробити висновки.

Об'єктом дослідження є два формати стиснення зображення (MPEG-4 Visual part 2 та H.264), які дуже широко використовуються у наш час.

Методом дослідження, що використовується для виконання поставлених завдань є кодування відеозображень кодеками mpeg-4 і x264 з різними коефіцієнтами стиснення та оцінення якості відеозображень за допомогою програми MSU Video Quality Measurement Tool.

Практичне значення отриманих результатів. На основі проведених експериментів підтверджено тезу про те, що відео, закодоване за допомогою кодера H.264/MPEG-4 Part 10, має вищу якість, ніж відео, закодоване за допомогою кодера MPEG-4 Visual Part2.

1. Особливості формату стиснення MPEG-4 Visual

1.1 Огляд формату стиснення MPEG-4 Visual

Стандарт ISO/IEC 14496 Part 2 [1] (MPEG-4 Visual) поліпшив популярний стандарт MPEG-2 в двох напрямах. В ньому була підвищена ефективність стиснення (більше стиснення при тих же параметрах якості зображення) і збільшена гнучкість та здатність охоплювати більше застосувань. Цього було досягнуто двома основними шляхами: використанням покращеного алгоритму компресії і забезпеченням широкого набору інструментів для кодування і роботи з оцифрованим відеоматеріалом. Стандарт MPEG-4 Visual складається з деякої базової моделі кодера/декодера і безлічі додаткових інструментів кодування. Базова модель заснована на гібридному кодеку DPCM/DCT. Базові функції цієї моделі були розширені модулями, що підтримують, окрім інших можливостей, вдосконалений механізм стиснення, надійність передачі даних, роздільне кодування форм і об'єктів візуальних сцен, стиснення на основі сіткового подання і модель анімації осіб та фігур людей.

MPEG-4 Visual (Part 2 ISO/IEC 14496, кодування аудіовізуальних об'єктів) описує досить широкий клас функцій, які відносяться до кодування і подавання візуальної інформації. Стандарт використовує такі типи даних:

- зображення, що рухаються (прямокутні кадри):

- відеооб'єкти (області довільної форми з предметами, що рухаються);

- двомірні і тривимірні сіткові об'єкти (об'єкти, що деформуються);

- анімовані особи і фігури людей;

- статичні текстури (нерухомі зображення).

Стандарт описує безліч інструментів кодування, які розроблені для представлення цих типів даних в стислому (кодованому) вигляді. Маючи різноманітні сімейства інструментів, стандарт MPEG-4 Visual може підтримувати різні застосування, включаючи наступні (але не обмежуючись тільки ними):

- основні відеозастосування, такі як цифрове телемовлення, відеоконференції і зберігання відео;

- відеозастосування на основі об'єктів, в яких відеосцена скомпонована різними відеооб'єктами, закодованими незалежно один від одного;

- подавання комп'ютерної графіки з використанням двомірної і тривимірної сіткової геометрії і анімованих осіб та фігур людей, що деформуються;

- гібридні відеозастосування, в яких комбінуються природні відеосцени, нерухомі зображення і графіка, що була згенерована комп'ютером;

- потокове відео, яке передається через Інтернет і канали мобільного зв'язку:

- високоякісна відеопродукція, що виготовляється і поширюється для студійного використання.

Не зважаючи на вражаюче різноманіття інструментів, що задаються стандартом, в основі MPEG-4 Visual лежить досить простий механізм відеокодування - використовується кодек на основі блоків з компенсацією руху і з подальшим ДКП, квантуванням та ентропійним кодуванням. Синтаксис цього базового кодека (при деяких обмеженнях) ідентичний ядру Н.263. Решту функцій і інструментів, що підтримуються стандартом, можна отримати додаванням деяких деталей за винятком інструментів кодування сіток, нерухомих зображень і параметрів анімації осіб та фігур, які розробляються окремо.

1.2 Особливості MPEG-4 Visual

В стандарті MPEG-4 Visual зроблено спробу задовольнити досить широке коло вимог для різних комунікаційних відеозастосувань на основі модульних інструментів кодування візуальної інформації.

Перерахуємо деякі особливості MPEG-4 Visual, що відрізняють цей стандарт від його попередників.

1. Ефективне стиснення прогресивної і черезрядкової розгортки натуральних відеопослідовностей (компресія послідовностей прямокутних кадрів). Ядро механізму стиснення засноване на стандарті ITU-T Н.263 і воно перевершує за цим показником стандарти MPEG-1 і MPEG-2. Додаткові функції ще більше підвищують ступінь компресії.

2. Кодування відеооб'єктів (областей відеосцен, що мають неправильну форму). Це нова концепція для кодування стандартного відео. Вона дозволяє, наприклад, кодувати об'єкти переднього і заднього плану на відеосцені незалежно один від одного.

3. Підтримка ефективної передачі через реальні канали зв'язку і мережі. Механізм, стійкий до помилок, дозволяє декодеру виправляти помилки передачі і зберігати гарний відеозв'язок при передачі через неабсолютно надійні канали, а кодування, що масштабується, дає можливість використовувати гнучку схему передачі на різних бітових швидкостях.

4. Кодування нерухомих зображень (текстур). Це означає, наприклад, що нерухомі зображення можна кодувати і передавати в тих же рамках, що і відеопослідовності, що рухаються.

5. Інструмент текстурного кодування також зручний в поєднанні з анімованим затушовуванням (рендерингом) відеосцен.

6. Кодування об'єктів анімації на основі двомірних і тривимірних полігональних сіток, анімації осіб і фігур людей.

6. Кодування для спеціальних застосувань типу «відео студійної якості». В таких застосуваннях на перший план виходить візуальна якість, а не ступінь стиснення відеоряду [2].

1.3 Профілі MPEG-4 Visual

Конкретна реалізація цього стандарту ґрунтується на використанні одного або декількох стандартних профілів. В доповнення до модулів, що кодують природний відеоматеріал (зйомку навколишнього світу), стандарт MPEG-4 Visual визначає безліч профілів для кодування интетичних (що згенерували комп'ютером, штучних) візуальних об'єктів на основі двомірних і тривимірних сіток та моделей людських фігур і осіб.

Маловірогідно, що більшості конкретних застосувань знадобиться весь арсенал інструментів і модулів MPEG-4 Visual, тому стандарт описаний у вигляді сімейства профілів, тобто груп інструментів, що рекомендуються для конкретних типів застосувань. Прикладами різних профілів служать: простий (мінімальний набір інструментів для не дуже складних застосувань), базовий і основний (з функціями для кодування відеооб'єктів довільної просторової форми) і простий розширений (забезпечуючий поліпшене стиснення, але має велику складність реалізації).

MPEG-4 Visual забезпечує функції кодування за допомогою комбінування інструментів, об'єктів і профілів. Інструмент - це підмножина функцій кодування для підтримки специфічних дій (наприклад, базове відеокодування, черезрядкова відеоформа кодованого об'єкту і т.д.). Об'єкт - це елемент відео (наприклад, послідовність прямокутних кадрів, областей довільної форми або нерухоме зображення), який кодується за допомогою одного або декількох інструментів. Наприклад, простий відеооб'єкт кодується із застосуванням обмеженої підмножини функцій (інструментів), що забезпечує обробку прямокутних кадрів, базовий відеооб'єкт кодується інструментами для роботи з областями неправильної форми і т.д. Профіль це безліч типів об'єктів, які буде обробляти даний кодек.

Таблиця 1.1 Профілі MPEG-4 Visual для кодування звичайного відео

Профілі MPEG-4	Характерні риси
Простий	Нескладне кодування прямокутних відеокадрів
Простий розширений черезрядкового відео	Кодування прямокутних відеокадрів з поліпшеним стисненням і підтримкою
Простий розширений в реальному часі	Кодування прямокутних відеопотоків в реальному масштабі часу
Базовий	Базове кодування для відеооб'єктів довільної форми
Основний	Всеохоплююче кодування відеооб'єктів
Підвищеного ступеня стиснення	Високоефективне кодування відеооб'єктів
N-бітовий	Кодування відеооб'єктів з кількістю розрядів квантування, відмінною від 8 біт
Простий масштабований	Кодування прямокутних відеокадрів, що масштабуються
Дрібнозернистої масштабованості	Розширене кодування прямокутного відео, що масштабується
Базовий масштабований	Маштабоване кодування довільних відеооб'єктів
Масштабованих текстур	Маштабоване кодування нерухомих текстур
Розширений масштабованих текстур	Маштабовані нерухомі текстури з поліпшеним стисненням і з використанням об'єктів
Базовий розширений	Комбінація можливостей простого, базового n-розширеного профілю масштабованих текстур
Простий студійний	Об'єктно-орієнтоване кодування відеопослідовностей високої якості
Базовий студійний	Об'єктно-орієнтоване кодування відеопослідовностей з поліпшеним стисненням

В табл.1.1 перераховані всі профілі для роботи з природними відеосценами, починаючи з простого профілю (кодування прямокутних кадрів), за яким ідуть профілі для обробки відеообластей будь-якої форми і для масштабованого кодування, і закінчуючи профілями для кодування відео студійної якості. В табл. 1.2 даний список профілів для кодування синтетичного відео (анімовані сіткові об'єкти і моделі осіб і фігур людей), а також гібридний профіль (в який вбудовані функціональні модулі для обробки і синтетичних, і натуральних відеосцен). Ці профілі не використовуються (на даний момент) для стиснення природного відео [2].

Таблиця 1.2. Профілі MPEG-4 Visual для кодування синтетичного і гібридного відео

Профіль MPEG-4 Visual	Характерні риси
Основний для анімації текстур	Двомірне сіткове кодування нерухомих текстур
Простий для анімації осіб	Анімовані моделі осіб
Простий для анімації осіб і фігур	Анімовані моделі осіб і фігур
Гібридний	Комбінація можливостей простого, базового, основного для анімації текстур і простого профілю для анімації осіб

Профілі є зручним механізмом для організації взаємодії між кодеками від різних виробників. В стандарті MPEG-4 Visual описано надзвичайно широке сімейство інструментів, і в конкретному комерційному кодеку не доведеться реалізувати всі ці інструменти. Натомість розробники кодека можуть вибрати деякий профіль, необхідний їм набір інструментів, для виконання поставленої задачі. Наприклад, відносно простий кодек для роботи на малопотужному процесорі може використовувати простий профіль, а при розробці кодека для роботи з потоковим відео можна вибрати простий розширений профіль в реальному часі і т.п. При цьому різні профілі використовуватимуться з різною частотою, і застосування на їх основі матимуть різну вагу на ринку відповідного програмного забезпечення. Простий і простий розширений профілі особливо популярні у виробників, тоді як профілі для кодування об'єктів довільної форми мають менший попит.

1.4 Відеооб'єкти

Однією з ключових новацій стандарту MPEG-4 Visual став відхід від традиційного уявлення про відеодані як про послідовність прямокутних відеокадрів. Натомість MPEG-4 Visual трактує відеопослідовність як сімейство, що складається з одного або декількох відеооб'єктів. В MPEG-4 Visual відеооб'єкт як пластичне єство, доступне користувачу, до якого він може звертатися, спостерігати і маніпулювати (вирізати і вставляти)[1]. Відеооб'єкт (VO, video object) це деяка область відеосцени, яка може заповнювати простір довільної форми і яка може існувати цілком визначений час. Реалізація або значення VO в деякий момент часу називається площиною відеооб'єкту (VOP, video object plane).

Стандарт MPEG-4 Visual підтримує кодування і представлення візуальних об'єктів з ефективною компресією і безприкладною гнучкістю. Різноманітний арсенал інструментів кодування, описаних в стандарті дає можливість підтримувати широкий діапазон застосувань, таких як ефективне стиснення відеокадрів, відеокодування для передачі по ненадійних мережах зв'язку, об'єктно-орієнтоване кодування і маніпуляція кодування синтетичних і гібридних штучних/натуральних сцен і високоінтерактивних відеокомунікацій.

Стандарт MPEG-4 продовжує розвиватися з додаванням нових інструментів (наприклад, профілів, що підтримують потокове відео). Проте серед розробників і виробників найпопулярнішими елементами MPEG-4 до останнього часу залишалися простий і простий розширений профілі. Крім того все більше проявляється потреба відеоіндустрії в ще більш ефективному кодуванні відео прямокутних форматів. Ця потреба разом з тривалим періодом невизначеності у зв'язку з патентами і ліцензіюючими випусками MPEG-4 Visual означає, що новий стандарт Н.264 має непогані шанси обійти на відеоринку стандарт MPEG-4 Visual.

2. Особливості формату стиснення H.264/MPEG-4 Part 10

2.1 Огляд формату стиснення H.264/MPEG-4 Part 10

Стандарт Н.264 має більш вузькі межі застосування в порівнянні з MPEG-4. Він був розроблений для ефективного кодування і перешкодостійкої передачі відео прямокутного формату. Його первинною задачею було забезпечення функціональності, схожої з Н.263+ і MPEG-4 Visual (простий профіль), але з кращим стисненням і з більш надійним механізмом передачі відеоданих. Цільові застосування включають двосторонні відеокомунікації (відеоконференції і відеотелефонія), кодування мережного широкомовлення, відео високої якості і організацію відеопотоків через мережі пакетної передачі даних. Підтримка стійкої передачі даних по мережах вбудована в стандарт, який розроблений так, щоб його можна було легко вбудовувати в різні комп'ютерні платформи. Цей стандарт отримав назву «просунуте кодування відео» AVC (Advanced Video Coding) і був опублікований одночасно як стандарт MPEG-4 Part 10 і як рекомендація ITU-T Н.264 [1, 3].

2.2 Термінологія

В стандарті Н.264 прийнята наступна важлива концептуальна термінологія.

При кодуванні напівкадру (черезрядкового відео) або кадру (прогресивного або черезрядкового відео) будується закодований знімок. Закодований кадр має номер (присутній в бітовому потоці), який не обов'язково відповідає хронологічному порядку декодування. Крім того, кожному закодованому черезрядковому напівкадру або прогресивному кадру привласнюється порядковий номер лічильника знімка, який визначає послідовність декодування напівкадрів або кадрів. Раніше закодовані знімки (посилальні знімки) можуть використовуватися для inter-прогнозування при кодуванні подальших знімків. Посилальні знімки організовані у вигляді одного або двох списків (безлічі номерів, відповідних посилальним знімкам), які позначаються як список 0 і список 1. Закодований знімок складається з безлічі макроблоків, кожний з яких містить 16х16 семплів яскравості і відповідне число хроматичних семплів (8x8 семплів Cb і 8х8 семплів Cr для даного стандарту). Усередині кожного знімка макроблоки з'єднані в шари. Шар ця безліч макроблоків, розташованих в растровому порядку сканування. І-шар може складатися тільки з макроблоків типу I, Р-шар містить макроблоки типу Р і I, а В-шар - макроблоки типу В і I. (Крім цих існують ще два види шарів: SIшари і SPшари.

Макроблоки типу I прогнозуються в моді intra на основі закодованих семплів поточного шару. Прогноз формується або для всього макроблоку, або для кожного блоку семплів яскравості розміром 4 х 4 (і для асоційованих з ним семплів хроматичності) дані макроблоки.

Макроблоки типу Р прогнозуються в моді inter на основі посилальних знімків (одного або декількох). Закодовані в моді inter макроблоки можуть бути розділений на частини макроблоків, тобто на блоки семплів яскравості розміром 16х16, 16х8, 8х16 або 8x8 (і відповідні блоки хроматичних семплів). Якщо вибрано розділення розміром 8х8, то кожний підмакроблок 8x8 допускає подальше розділення на підмакроблоки 8x8, 8x4, 4x8 чи 4x4 (семплів яскравості і відповідне число семплів хроматичности). Кожна частина розділеного макроблоку може бути спрогнозований по одному знімку із списку 0. Якщо проводилося подальше розділення на підмакроблоки то вони прогнозуються на основі блоків того ж знімка нульового списку.

Макроблоки типу В прогнозуються в моді inter за допомогою посилальних знімків. При розділенні макроблоків на блоки їх можна прогнозувати поодинці або по двом посилальним знімкам: один береться із списку 0, а другий із списку 1. Якщо є подальше розділення на підмакроблоки, то прогноз робиться по тих же (одному або двом) посилальних знімках: один із списку 0, а другий із списку 1 [2].

2.3 Профілі і рівні

В стандарті Н.264 визначено три профілі, кожний з яких підтримує певний набір функцій кодування. Ці набори функцій визначають який потрібен вид кодера і декодера для його подальшого використання в даному профілі.

Базовий профіль підтримує моди кодування intra і inter (на основі І-шарів і Р-шарів) і ентропійне кодування за допомогою контекстно-адаптивних кодів змінної довжини CAVLC (Context-Adaptive Variable-Length Codes).

Основний профіль включає підтримку відео з черезрядковою розгорткою, кодування inter за допомогою В-шарів і зважене прогнозування, а також контекстне арифметичне ентропійне кодування САВАС (Context-based Adaptive Binary Arithmetic Coding).

Розширений профіль не підтримує черезрядкове відео і кодування САВАС, але в ньому є деякі моди, які дозволяють перемикатися між бітовими потоками (SP- і SI-шари) і підвищувати стійкість до помилок передачі (розділення даних). Потенційними сферами додатку базового профілю є відеотелефонія, організація відеоконференцій і безпроводових комунікацій. Потенційні застосування основного профілю включають телевізійне мовлення і зберігання відеоданих, а розширений профіль може виявитися корисним в додатках потокового медіа. Проте кожний профіль має достатню гнучкість для обхвату досить широкого кола застосувань, тому приведені вище приклади не слід вважати вичерпними [2].

2.4 Можливості

Стандарт H.264/AVC/MPEG-4 Part 10 містить ряд нових можливостей, що дозволяють значно підвищити ефективність стиснення відео в порівнянні з попередніми (такими, як ASP ) стандартами, забезпечуючи також велику гнучкість застосування в різноманітних мережних середовищах. Основні з них:

Багатокадровий прогноз. Використання стислих раніше кадрів як опорних (тобто із запозиченням частини матеріалу з них) куди більш гнучке, ніж в попередніх стандартах. Дозволяється використання до 32 посилань на інші кадри тоді як в ASP і більш ранніх посиланннях обмежено одним або, у разі B-кадрів, двома кадрами. Це підвищує ефективність кодування оскільки дозволяє кодеру вибирати для компенсації руху між великою кількістю зображень. В більшості сцен дана функція забезпечує не дуже велике поліпшення в якості і не дає помітного пониження бітрейта. Проте, для деяких сцен, наприклад, з частими ділянками, поворотно-поступальним рухом і т.п., що повторюються подібний підхід при збереженні якості дозволяє дуже сильно понизити витрати бітрейта.

Незалежність порядку відтворення зображень і порядку опорних зображень. В попередніх стандартах встановлювалася жорстка залежність між порядком проходження зображень при компенсації руху і порядком проходження зображень при відтворенні. В новому стандарті ці обмеження значною мірою усунені, що дозволяє кодеру вибирати порядок зображень для компенсації руху і для відтворення з високим ступенем гнучкості, яка обмежена тільки об'ємом пам'яті яка гарантує можливість декодування. Усунення обмеження також дозволяє у ряді випадків позбутися додаткової затримки, раніше пов'язаної з двонаправленим прогнозом.

Незалежність методів обробки зображень і можливості їх використовування для прогнозу руху. В попередніх стандартах зображення, закодовані з використанням деяких методів (наприклад, двонаправленого прогнозу), не могли використовуватися, як опорні, для прогнозу руху інших зображень відеопослідовності. Усунувши це обмеження, новий стандарт забезпечує кодеру велику гнучкість і у багатьох випадках можливість використовувати для прогнозу руху зображення, більш близьке за змістом до кодованого.

Компенсація руху із змінним розміром блоку (від 16x16 до 4x4 пікселя) дозволяє украй точно виділяти області руху.

Вектори руху, що ходять за межі зображення. В MPEG-2 і попередніх стандартах, вектори руху могли вказувати тільки на пікселі, які знаходяться у межах декодованого опорного зображення. Методика екстраполяції на межі зображення, що з'явилася як опція в H.263 , включена в новий стандарт.

Шеститочкова фільтрація компоненту яскравості для напівпіксельного прогнозу створена з метою зменшення зубчатості країв і забезпечення більшої чіткості зображення.

Точність до четверті пікселя (Qpel) при компенсації руху забезпечує дуже високу точність опису областей, що рухаються (що особливо актуально для повільного руху). Колірновість, як правило, зберігається з дозволом зменшеним удвічі по вертикалі і горизонталі (проріджування кольору) тому компенсація руху для компоненти колірновості використовує точність в одну восьму пікселя колірності.

Зважений прогноз, що дозволяє використовувати масштабування і зсув після компенсації руху на величини, вказані кодером. Така методика може надзвичайно сильно підняти ефективність кодування для сцен із зміною освітленості, наприклад, при ефектах затемнення, поступової появи зображення.

Просторовий прогноз від країв сусідніх блоків для I-кадрів (на відміну від прогнозу тільки коефіцієнта трансформації в H.263 + і MPEG-4 Part 2, і дискретно-косинусного коефіцієнта в MPEG-2 Part 2). Нова методика екстраполяції країв раніше декодованих частин поточного зображення підвищує якість сигналу, що використовується для прогнозу.

Стиснення макроблоків без втрат:

Метод представлення макроблоків без втрат в PCM, при якому відеодані представлені безпосередньо, він дозволяє точно описувати певні області і допускає жорстке обмеження на кількість закодованих даних для кожного макроблоку.

Поліпшений метод безпосереднього представлення макроблоків, що дозволяє точно описувати певні області, при цьому звичайно затративши істотно менше бітів, ніж PCM (підтримується не у всіх профілях).

Гнучкі функції черезрядкового стиснення (підтримується не у всіх профілях):

Адаптивне кодування полів зображення (PAFF), що дозволяє кодувати кожний кадр як поле або як пару полів (напівкадрів) - залежно від присутності/відсутності руху.

Адаптивне до макроблоків кодування полів (MBAFF), що дозволяє незалежно кодувати кожну вертикальну пару макроблоків (блок 16x32) як прогресивні або черезрядкові. Дозволяє використовувати макроблоки 16x16 в режимі розбиття на поля (порівняно з 16x8 напівмакроблоками в MPEG-2). Майже завжди ефективне PAFF.

Нові функції перетворення:

Точне цілочисельне перетворення просторових блоків 4x4 (концептуально подібне широко відомому DCT, але спрощене і здатне забезпечити точне декодування), дозволяю точно розміщувати різницеві сигнали з мінімумом шуму, яки часто виникає в попередніх кодеках.

Точне цілочисельне перетворення просторових блоків 8x8 (концептуально подібне широко відомому DCT, але спрощене і здатне забезпечити точне декодування; підтримується не у всіх профілях), забезпечує велику ефективність стиснення схожих областей, ніж 4x4.

Адаптивний вибір кодеком між розмірами блоку 4x4 і 8x8 (підтримується не у всіх профілях).

Додаткове перетворення Адамара, яке використовується до дискретно-косинусних коефіцієнтів основного просторового перетворення (до коефіцієнтів яскравості, і, в особливому випадку, колірності) для досягнення більшого ступеня стиснення в однорідних областях.

Квантування:

Логарифмічне управління довжиною кроку для спрощення розподілу бітрейта кодером і спрощеного обчислення зворотної довжини квантування.

Частотно-оптимізовані матриці масштабування квантування, вибрані кодером для оптимізації квантування на основі людських особливостей сприйняття ( підтримується не у всіх профілях).

Внутрішній фільтр деблокінга в циклі кодування, який знімає артефакти блоковості, які часто виникають при використанні заснованих на DCT-техніках стиснення зображень.

Ентропійне кодування квантованих коефіцієнтів трансформації:

Context-adaptive binary arithmetic coding (CABAC, контекстнозалежне адаптивне бінарне арифметичне кодування) - алгоритм стиснення без втрат для синтаксичних елементів відеопотоку на основі вірогідності їх появи. Підтримується тільки в Main Profile і вище. Забезпечує більш ефективне стиснення, ніж CAVLC, але вимагає значно більше часу на розшифровку.

Context-adaptive variable-length coding (CAVLC, контекстнозалежне адаптивне кодування із змінною довжиною кодового слова) - альтернатива CABAC меншої складності. Проте, воно складніше і ефективніше, ніж алгоритми, вживані для тієї ж мети в більш ранніх технологіях стиснення відео (як правило этоалгоритм Хаффмана ).

Часто використовуване кодування словами змінної довжини багатьох елементів синтаксису, не закодованого CABAC або CAVLC, просте і високо структуроване, відоме як коди Голомба (експоненціальне кодування Голомба).

Функції стійкості до помилок:

Визначення рівня мережної абстракції (NAL), що дозволяє використовувати один і той же синтаксис відео в різних мережних оточеннях, включаючи набори параметрів послідовності (sequence parameter sets, SPSs) і набори параметрів зображення (picture parameter sets, PPSs), які забезпечують велику надійність і гнучкість, ніж попередні технології.

Гнучке впорядковування макроблоків (FMO), також відоме як групи частин (підтримується не у всіх профілях) і довільне впорядковування частин (ASO) методи реструктурування порядку представлення фундаментальних областей (макроблоків) в зображеннях. При ефективному використанні гнучке впорядковування макроблоків може істотно підвищити стійкість до втрати даних.

Завдяки ASO кожна частина зображення може бути декодована незалежно від інших (при певних обмеженнях кодування), новий стандарт дозволяє посилати і одержувати їх у довільному порядку один щодо одного. Це може понизити затримку в додатках реального часу, особливо при використанні на мережах, що мають режим роботи доставка поза чергою. Ці функції можуть також використовуватися з різною метою, крім відновлення помилок.

Розбиття даних функція, що забезпечує розділення даних різної важливості (наприклад, вектори руху і інша інформація прогнозу має велику значущість для представлення відеоконтента) по різних пакетах даних з різними рівнями захисту від помилок (підтримується не у всіх профілях).

Надлишкові частини. Можливість посилки кодером надлишкового представлення областей зображень, дозволяючи відтворити області зображень (звичайно з деякою втратою якості), дані про які були втрачені в процесі передачі (підтримується не у всіх профілях).

Нумерація кадрів, що дозволяє створення «підпослідовностей» (включаючи тимчасове масштабування включенням додаткових кадрів між іншими) а також виявлення/утаєння втрат цілих кадрів при збоях каналу або зникнення пакетів [2].

Стандарт Н.264 забезпечує механізм для кодування відео, який оптимізований по ступені компресії. Його мета - задоволення багатьох вимог сучасних застосувань мультимедійних комунікацій. Діапазон доступних інструментів кодування є більш обмеженим в порівнянні із стандартом MPEG-4 Visual (через більш вузьке фокусування стандарту Н.264) проте в ньому є досить широкий спектр параметрів і стратегій кодування відеоконтента. Успіх конкретних реалізацій Н.264 (а також MPEG-4 Visual) залежить від ретельності розробки кодеків і ефективності вибору параметрів кодування.

3. Порівняння MPEG-4 Visual і Н.264

MPEG-4 Visual і Н.264 (Advanced Video Coding) є стандартами для кодованого представлення візуальної інформації. Кожний стандарт є документом, який перш за все дає визначення двом речам кодованому уявленню (або синтаксису), яке описує візуальні дані в стислій формі, і методу декодування для реконструкції візуальної інформації. Кожний стандарт має на своїй меті забезпечити злагоджену роботу кодера і декодера, надаючи розробникам свободу в створенні передових і конкурентоздатних продуктів. Зокрема, стандарти не визначають і не описують кодер, швидше, вони дають визначення вихідним даним які повинен проводити кодер. Метод декодування визначається в кожному стандарті, але виробники мають право розробляти альтернативні декодери до тих пір, поки вони дають на виході той же результат, що і стандартний метод.

MPEG-4 Visual (групи Part 2 стандартів MPEG-4) був розроблений групою експертів по зображеннях (Moving Picturc Experts Group, MPEG), що підпорядковуються, робочій групі Міжнародної організації по стандартизації (International Organization for Standanlization, ISO). Ця група, що складається з декількох сотень технічних експертів (привернутих з індустрії або з дослідницьких організацій), зустрічається з інтервалом в 2-3 місяці для розвитку ряду стандартів MPEG. Стандарт MPEG-4 був вперше представлений в 1993 році і його випуск Part 2 був стандартизований в 1999 році.

Розробка Н.264 була ініційована групою експертів по відео кодуванню (Video Coding Experts Group, VCEG) - робочою групою міжнародного союзу по телекомунікаціях (International Telecoininunication Union, ITU-T), яка функціонує подібно групі MPEG. Група VCEG розробила ряд візуальних телекомунікаційних стандартів. Остаточні стадії розвитку стандарту Н.264 були здійснені з'єднаною командою по відео (Joint Video Team) яка складається з експертів MPEG і VCEG. Ця група опублікувала остаточну редакцію стандарту під сумісним патронажем ISO/IEC (її ідентифікатор MPEG-4 Part 10) і ITU-T (рекомендація Н.264) в 2003 році.

Таблиця 3.1 - Основні відмінності MPEG-4 Visual і Н.264.

Порівняння	MPEG-4 Visual	Н.264
Типи даних які підтримуються	Прямокутні кадри і напівкадри відео, відеооб'єкти довільної форми, нерухомі текстури і «спрайти», гібридні синтетичні і натуральні відеооб'єкти, сіткові двомірні і тривимірні об'єкти	Прямокутні кадри і напівкадри відео
Число профілів	19	3
Ступінь стиснення	Середня	Висока
Підтримка потокового відео	Кодування, що масштабується	Перемикання шарів
Мінімальний розмір блоку компенсації руху	8x8	4x4
Точність векторів руху	Половина і четверть пікселя	Четверть пікселя
Перетворення	DCT блоків 8x8	Наближене DСТ блоків 4x4
Вбудований деблокуючий фільтр	Ні	Так

В табл. 4.3 приведені основні відмінності двох стандартів. Вона не є повною, але в ній виділені важливі особливості підходів

MPEG-4 Visual і Н.264 мають зв'язані, але істотно різні точки зору. Обидва мають відношення до стиснення відеоінформації, але MPEG-4 Visual робить акцент на варіабельність, а H.264 націлений на ефективність і надійність. MPEG-4 Visual забезпечує високу приспособлюваність своїх технічних інструментів і ресурсів кодування, даючи можливість працювати з широким спектром відеоданих, що включає прямокутні відеокадри ("традиційний відеоматеріал"), відеооб'єкти (області візуальних сцен довільної форми), що складаються як із звичайних зображень, так і з гібридів «природних об'єктів» і об'єктів, що згенеровані комп'ютером. MPEG-4 Visual забезпечує своє функціонування за допомогою набору інструментів кодування, організованих в «профілі», які складаються з груп модулів, що рекомендуються, для конкретних застосувань. Класи профілів включають прості профілі (кодуючі прямокутні відеоокадри), профілі на основі об'єктів (кодуючі візуальні об'єкти довільної форми), текстурні профілі (кодуючі нерухомі зображення або текстури), профілі, що масштабуються (кодуючі багатократні дозволи або якісні рівні) і студійні профілі (кодуючі високоякісні студійні застосування).

В порівнянні з еластичним підходом МРЕG-4 стандарт Н.264 сконцентрований на ефективності стиснення відеокадрів. Ключовими ознаками стандарту є наступні елементи: ефективність стиснення (забезпечується значне поліпшення компресії в порівнянні зі всіма попередніми стандартами), ефективність передачі даних (з безліччю вбудованих деталей, що підтримують надійну і стійку передачу по різних каналах і мережах) и сфокусованість на популярних додатках відеозтиснення. В теперішній час цим стандартом підтримуються тільки три профілі (в порівнянні з 20 профілями в МРЕG-4 Visual), кожний з яких пристосований до свого класу популярних додатків відеокомунікацій. Базовий профіль може бути використаний в «розмовних» додатках типу відео конференції, розширений профіль добавляє деякі інструменти, які можуть бути корисні в потоковому відео в мережах, а основний профіль включає інструменти для широкомовних додатків и для зберігання відеоданних.

4. Методи оцінювання якості відео зображень

4.1 Суб'єктивні методи

4.1.1 Ідеї і задачі методів суб'єктивного тестування

Багато великих організації, одна з них це VQEG, протягом багатьох років проводили суб'єктивні порівняння відео і оцінювали точність прогнозу думки користувача різними метриками, отримавши в результаті безліч цінних результатів [4]. Але в основному ці порівняння були орієнтовані на телевізійний матеріал і відеокодеки стандарту MPEG2, і лише недавно почали з'являтися порівняння кодеків сучасних стандартів, здатних забезпечувати прийнятну якість на більш низьких бітрейтах і призначених для перегляду відео на комп'ютері.

Задачею тестування було суб'єктивне порівняння нових версій популярних кодеків, порівняння результатів з даними об'єктивних метрик і відробіток технології суб'єктивного тестування

Ідея суб'єктивного тестування полягає в тому, що відео, пропущене через порівнювані системи, демонструється групі експертів, які виставляють оцінки, ґрунтуючись на своїх враженнях від якості. Існує багато методів демонстрації послідовностей і збору оцінок, багато з них описано в рекомендаціях ITU [5]. На жаль, в основному вони розраховані на порівняння відео в телевізійному форматі, і не дуже зручні для проведення тестування на PC [6].

4.1.2 Види методів суб'єктивного тестування

Метод суб'єктивного оцінювання якості мультимедійного відео (SAMVIQ - Subjective Assessment Multimedia Video Quality) [7]. Існує декілька видів методів суб'єктивного тестування. Одним з них є SAMVIQ, розроблений EBU для порівняння відеокодеків і проходячий стандартизацію в ITU. Він був розроблений спеціально для проведення порівнянь на PC, і більш зручний і простий у використовуванні, ніж інші методи суб'єктивного порівняння. Як і багато інших методів, SAMVIQ реалізований в MSU Perceptual Video Quality tool [8].

Етапи тестування:

1.Спочатку експерт вводить своє ім'я.

Рисунок.4.1 Діалог введення імені

2.Також експерт проходить тест на сприйняття кольору (використовуються стандартні таблиці Ішихари показаної на рис. 4.2).

Малюнок4.2 Приклад тесту на сприйняття кольору

3.Для кожної тестової послідовності:

4.Демонструється початкове відео, приклад вікна програвача (рис. 4.3).

5.До тих пір, поки не переглянуті всі варіанти цього відео, експерт вибирає певний варіант відео, дивиться його і виставляє оцінку (рис. 4.4). Оцінка для фільму складає від 0 до 100, чим вище, тим краще. Оцінка вже проглянутих варіантів послідовності може бути змінена у будь-який момент, також можливо переглянути будь-який з варіантів.



Малюнок4.3 Вид вікна програвача

6.Якщо всі варіанти відео переглянуті, то експерт може перейти до наступної тестової послідовності. Різні варіанти стислої послідовності приховані за літерними позначеннями, тому експерт не знає, який кодек він оцінює в даний момент.

Малюнок4.5 Діалог оцінки

Метод двосторонньої шкали впливу (DSIS - Double Stimulus Impairment Scale) [5]. Відео показуються послідовно парами: спочатку демонструється початкове відео (експерт знає про це), потім змінене. Після проглядання пари відео, експерт повинен висловити свою думку використовуючи шкалу показану на рис. 4.6.

Малюнок4.6 Шкала оцінки DSIS

Метод двосторонньої шкали непевної якості (DSCQS - Double Stimulus Continuous Quality Scale) типу I та типу II [5]. В методі типу I відео показуються парами, але тільки одне з них видно експерту (для переключення між ними потрібно натиснути на Tab). Кожна пара показується задане число раз (параметр "reeptitions" в Task Manager). Одне з відео - початкове, але експерт про це не інформується. Після перегляду експерт повинен оцінити два відео використовуючи шкалу вказану на рис.4.7

В методі типу II (який використовується частіше) відео також показуються парами, але одночасно видні обидва з них. Кожна пара показується задане число раз (параметр "repetitions" в Task Manager). Як і в методі типу I, одне з них початкове, але експерт про це не інформується. Використовується та ж шкала оцінки, що і в методі типу I.



Малюнок4.7 Шкала оцінки DSCQS

Метод двостороннього оцінювання та порівняння за категоріями (SCACJ - Stimulus Comparison Adjectival Categorical Judgement) [5]. Відео показуються парами одночасно, і після перегляду експерт повинен оцінити відео, використовуючи порівняльну шкалу, показану на рис. 4.8.

Малюнок4.8 Порівняльна шкала SCACJ

Метод непевного оцінювання якості МДУ (MSUCQE - MSU Continuous Quality Evaluation) [5]. Під час тесту дві послідовності програються одночасно (рис.4.9). Якщо під час програвання експерту не подобається одна з них, то він може натискувати ліву або праву стрілку на клавіатурі, в залежності від розташуванні послідовності яка йому не подобається. При цьому над послідовністю, проти якої він голосує, виникає червоний індикатор.



Малюнок4.9 Вид вікна програвача MSUCQE

4.2 Об'єктивні методи оцінки якості

Об'єктивні техніки вимірювань - це математичні моделі, які вдало моделюють результати суб'єктивної оцінки якості, вони засновані на критеріях і метриках, що можуть бути виміряні об'єктивно. Об'єктивні методи класифікуються відповідно до корисності початкового відео сигналу, для якого забезпечується висока якість. Тому вони класифікуються по трьох категоріях: повні референсні методи, скорочені референсні методи і нереференсні методи. Самим традиційним методом вимірювання якості системи обробки цифрового відео (таких як відеокодеки DivX, XviD)) є вимірювання відношення сигналу до шуму та пікового відношення сигналу до шуму між початковим сигналом і сигналом на виході системи. PSNR - це одна з метрик об'єктивної якості відео. Вона може бути автоматично обчислений комп'ютерною програмою. Але PSNR не завжди гарантує добру якість, через те що зорова система людини має нелінійну поведінку. Не так давно було розроблено декілька складніших і точних метрик, наприклад VQM і SSIM.

Всі об'єктивні методи вимагають повторення тестів, що проводяться з результатом кодування, для визначення параметрів кодування, які задовольняють певному рівню очікувань користувача, що робить їх швидкість дуже маленької, такі методи є дуже складними і непрактичними для реалізації в комерційних додатках. Тому, більшість досліджень направлена на дослідження нових методів об'єктивної оцінки якості, які дозволять передбачати сприйманий рівень якості закодованого відео перед кодуванням.

Існують такі метрики об'єктивної якості відео.

Міра відношення сигналу до шуму (PSNR - Реak-To-Реak Signal-To-Noise Ratio) [9]. Цю метрику часто використовують на практиці. ЇЇ розраховують за такою формулою:

,(4.1)

де MaxErr - максимум модуля різниці колірної компоненти, w - ширина відео, h - висота відео.

Дана метрика аналогічна середньоквадратичному відхиленню, проте користуватися нею зручніше за рахунок логарифмічного масштабу шкали.