Размещено на http://www.allbest.ru/

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА

Система технического зрения для управления мобильным роботом

Уфа - 2011



Оглавление

• Введение
• Глава 1. Информационные системы мобильных роботов и технологии их разработки
• 1.1 Роль и место информационно-измерительных систем в составе роботов
• 1.2 Системы технического зрения производства СССР и России
• 1.3 Дескриптивный подход к обработке, анализу и распознаванию изображений И.Б. Гуревича и В.В. Яшиной
• 1.4 Модифицированные дескриптивные алгебры изображений Исхакова
• Выводы по первой главе
• Глава 2. Разработка системы технического зрения мобильного робота для пространственной ориентации в комнате
• 2.1 Требования к СТЗ и разработка концепции АИС
• 2.2 Техническое задание на проектирование системы технического зрения
• 2.3 Технический проект системы технического зрения мобильного робота
• 2.3 Разработка системы технического зрения для ориентации мобильного робота в комнате
• Выводы по второй главе8
• Заключение
• Литература

Введение

Информационно-измерительные системы для робототехнических систем являются той неотъемлемой частью, которая играет очень важную роль, а именно позволяет взаимодействовать в информационном плане с внешней средой. Ясно, что она по-своему составу неоднородна и состоит из разных датчиков, которые также по-разному вносят свой вклад в перцепцию окружающего мира. При этом наибольшую работу делает система технического зрения (СТЗ), фиксируя не менее 70-76% информации.

По-своему строению и принципам функционирования СТЗ отличаются от остальных датчиков информационно-измерительных систем. В современном мире датчики робототехнических систем детально изучены, а исследования в этой сфере направлены на улучшение их функциональности за счет расширения рабочего диапазона технических параметров. Исследования же СТЗ коренным образом отличаются от выше упомянутых систем. Это связано с модальностью той информации, которую призвана фиксировать СТЗ. Как, например, в случае с естественным языком, считается, что многозначность или полисемия является его центральным недостатком. В изображениях же так же присутствуют подобные «минусы», важным из числа которых является субъективность восприятия зафиксированных данных. Не меньшую проблему создает отсутствие универсальной модели любого объекта наблюдения, описывающей одновременно все его аспекты. Если же такая модель существовала, распознаванию бы можно было свести простому сопоставлению двух подобных изображений и ответить на вопрос «Какой из аспектов мы наблюдаем для текущего объекта?». К сожалению, ни один и этих проблем даже частично не разрешены. Они же являются фундаментальными проблемами не только искусственного интеллекта и информатики, но ряда смежных наук: когнитивная психология, нейрофизиология, геометрия и т.п.

Однако вернемся к проблеме, которая планируется разрешить в рамках исследований дипломного проекта, что обуславливает ее актуальность. Эта проблема заключается в творческом подходе к созданию СТЗ. В области информационно-измерительных систем создание каждого СТЗ требует творческого подхода. Тем самым, уже в корне, не обсуждается проблема автоматического проектирования и реализации таких систем. Впервые эта идея была предложена А.Р. Исхаковым в целой серии изданных работ по модифицированным дескриптивным алгебрам изображений. Эти работы построены на основе научных работ академика Ю.И. Журавлева и его школы по дескриптивному подходу к обработке, анализу и пониманию изображений. В дипломном проекте планируется проведение работ по проектированию и реализации программного обеспечения, направленного на создание редактора СТЗ. Также предполагается применение этого редактора в разработке системы технического зрения мобильного робота для ориентации в комнате.

Объектом исследования дипломного проекта является система технического зрения для мобильного робота.

Предмет исследований заключается в возможности использования трехуровневой архитектуры для решения задачи ориентации мобильного робота в комнате с помощью СТЗ.

Предлагаемая технология к разрешению актуальной проблемы предметной области основана на использовании алгебраического подхода к обработке , анализу и распознаванию изображений. Ее новизна заключается в:

· решении задачи ориентации робота с использованием модифицированных дескриптивных алгебр изображений А.Р. Исхакова

· проектировании программного обеспечения автоматизирующего процесс создания СТЗ

· реализации редактора СТЗ в среде технических вычислений MATLAB.

Таким образом, основная цель дипломного проекта формулируется следующим образом: спроектировать и реализовать в среде MATLAB программное обеспечение для автоматического создания СТЗ мобильных роботов в модифицированных дескриптивных алгебрах изображений, а также решить задачу автоматической ориентации мобильного робота в комнате на основе решенного в этом ПО системы технического зрения.

Для достижения этой цели необходимо решение следующих задач:

· изучить зарубежный и отечественный опыт создания систем технического зрения

· детально исследовать возможности математических аппаратов дескриптивных алгебр изображений, дескриптивных алгебр изображений с одним кольцом и модифицированных дескриптивных алгебр изображений

· разработать концепцию решения задачи, архитектуры разрабатываемой СТЗ и сформулировать требования к его функционированию

· разработать проект программного обеспечения для редактирования математических моделей СТЗ

· реализовать ПО редактора СТЗ в среде MATLAB и решить задачу ориентации робота в комнате.

Глава 1. Информационные системы мобильных роботов и технологии их разработки

1.1 Роль и место информационно-измерительных систем в составе роботов

В работе [Юревич, 2005] отечественного исследователя Е.И. Юревича приведена обобщенная функциональная схема робота (рис. 1.1). Согласно этой функциональной схеме информационно-управляющей системе любого очуствленного робота отводится центральная роль.

Рис. 1.1 Обобщенная функциональная схема робота

Она позволяет выполнять две основные задачи:

1. обработка прямых управляющих сигналов от оператора при дистанционном управлении;

2. обработка информации, поступаемой от сенсорной системы по обратной связи.

Известно, что роботы изначально были придуманы для копирования человека с целью автоматизации его деятельности. Поэтому обратимся к другой схеме - общей функциональной схеме управления движениями человека. Эта схема рассмотрена в той же самой работе (рис. 1.2) [юревич, 2005].

Как видно на рис. 1.2 у человека, аналогично роботу, блок обработки сенсорной информации расположен на стратегическом уровне. Это однозначно говорит о централизованном управлении всей человеческой системой. Так как данная работа не ставит целью подробный системный анализ функциональных схем роботов и людей, приведем всего лишь их краткую характеристику.

Рис. 1.2 Общая функциональная схема управления движениями человека

Проведем краткий сравнительный анализ функциональных схем роботов и людей, хотя нужно отметить, что вторая схема, как раз и обусловило появление первой. Информационно-управляющая система роботов направлена на обработку сенсорной информации. На рис. 1.1 приведена укрупненная схема роботов, поэтому не наблюдается деление сенсорной системы на внешние и внутренние рецепторы. Системы технического зрения, которые будут исследованы в пределах данной работы, являются частным случаем внешних рецепторов, предназначенных для получения информации об окружающей внешней среде. Порядка 85-92% информации робот получает именно через системы технического зрения []. Эта информация у роботов используется для синхронизации внутренней информационной модели с реальной обстановкой в окружающей среды. Задачи стратегического и тактического уровней также решаются у роботов. На рис. 1.1 они объединены в информационно-управляющую систему.

Ясно, что детальное исследование строения человеческого зрения и его функциональности является первоочередной актуальной задачей в робототехнике и мехатронике. Вообще нужно говорить про размывание четких границ между этими направлениями исследований, ибо сейчас наблюдается тенденция предпочтения именно очуствленных интеллектуальных роботов простым мехатронным системам, хотя последние и занимают большую долю в парке технических систем этого направления (рис. 1.3) [Юревич, 2007]. Миниатюризация и интеллектуализация являются основными направлениями развития подобных технических систем. Интеллектуализация роботов проводится не только на стратегическом уровне, но и на тактическом и исполнительном. Например, известны случаи применения интеллектуальных нейросетевых и нечетких ПИД регуляторов. Это означает, что интеллектуализация роботов идет не только по вертикали в их структурно-функциональной схеме, но и по горизонтальным уровням. Последнее означает, что любая отдельная подсистема в данной схеме может быть реализована с применением интеллектуальных технологий. Поэтому одним из используемых подходов в разработке математической модели системы технического зрения для пространственной ориентации мобильного робота является описание ее функциональной схемы на базе модифицированных дескриптивных алгебр изображений А.Р. Исхакова в пространстве состояний изображений.



Рис. 1.3 Хронология развития робототехнических технических систем

Вернемся к руслу нашей работы и рассмотрим системы технического зрения в срезе их современного состояния с целью детализации блока обработки сенсорной информации. Как видно на рис. 1.4 в интеллектуальные роботы функционируют согласно централизованному принципу измерения параметров внешней среды и построению и выполнению распределенного алгоритма решения задач для достижения глобальной цели.

В своей работе «Управление роботами и робототехническими системами» Е.И. Юревич отмечает, что задача проектирования и разработки мобильной подсистемы в настоящее время не относится к числу задач робототехники. Было бы ошибочным исключить проектирование и разработку ходового комплекса мобильного робота из перечня задач робототехники. Наоборот, повышение технических и ходовых качеств любой мобильной платформы за счет ее интеллектуализации должна рассматриваться в рамках изучения дисциплин по теоретической и прикладной робототехники в ВУЗах.



Рис. 1.4 Обобщенная структурно-функциональная схема интеллектуального управления роботом

Ярким примером тому является четырехногий робот с адаптивным управление BigDog [http://ru.wikipedia.org/wiki/BigDog]. Этот шагающий робот создавался с целью повышения оперативности перемещения в сильно пересеченной местности грузов для американской армии. В 2005 году фирмой Boston Dynamics совместно с Foster-Miller, Лабораторией реактивного движения NASA и Harvard University Concord Filed Station был представлен робочий прототип [http://www.bostondynamics.com/img/BigDog_Overview.pdf].



Рис. 1.5 Американский военный робот BigDog от Boston Dynamics

Согласно общедоступным документам (рис. 1.6) в Интернете робот наделен стереоскопической системой технического зрения, решая при этом две основные задачи [http://www.bostondynamics.com/img/BigDog_Overview.pdf]:

1. обнаружение препятствия

2. измерение наклона поверхности земли, наблюдаемого по СТЗ.

Рис. 1.6 Состав сенсорной системы BigDog и решаемые задачи

Обратимся в этих документах к программной архитектуре робота (рис. 1.7).



Рис. 1.7 Программная архитектура BigDog

Из рис. 1.6 ясно, что с применением СТЗ BigDog решаются задачи проприоцепции в пространстве - ощущение положения частей собственного тела относительно друг друга. Кроме того данные от СТЗ применяются на этапе оценки текущего положения и тела робота, а также подтверждения его пространственного расположения на карте местности и ориентации на этапе планирования действий (рис. 1.7). Измерение пути перемещения мобильного робота относительно предыдущего положения может быть произведено и другими способами и средствами [http://robocraft.ru/blog/technology/736.html, Предко-2004]. Но в силу того, что изначально предполагается перемещение робота в сильно пересеченной местности, он может совершать много «холостых» пространственных движений. Так как энкодер привода фиксирует любое изменение в пространстве базы мобильной платформы (а именно ее поступательные и вращательные перемещения), то эти оценки могут быть недостоверными. Поэтому обычно для подтверждения положения робота на карте используют не только устройства GPS/GLONASS, но и данные, поступаемые от СТЗ робота. Хотя эта задача к настоящему моменту времени решена только частично в области обработки, анализа и распознавания изображений [Дуда-1973, Юревич-2007], установление соответствия апостериорных данных датчиков к априорным данным в информационной модели может быть решена на достаточно высоком уровне достоверности.

Требуемый объем данной выпускной квалификационной работы не позволяет провести наиболее полный обзор современных робототехнических систем, в которых СТЗ играет важную роль в структуре любого робота. Поэтому здесь был рассмотрен наиболее интересный, по-мнению автора, зарубежный проект, где активно используется СТЗ. Следующий параграф работы представляет собой обзор известных отечественных и зарубежных систем технического зрения современности, советского и постсоветского пространства.

1.2 Системы технического зрения производства СССР и России

Для обзорной работы СТЗ в дипломном проекте были выбраны следующие источники, которые, по-мнению автора, наиболее полно отражают текущее состояние парка машинного зрения:

1. справочник по системам технического зрения под общей редакцией В.И. Сырямкина и В.С. Титова от 1993 года;

2. учебное пособие по информационным устройствам робототехнических систем С.А. Воротникова от 2005 года;

3. обзорную статью по машинному зрению и цифровой обработке изображений А. Головастова от 2010 года;

4. материалы научно-технической конференции «Техническое зрение в системах управления» с 2010 по 2013 годы, организованные Институтом космических исследований РАН (ИКИ РАН), ФГУП «Государственный научно-исследовательский институт авиационных систем» (ГосНИИАС) и Институтом прикладной математики им. М.В. Келдыша РАН (ИПМ РАН).

В совокупности эти источники отражают текущее состояние разработок и тенденцию развития отечественных систем технического зрения.

В поздний период советской эпохи и на начальном этапе постсоветского пространства в области развития систем технического зрения были известны работы группы по системам технического зрения при научном Совете АН СССР «Робототехника и автоматизированное производство» ряда отечественных школ Москвы, Ленинграда, Томска, Минска, Ижевска, Красноярска и ряда других городов страны. Итогом работы этой группы стал справочник, где отражены основные результаты работы следующих авторов: Титов В.С., Якушенков Ю.Г., Пряничников В.Е., Ширабакина Т.А., Жаботинский Ю.Г., Александров Е.И., Жданов А.А., Карели-Лямина Э.С., Соколов С.М., Сырямкин В.И., Мошкин В.И., Петров А.А., Потехин В.А., Никитина Ю.А., Титов В.С., Нечунаев П.И., Фомин А.А., Боровик О.С., Неруш Г.И., Рыбак В.И., Вальков В.М., Ващило А.А., Долженков В.А., Милорадов И.А., Галиуллин В.М., Андреев Ю.А., Пустынский И.Н., Мищенко Н.И., Воронин Ф.В., Шевлягин М.М., Четвергов Н.П., Яричин Е.М., Лопухин В.А., Шелест Д.К., Балкибеков С.Э., Мартынов А.К., Мухин С.П., Сапронов И.А., Барановский А.А., Колодин В.А., Свендровский А.Р., Гафаров Р.М., Тептин Ю.Л., Юдашкин В.А., Златкис В.М., Шелест Д.К., Салмин П.Н., Урбанович В.К., Малышевский В.П., Перелыгин А.П., Фомин А.А., Шаманов И.В., Петухов С.В., Ланге М.М., Парфенов А.П., Киселев О.Д., Раппопорт О.Л., Кравченко А.Н., Орлов Ю.А., Вихров Г.А.

В рамках этой огромной обобщающей отечественной работы: сформулирована общая концепция построения систем технического зрения и проведена систематизированная классификация систем технического зрения роботов, описаны методы и алгоритмы обработки зрительной информацией (в настоящее время под этим термином понимаются изображения в тех диапазонах, в которых возможна их фиксация), классифицированы типовые элементы и узлы СТЗ, описана методика расчета и проектирования систем технического зрения, приведены 14 различных примеров разработанных СТЗ отечественного производства, заложены основы корреляционным и акустическим СТЗ. Перечислим названия СТЗ, раскрываемые в справочнике:

светолокационные СТЗ,

СТЗ для контроля качества и формы полупроводниковых изделий,

СТЗ для контроля печатных плат и фотошаблонов,

телевизионные СТЗ для контроля и проверки стрелочных индикаторных устройств,

помехоустойчивые СТЗ робототехнического гибкого производственного модуля сварки,

СТЗ для гибких производственных модулей механообработки,

СТЗ для контроля объектов в рабочей зоне робота,

СТЗ для распознавания символов,

СТЗ для автоматизации хлопкоуборочных процессов,

СТЗ для контроля распределения температуры на поверхности,

СТЗ для робототехнических комплексов, обслуживающих подвесные и ленточные конвейеры,

СТЗ для контроля параметров оптических деталей,

СТЗ для раскроя материала

СТЗ на основе бесконтактных чувствительных линеек или поверхностей.

Приведем основные результаты этой коллективной работы и кратко их охарактеризуем. Техническим зрением понимается процесс восприятие объектов окружающей среды с помощью оптических датчиков и их распознавание. В составе СТЗ находятся датчики оптической информации (ДОИ) и информационные средства обработки и анализа изображений, реализованные на программном или аппаратном уровнях. Каждое такое СТЗ работает по следующему принципу:

1. воспринимает или регистрирует (осуществляет захват) изображения сцены наблюдения

2. формирует модель захваченного изображения (в основном, это оцифровка)

3. осуществляет поиск на оцифрованном изображении объектов интереса

4. проводит классификацию найденных объектов интереса

5. для каждого объекта интереса определяет местонахождение в рабочей зоне

6. определяет ориентацию объектов интереса в рабочей зоне

7. проводит измерение параметров, выбранных в качестве признаков распознавания

Такие СТЗ имеют структурную схему, приведенную ниже на рис. 1.8.

Рис. 1.8 Структурная схема СТЗ советского периода

На рис. 1.8 ДИ₁,…, ДИ_N - датчики изображения в основной цепи, ДИ_Д - дополнительный датчик изображения, ОМ - объект манипулирования, ОС - осветитель системы. Подобные СТЗ классифицировались по десяти принципам:

1) логике действия;

2) функциональному предназначению;

3) автономности работы;

4) дальности действия;

5) методу получения изображений;

6) числу используемых оптических датчиков;

7) виду рабочей информации;

8) способу пространственного размещения;

9) методам обработки изображений;

10) методам анализа изображений.

При проектировании и разработке любых СТЗ техническое задание должно содержать следующие требования: к способности решения различного уровня сложности функциональных задач; форме и размерам рабочей области; метрологические; к совместимости временных затрат с временными характеристиками технологических процессов при решении задач; программной и аппаратной совместимости СТЗ с системой управления (СУР); к удобству оперативного функционального расширения; устойчивости процессов управления; надежности СТЗ; конструктивно-технологические; эксплуатационные; эргономические; технико-экономические. При этом перечисленные требования не являются независимыми. Так, например, первое требования к «интеллекту» СТЗ влияет на конструктивно-технологические, временные, технико-экономические и т.п.

Для более ясного понимания опишем примерные процесс разработки технического задания СТЗ для решения задачи дипломного проекта. Состав такой задачи будет состоять из подзадачи классификации и определения ориентации неперекрывающихся объектов, перемещаемых на ленте транспортера. В таком случае, можно в качестве ДИ использовать матрицу дискретных датчиков оптической информации - камеру ПЗС (прибор с зарядовой связью). Такой выбор позволяет улучшить параметры надежности СТЗ и уменьшит время оперативной перестройки структуры всей СТЗ при необходимости. Требования к форме рабочей области формируются исходя из общих принципов:

1. фокальная плоскость датчика текущего изображения располагается параллельно одной из основных плоскостей или осей системы координат, что позволит: упростить процедуру обработки и анализа изображений, устранить перспективные искажения изображений;

2. необходимо такое перемещение конвейера, которое обеспечивает минимизацию изменений размеров наблюдаемых деталей;

3. детали должно максимально контрастировать между собой и минимально перекрывать друг друга;

4. входной зрачок ДОИ максимально должен быть защищен от воздействия брызг красителей, стружки, охлаждающих смазочных и расплавленных веществ и т.д.;

5. СТЗ должна обладать возможность использования несколько ДОИ.

Требования к программной и аппаратной совместимости заключаются в следующем. При разработке структуры СТЗ используются рекомендованные Государственной системой промышленных приборов (ГСП) изделия. Они должны быть включены в систему промышленных приборов, средств вычислительной техники и автоматизации (ППСА). Стандарты ГСП должны быть включены в Единую систему стандартов приборостроения (ЕССП). При всем этом аппаратная совместимость включает: конструктивную совместимость, используемых разъемов, плат, модулей, стоек и других конструкций; энергетическую совместимость по напряжениям и токам; сигнальную совместимость по уровням аналоговых и цифровых сигналов; схемотехническую совместимость; информационную совместимость. Под программной совместимостью подразумевается совместимость: протоколов информационного обмена; способов кодирования изображений; интерфейсную; операциональную. Требования к устойчивости процессов управления формулируются в форме ограничений на выбор времени реакции комплекса «СТЗ-СУР-привод» с целью исключения автоколебательных процессов:

,

где - показатель колебательности, - частота среза

Требования к надежности формулируются, как способность системы безотказной работы в течении определенного срока времени. Вероятность отказа системы подчиняется экспоненциальному закону:

,

где - интенсивности потока отказов n элементов.

К концу советского периода был достигнут следующий уровень показателей: среднее время наработки на отказ - 100-1000 ч., средний срок службы до капитального ремонта - 2-20 лет, допустимое время непрерывной работы - 16-24 ч.

Рис. 1.9 Алгоритм работы СТЗ советского периода

Следующей важной особенностью коллективной монографии является общепринятый в то время алгоритм работы СТЗ (рис. 1.9). Забегая вперед нужно отметить, что все СТЗ советского периода были однопроцессорными. Данный принцип заложен в современную структурно-функциональную схему современных однопроцессорных СТЗ, называемой трехуровневой архитектурой СТЗ [воротников-2005]. Перед тем, как приступить к обсуждению процессов обработки, анализа и распознавания изображений кратко охарактеризуем состояние и технические требования к современным СТЗ на примере рынка России и зарубежа.

В современном мире СТЗ относятся к группе бесконтактных пассивных информационных средств. В большинстве случаев они в своем составе не имеют излучателя и функционируют в широком диапазоне волн электромагнитного излучения - от 10^-12 до 10^-1. Как известно [воротников-2005] СТЗ, работающие в оптическом диапазоне (0,38…0,78 мкм) наиболее распространенные (рис. 1.10).

Рис. 1.10 Электромагнитное излучение

Особенностью таких СТЗ является их способность формировать изображение в виде массива амплитуд его двумерной функции яркости

У современных СТЗ выделяют 3 основных признака:

1) по сложности решаемых задач - мощные, средние, малые и персональные;

2) по структуре вычислительного процесса - однопроцессорные, многопроцессорные, системы на базе матричного процессора, системы поточной обработки;

3) по типу первичного преобразователя - одномерные 1D, двумерные 2D, подвижные двумерные K2D, трехмерные 3D. В работе [воротников-2005] отмечается, что распространение получили 5 типов СТЗ. Такое деление обусловлено сложностью технической задачи и типом используемых датчиков (табл. 1).

Таблица 1

Основные типы современных СТЗ

№	Тип изображения	Тип вычислительной структуры	Тип датчика
	плосок	объемное	последовательная	параллельная	смешанная	цветной	Черно-белый
1	+	-	+	-	-	-	+
2	+	+	-	M	-	+	+
3	+	-	-	-	MK	-	+
4	+	+	-	K	-	-	+
5	+	+	-	T	-	+	+

В таблице 1 использованы следующие обозначения: M - матричная архитектура, K - конвейерная архитектура, MK - смешанная, т.е. матрично-конвейерная архитектура, Т - транспьютер.

На рис. 1.11 изображена структурная схема однопроцессорных СТЗ. Здесь в персональный компьютер входит блок предварительной обработки изображений. Обычно он реализуется программно, но при необходимости на рынке можно купить и специализированную аппаратную реализацию, называемую фреймграббером. Аппаратная реализация более быстрая, но предоставляет меньше возможностей оперативной корректировки управляющих параметров методов предварительной обработки изображений, реализованных на аппаратном уровне.

Рис. 1.11 Архитектура однопроцессорного СТЗ



Примером отечественных фреймграбберов являются системы «Видеоскан» и «Мегапиксел». В таблице 2 приведены некоторые реализации промышленных СТЗ и их краткая техническая и прикладная характеристики [воротников-2005].

Таблица 2

СТЗ зарубежного и российского производства

Дипломный проект ставит целью не исследование, проектирование или разработку СТЗ на аппаратном уровне, а создание эффективного проекта и программной системы на базе однопроцессорной архитектуры. Поэтому проведем обзор современных СТЗ по их основным техническим параметрам и функциональным возможностям. Это позволит четко выделить отдельные виды современных архитектур СТЗ, хотя в таблице 1 они предварительно уже были озвучены. Для обзора используем статью [головастов-2010] и ассортимент товаров компании ADLINK.

Платы видеозахвата по способу обработки сигналов делятся на аналоговые и цифровые. Четырехканальные промышленные платы PCI-RTV24 и PCIe-RTV24 c шиной PCI Express x1 позволяют захватывать аналоговое видео с 4 композитных входов, как цветных (PAL, SECAM, NTSC), так и черно-белых форматов (CCIR и EIA). Такие реализации работают на частоте 30кадров в секунду по каждому каналу и позволяют получить изображение разрешением 640х480 и 768х576. Программным путем можно установить требуемый масштаб изображений, изменить яркость, контрастность и насыщенность в пределах 0 до 200%. Дополнительно для стандарта NTSC возможна регулировка оттенка, и все платы снабжены системой автоматической регулировки цветности. Опционально эти платы могут быть дополнены модулями расширения RTV-E4, которые позволяют увеличить число видеоканалов до 16. Еще одним вариантом расширения системы является плата RTV-I4, предназначенный для увеличения количество дискретных линий ввода-вывода. Платы PCIe-RTV24/PCI-RTV24 поддерживают следующие ОС: Windows Vista (64/32 разрядные версии)/XP/Xpe, Microsoft DirectX? Linux Platform Fedore Core 3, Kernel 2.6.22. В состав рекомендуемого ПО входят C#/.NET/VC++/VB/C++ Builder/Delphi, драйвер приложений Angelo-LVIEW на платформе LabVIEW, программа для тестирования и инсталляции основных функций ViewCreatorProTM. К числу аналоговых плат этой фирмы также относятся платы cRTV-24/cRTV-44. Они обычно выполняется в формате CompactPCI. Плата cRTV-24 поддерживает 32-разрядную шину PCI с частотой 32 МГц. Плата cRTV-44 рассчитана на 64-разрядную шину частотой 66 МГц. Эти платы используются в составе шасси CompactPCI/PXI. Основными недостатками аналоговых плат видеозахвата являются: гребешковые искажения, обусловленные чересстрочной разверткой; их привязанность к телевизионным стандартам PAL, NTSC, SECAM; снижение четкости изображения из-за цифро-аналогово-цифровых преобразований; чрезмерная подверженность к помехам. Такие системы как стандарт имеют двух и более шинную архитектуру (рис. 1.12а). Основными областями применения представленных устройств являются системы охранного видеонаблюдения, аппаратура многоканальной видеозаписи, промышленные системы контроля, устройства управления, построенные на базе машинного зрения, приборы для научных исследований, медицинской диагностическое оборудование [головастов-2010].



Рис. 1.12 Современные архитектуры СТЗ (а - двухшинная, б - на базе матричного процессора, в - конвейерная)

Использование цифровых видеосистем имеет неоспоримые преимущества. У ADLINK она представлена линейкой товаров PCIe-CML64F. Одноканальная PCI Express x4 плата видеозахвата PCIe-CML64F поддерживает захват видео и передачу видеоданных по цифровому интерфейсу Camera-Link в трехконфигурациях Base/Medium/Full. В составе платы используются микросхемы ПЛИС, что позволяет получить высокую гибкость, большую производительность и улучшить качество, используя функции предварительной обработки изображений. Анализ протокола CameraLink позволяет сделать предположения об архитектуре платы. Протокол CameraLink создавался для стандартизации разработок ведущих компаний EPIX, Integral Technologies, Matrox, National Instruments с целью подключения высокоскоростных видеокамер. Режиму Base характерно: один чип, один разъем, передача 28 битов за такт связи, максимальная пропускная способность 3х56 МГц=255 Мбайт/с (теоретически). Режим Full характеризуется тем, что используется три чипа, два разъема, передача 84 битов за такт связи, максимальная пропускная способность составляет 8х85 МГц=680 Мбайт/с. Протокол CameraLink при всех своих достоинствах имеет и недостатки: длина кабеля до 10 метров, в конфигурациях Medium и Full пары кабелей должны быть одинаковыми, стоимость реализации получается достаточно высокой, соединение имеет вид точка-точка, что усложняет подключение нескольких камер. Плата поддерживает работу с ОС Windows Vista (64/32 разраядные)/XP. Рекомендуемое ПО для разработки прикладных решений в лице C#/.NET/VC++ 6.0/VB 6.0/ Borland C Builder 6.0. Другая линейка товаров представлена в виде плат PCIe-CPL64, PCIe-GIE62 и FIW64/FIW62. Особенностью этих плат является использованная в них технология POD (Power Over Data, питание поверх данных) - питающее напряжение подается на подключенную камеру по кабелю передачи данных от интегрированного на плате видеозахвата модуля питания. Двухканальная PCI Express плата видеозахвата PCIe-CPL64 поддерживает передачу по интерфейсу POCL (Power over Camera Link). Используется два независимых источника видеосигналов стандарта CameraLink со скоростью 512 Мбайт/с. Плата поддерживает 64 разрядную адресацию до 16 Гбайтного пространства, DDR RAM объемом 128 Мбайт. Новинкой такого класса оборудования является плата PCIe-GIE62+ способностью передача данных в 1000Мбит/с от видеоустройств, подключенных к двум независимым портам Gigabit Ethernet. Неоспоримыми преимуществами применения данных плат следует отнести простую инсталляцию, отсутствие необходимости в дополнительных линиях питания, невысокие затраты на обслуживание оборудования, низкая стоимость владения. Эти платы используются в различных отраслях промышленности, на транспорте, в системах безопасности.

Как видно из обзора высказывание автора работы [воротников-2005] об обхвате однопроцессорными СТЗ в пределах 80% существующего рынка подтверждается. Дипломный проект будет посвящен в дальнейшем именно этому типу архитектуры. Не умаляя общего, кратко опишем и другие виды СЗТ. Появление явного аппаратного параллелизма предварялась попыткой смоделировать параллельные вычисления на однопроцессорных архитектурах. Первый шаг в этом направлении был сделан разработкой многошинной архитектуры, т.е. в целях уменьшения времени на пересылочные операции из памяти в процессор и обратно были разделены информационные потоки. Примером такого технического и коммерческого хода является модель DT-100 от фирмы Data Translation. Архитектура DT-100 относится к типу двухшинных и более (рис. 1.12а). В двухшинных и более варианте архитектур СТЗ блоки БО₁,…, БО_N прямо подключены к шине изображения и могут работать независимо от остальных и при всем этом параллельно решать определенный круг задач. Основным недостатком такой архитектуры является возникновение конфликтов на шинах. Разрешение этого конфликта возможно в двух вариантах:

1. организация жесткой приоритетной дисциплины обращения к шинам, что дает большой выигрыш по быстродействию, но реализация такой технологии возможна только для определенного круга задач;

2. использование шинного арбитра и диспетчера заданий, что позволяет анализировать любые изображения, но его реализация ведет к временным потерям на их анализ, определение процедур обмена и выдачу текущих заданий блокам обработки данных.

Реализация параллельной обработки требует слишком большого числа вычислительных блоков, что обусловило переход к смешанному последовательно-параллельному принципу организации вычислений. Примером реализации этого принципа является модель79а фирмы Kawasaki [воротников-2005].

Система на базе матричного процессора проводит параллельную обработку данных. Архитектура матричных процессоров обозначается SIMD (Single Instruction Multiple Data) представляет собой матрицу процессоров, каждый из которых имеет свою локальную память, и управляются одним устройством (рис. 1.12б). Для задач, которые можно разбить на слабосвязанные подзадачи матричная архитектура предоставляет максимально возможный вариант по скорости его решения. Примером реализации такой системы является СТЗ PEPE, используемая Министерством обороны США [воротников-2005].

Конвейерная (поточная) архитектура СТЗ эффективно при обработке массивов данных за длительный период времени (рис. 1.12в). Архитектуры подобных систем обозначаются MISD (Multiply Instruction Single Data). Такая система эффективна при обработке массивов с большим числом элементов поля и градаций яркости. Структурно конвейерная архитектура реализуется в виде линейно связанных вычислительных процессоров. Максимальный эффект от этого достигается только тогда, когда все они загружены своими задачами. Если какой-то из процессоров завершает решение задачи раньше, то следовательно он не успел получить от предыдущих вычислительных элементов задачу на выполнение, и как следствие максимальный эффект снижается. Примером такой системы является СТЗ PIPE для обработки сложных изображений в реальном времени [воротников-2005].

Ну и наконец, самым передовым видом СТЗ являются технологии построения высокоскоростных систем параллельной обработки изображений на базе транспьютеров. Транспьютерные системы позволяют изменять топологию процессоров, создавая различные типы параллельных архитектур вида: линейка, кольцо, дерево, решетка, гиперкуб и т.п. Известно, что для каждой задачи обработки и анализа изображений существует оптимальная технология, гарантирующая ее эффективное решение. Например, для задачи распознавания технических изделий наибольший эффект дал бы транспьютер древовидной архитектуры. Это обусловлено тем, что процесс обработки начинается с цветных изображений большой разрешенности и протекает в сторону уменьшения их сложности за счет перехода к менее информативным изображениям. И так далее от простых изображений к анализу и распознаванию на признаковой основе [воротников-2005].

Дипломный проект не ставит целью исследование других архитектур, отличных от архитектуры однопроцессорной СТЗ. Поэтому их изучение остается за рамками данной работы, и они ранее были бегло описаны. Выбрав даже в качестве объекта исследования архитектуру однопроцессорной СТЗ, отметим, что аппаратная реализация части задач процесса обработки, анализа и распознавания изображений обусловлена всего лишь необходимостью убыстрения этого процесса, но не позволяет ответить на вопрос о составе методов обработки и анализа изображений, а также последовательности их применения. Более сложным современным аспектом в области цифровой обработки и анализа изображений остается проблема автоматического проектирования СТЗ. Этим вопросом отдельно занимается теория автоматического управления по проблеме параметрического и структурного синтеза систем []. Ту же самую проблему можно исследовать и в области цифровой обработки и анализа изображений с привлечением специализированного математического аппарата дескриптивных алгебр изображений [Журавлев, Гуревич, Яшина, Исхаков].

Исследованием методов обработки и анализа изображений занимается специализированное научное направление, называемое компьютерным зрением или цифровой обработкой и анализом изображением. Задача распознавания изображений остается за рамками этих исследований и принадлежит области научных разработок теории распознавания образов технической кибернетики. Цифровая обработка и анализ изображений не имеет своего математического аппарата, а его методология базируется на классической математике. Разрозненность методов цифровой обработки и анализа изображений обусловлена применением различных разделов этой математики, что привело к использованию, хотя бы, различных терминологий, не говоря уже об используемых математических методах обработки и анализа изображений и их описании. С целью исключить эту фундаментальную методологическую проблему в Вычислительном Центре им. А.А. Дородницына РАН под руководством акад. Ю.И. Журавлева и к.ф.-м.н. И.Б. Гуревича был разработан новый математический аппарат, позднее получивший название дескриптивного подхода к обработке, анализа и пониманию изображений.



1.3 Дескриптивный подход к обработке, анализу и распознаванию изображений И.Б. Гуревича и В.В. Яшиной

Основы дескриптивного подхода были заложены академиком РАН Ю.И. Журавлевым. Алгебраический подход к обработке, анализу и распознаванию изображений базируется на алгебраическом подходе к распознаванию образов и алгебре алгоритмов [журавлев]. Существенное влияние на форму этого подхода также оказала теория образов У. Гренандера [гренандер]. Аналогичные исследования проводились зарубежными учеными С. Стернберг и Г. Риттер []. В настоящее время официальные работы по алгебраическому подходу к обработке, анализу и распознаванию изображений ведутся только в пределах Российской Федерации ВЦ им. А.А. Дородницына РАН комитетом IAPR TECHNICAL COMMITTEE #16 по тематике «Algebraic and Discrete Mathematical Techniques in Pattern Recognition and Image Analysis» [http://www.ccas.ru/tc16/].

Проведем подробный анализ методологии дескриптивного подхода (ДП) опираясь на математический аппарат дескриптивных алгебр изображений (ДАИ), опираясь на работы И.Б. Гуревича и В.В. Яшиной [Гуревич, Яшина-2012]. Основные результаты научных исследований опубликованы в обзорной статье «Descriptive Approach to Image Analysis: Image Formalization Space» в 2012 году. Эти результаты можно сформулировать следующими пунктами:

1) проведена концептуализация системы понятий, характеризующих изображений в задачах распознавания в виде исходной информации;

2) определены дескриптивные модели изображений, ориентированные на задачи распознавания;

3) введено понятие пространства формализации изображений, элементами которого являются различные формы (состояния, фазы) представления изображения на любом этапе решения задачи;

4) сформулированы 5 аксиом ДП.

Математический аппарат ДАИ состоит из следующих структурных составляющих

1) концептуализация и формализация фаз, которые проходит изображение в процессе преобразования при решении задачи распознавания;

2) классификация и спецификация допустимых моделей изображений (ДМИ);

3) алгебраический язык для описания моделей изображений и процедур их построения и преобразования (ДАИ);

4) реализация моделей изображений и процедур их построения и преобразования на языке (ДАИ);

5) постановки задач анализа и распознавания изображений;

6) модель процесса решения стандартной задачи распознавания изображений. Теперь обратимся и опишем некоторые, наиболее важные, базовые элементы аппарата ДАИ. Каждый из них будет состоять из авторской формулировки определения и графической интерпретации.

Объектами оперирования аппарата ДАИ являются цифровые представления изображений, называемых реализациями. Реализациями называются только исходные цифровые изображения. Об этом говорит следующие 2 определения.

Определение 1 [Гуревич, Яшина-2012]. Исходным изображением в задачах распознавания называется упорядоченный некоторым образом набор зарегистрированных начальных пространственных и контекстных данных, отражающий вид (форму и состояние) объектов, событий и процессов отображенной сцены и допускающий возможность применения к нему преобразований ПВУР.

Определение 2 [Гуревич, Яшина-201213]. Реализацией изображения называется множество точек , принадлежащих области определения реализации изображения , и множество значений в каждой точке .

Согласно концепции ДАИ, исходные изображения - реализации изображений составляют только часть исходных данных согласно лемме.

Лемма 1 [Гуревич, Яшина-2012]. Изображение задается множеством исходной информации }, являющимся прямой суммой двух подмножеств и : .

К последнему также относятся: дополнительная информация о содержании исходных изображений (контекстная и семантическая информация об изображении) и промежуточные изображения, получаемые в ходе преобразования начальных и предыдущих промежуточных изображений (рис. 1.13).

Рис. 1.13 Состав изображения в ДАИ

Множество методов обработки и анализа изображений в ДАИ классифицированы по трем группам: процедурным, параметрическим и порождающим преобразованиям. Они составляют базу для определения формальных схем, используемых при создании моделей изображений, и определяются следующим образом.

Определение 4 [Гуревич, Яшина-2012]. Дескриптивная алгебраическая схема представления изображения (ДАСПИ) - формальная схема, предназначенная для получения стандартизированного формального описания поверхностей, точечных конфигураций, форм, образующих , и отношений между ними, и записанная с помощью ДАИ.

Для каждого класса преобразований создаются свои уникальные ДАСПИ, которые являются параметризованными процедурами и позволяют получать уникальные модели изображений (рис. 1.14).

Рис. 1.14 Связи преобразований, ДАСПИ и моделей ДАИ

Согласно ряду работ [Гуревич - Яшина] процесс генерации исходных изображений в ДАИ может быть описан в виде (рис. 1.15). В ходе этой процедуры первоначальные реализации изображений с помощью реализаций ДАСПИ (ДАСПИ с означенными параметрами) преобразовываются в промежуточные реализации изображений, называемые представлениями изображений. Если эти представления допускают распознавание содержания изображения, то они перечисляются к одному из классов моделей: процедурных, параметрических или порождающих. Этой процедурой также допускается итерационное уточнение создаваемых моделей изображений.

Рис. 1.15 Процесс преобразования реализаций изображений в модели изображений

Вернемся к преобразованиям ДАИ из работа [Гуревич, Яшина - 2012].

Определение 5 [Гуревич, Яшина-2012]. Процедурное преобразование арности r над изображениями - это такая операция, применение которой ко множеству изображений преобразовывает его в некоторое другое множество изображений, в некоторое изображение или в его фрагменты. Отметим, что процедурное преобразование, по сути, применяется к реализациям исходных (ого) изображений (ия).

Определение 6 [Гуревич, Яшина-2012]. Параметрическое преобразование над изображением I - это такая операция, применение которой к изображению I преобразовывает его в числовую характеристику p, которой можно сопоставить свойства геометрических объектов, яркостных характеристик или конфигураций, образующихся за счет регулярных повторений геометрических объектов и яркостных характеристик исходного изображения.

Определение 7 [Гуревич, Яшина-2012]. Порождающее преобразование над изображением I - это такая операция, применение которой к изображению I преобразовывает его в некоторое частное представление, отображающее специфические особенности анализируемого изображения.

Определение 10 [Гуревич, Яшина-2012]. Структурирующим элементом S называется двухмерный пространственный объект, свертка которого с изображением приводит к разбиению изображения на систему окрестностей, с целью его локального анализа. Структурирующий элемент задается с помощью параметров, определяющих его форму, и числовые и геометрические характеристики. Для более ясного понимания взаимоотношений между приведенными понятиями проанализируем ниже расположенный рис. 1.16.



Рис. 1.17 Строение ДАСПИ в ДАИ

Согласно убеждениям авторов [Гуревич, Яшина-2012] ДАСПИ гарантируют получение моделей изображений в ходе их обработки и анализа. Структурно все ДАСПИ однородны и распознать их разновидность возможно только по используемому в ее составе, преобразованию. На рис. 1.17 показано, что ДАСПИ получается в ходе свертки структурирующего элемента с одним из трех видов преобразований. Уточнение такого ДАСПИ приводит к реализациям ДАСПИ (рис. 1.18), готовым уже к их применению.

Рис. 1.18Получение реализаций ДАСПИ из формальных ДАСПИ

Полученные реализации ДАСПИ являются допустимыми ДАСПИ, т.е. корректно сформулированными. Далее в ДАИ вводится новое понятие «пространство формализации изображений» (ПФИ). Оно базируется на понятии «фазовое состояние», которое применимо только к представлениям изображений, полученных путем применения допустимых ДАСПИ. Совокупность использованных ДАСПИ образуют фазовую траекторию в ПФИ.

Таким образом, фазовая траектория описывает процедуру преобразования исходных реализаций изображений в их модели. На рис. 1.19 изображено ПФИ в двух вариантах: в первом случае под фазовым состоянием подразумевается изображение в начальном, промежуточном или конечном состояниях, во втором случае фазовое состояние является формальной схемой ДАСПИ. Если рассматривать ПФИ в первом варианте, то фазовая траектория описывает процедуру преобразования изображения. Второй же вариант ПФИ позволяет описывать процедуры преобразования ДАСПИ, т.е. процессы получения одних ДАСПИ на основании других ДАСПИ.

Рис. 1.19 Пространство формализации изображений в ДАИ и ДАИ1К

На базе ДП и математического аппарата была проведена специализация ДАИ в виде дескриптивных алгебр изображений с одним кольцом (ДАИ1К). Автором этого цикла работ является сотрудник ВЦ им. А.А. Дородницына В.В. Яшина. Дипломный проект не ставит целью детальное изучение ДАИ и ДАИ1К. Еще одним, не менее важным, источником является цикл работ А.Р. Исхакова, направленных на модификацию аппарата ДАИ и ДАИ1К. Цель таких исследований заключается в исключении основного недостатка ДАИ и ДАИ1К - отсутствие в методологии ДП механизма автоматического построения решения для поставленных задач. Следующая глава дипломного проекта кратко описывает математический аппарат модифицированных дескриптивных алгебр изображений (МДАИ), представляющих частный случай ПФИ, а именно ПФИ в первом варианте.



1.4 Модифицированные дескриптивные алгебры изображений Исхакова

Появление модифицированных дескриптивных алгебр изображений (МДАИ) обусловлено прикладными трудностями использования ДАИ и ДАИ1К. К числу этих недостатков можно отнести: отсутствие глубоких исследований ПФИ, применение классического подхода к образованию новых элементов ДАИ на базе имеющихся, и как следствие, отсутствие подхода к автоматизации этой процедуры, некоторые математические конструкции ДАИ (например, порождающие преобразования и G-ДАСПИ) не имеют соответствующих процедур в теории обработки и анализа изображений и т.п. Для проведения сравнительного анализа между ДАИ и МДАИ приведем основные определения из цикла работ А.Р. Исхакова. Хотелось бы отметить, что МДАИ являются частным случаем ДАИ, а ПФИ в МДАИ называется пространством состояний изображений и представляет собой ПФИ для состояний изображений.

Анализ начнем с определения основного объекта МДАИ - реализации изображения. В отличие от реализации изображения в ДАИ, здесь он представлен в матричной форме. А.Р. Исхаков утверждает, что возможно представлять изображения не только в трех видах - бинарном, полутоновом и цветном [исхаков-12,16].

Определение: Реализацией изображения называется любой из видов матриц

1. , где

2. , где

3. ,



где

Такие разновидности были выбраны всего лишь для удобства в проведении исследований, что позволяет в дальнейшем применять формализованные вычисления. В МДАИ, как и в ДАИ и ДАИ1К, сцена наблюдения задается также и дополнительной информацией. Именно в МДАИ она получила уточнение.

Определение: Семантической и контекстной информацией об изображении называется множество , где - есть контекст (аспект) наблюдения за объектом сцены, а - информационная модель об объекте в априори.

Семантическая и контекстная информация , совместно с реализациями изображений образуют первоначальные данные - множество исходных данных.

Определение: Множеством исходных данных в МДАИ называется

Графическая интерпретация этих понятий не приводится в силу ограничения работы количеством страниц. В МДАИ также используются дополнительные понятия. Одним из них является понятие фигуры, которое, как считает автор, просто необходимо ввести, потому, что оно будет в дальнейшем использовано в определении одного из центральных терминов - модели изображений. Определение: Фигурой в реализации называется тернарное отношение технический зрение мобильный робот



Фигура, как сложный объект МДАИ, имеет также и альтернативную форму ее определения:

Определение: Фигурой в реализации называется множество

,

где - признаки объекта сцены наблюдения в реализации .

Таким образом, понятия реализации и промежуточные представления изображений в ДАИ и ДАИ1К здесь называются только одним термином - реализацией изображений. Это значит, что в ходе обработки изображения изменяют свое состояние, но остаются такими же реализациями. Эти преобразования используются в целях упрощения первоначальных данных. На упрощенных изображениях уже можно получать числены оценки параметров наблюдаемых объектов сцены, т.е. легко решаются задачи анализа изображений. Такие конечные реализации, которые допускают проведение достоверного анализа с необходимой точностью относятся уже к категории моделей изображений:

Определение: Дескриптивной моделью изображений , характеризующих сцену наблюдения, называется контекстная информация об изображении , зависящая от углов Эйлера объекта в пространстве.

Такое подход к определению дескриптивных моделей изображений (ДМИ) не входит в противоречие с понятием ДМИ в ДАИ и ДАИ1К соответствуя ранее сформулированным требованиям в ДП.

Цикл работ А.Р. Исхакова [исхаков-12,13,15,16,17,18,19,20] образует некоторую базу для исследований по автоматизации процесса моделирования систем технического зрения и систем машинного зрения. Именно в этих исследованиях делается шаг в интеграции методов цифровой обработки и анализа изображений в МДАИ. В работе [исхаков-12] описано определение методов: конвертирования изображений (цветных в полутоновые, полутоновых в бинарные и цветных в бинарные), улучшения зрительных характеристик (линейное повышение контраста, повышение контраста приведением плотности распределения), препарирования изображений (9 разновидностей), фильтрации полутоновых изображений (4 разновидности) и морфологические операции над бинарными реализациями (замыкание, размыкание, дилатация и эрозия). Работа сделана на глубоком уровне и обладает элементами конструктивизма. В качестве примера приведем формальную запись комплексного метода конвертирования цветного изображения в бинарное: