Разработка методов совмещения фрагментов и инструментария на примере формирования панорамных изображений медицинских микроскопических препаратов

Микроскопия как метод исследования постоянно развивается в зависимости от технических достижений в области точной механики и оптики, от разработок более совершенных, с более высокой разрешающей способностью самих микроскопов, дающие возможность открыть новые материалы, применить новые методы исследований. С развитием компьютерных технологий стало возможным получение изображения всего микропрепарата разделенного на отдельные кадры, что выявило задачу совмещения этих фрагментов в единое панорамное изображение. Такого рода изображение дает ряд преимуществ, так как врач получает виртуальный микропрепарат, который повышает эффективность работы врача при анализе препарата.

Из-за погрешности механического перемещения предметного столика, возникает проблема совмещения фрагментов.

Один из подходов к задаче совмещения фрагментов является поиск контрастных структур на границе совмещаемых кадров. В случае наличия областей свободных от контрастных структур, задача совмещения фрагментов становится невозможным, поэтому требуется создание специальных методов, разработке и исследованию которых и посвящен данный дипломный проект.

Задачей настоящего дипломного проекта является разработка методов совмещения фрагментов и инструментария для их исследования на примере формирования панорамных изображений медицинских микроскопических препаратов. Итоговым результатом будет являться программная система должна содержать в себе следующее: алгоритмы совмещения фрагментов панорамного изображения микроскопических препаратов, инструментарий для исследования алгоритмов, инструментарий для ручной корректировки совмещения фрагментов.

Цель работы

Разработка и исследование методов совмещения фрагментов при формировании панорамного изображения микропрепарата.

Исходные данные

Медицинские изображения, полученные с использованием системы АТЛАНТ-микро.

Основные задачи

Для достижения поставленной цели сформулирован ряд задач:

Анализ источников получения изображений;

Исследование основных свойств изображений;

Изучение описаний типовых алгоритмов совмещения фрагментов;

Изучение алгоритмов совмещения фрагментов;

Разработка алгоритмов совмещения фрагментов;

Разработка требований к программному обеспечению;

Разработка требований к аппаратному обеспечению;

Разработка требований к методическому обеспечению;

Разработка программного обеспечения системы:

Разработка структурной схемы программы;

Разработка пользовательского интерфейса программы;

Реализация алгоритмов совмещения фрагментов и инструментов для оценки работы алгоритмов;

Тестирование системы;

Разработка методического обеспечения системы:

Разработка руководства пользователя;

Разработка методики проведения экспериментального исследования;

Разработка лабораторного практикума;

Экспериментальное исследование алгоритмов;

1. Предпроектное обследование

Диагностика (в медицине) - процесс установления диагноза, то есть заключения о сущности болезни и состоянии пациента, выраженное в принятой медицинской терминологии.

Медицинские методы выявления заболеваний представляют собой совокупность исследований направленных на установление точной причины заболевания, а также изменений внутренней среды организма, сопутствующих тем или иным заболеваниям.

Методы диагностики развиваются параллельно с развитием медицины. В настоящее время разработано большое количество различных методов, применение которых значительно повышает качество медицинского обслуживания. В традиционной медицине исследование любого заболевания начинается со сбора анамнестических данных (жалобы со стороны больно, эволюция развития заболевания, наличие подобного заболевания у родственников, другие заболевания, перенесенные на протяжении жизни и пр.) и общего осмотра больного. Эти два метода исследования исторически являются наиболее ранними и в некоторых случаях позволяют установить точную причину заболевания; в других случаях данные полученные при сборе анамнеза и общем осмотре больного помогают врачу составить схему дальнейшего исследования больного и значительно сужают круг возможных исследований.

В методах распознания многих заболеваний часто применяется так называемое комплексное исследование, которое подразумевает совокупность различных методов исследования, которые помогают установить точную причину (этиологию) заболевания и составить представление о нарушениях имеющих место в организме при данном типе заболевания. Особенно часто комплексную диагностику применяют при наличии у больного сложного заболевания с невыясненной этиологией, которое сопровождается значительными нарушениями обмена веществ и функционирования различных систем организма. Эти нарушения можно рассматривать как сопутствующие заболевания. Комплексное исследование позволяет определить не только состояние больного органа или системы, но и помогает оценить функциональность других органов и систем, находящихся в физиологической или анатомической связи с очагом заболевания. Эта последняя особенность комплексного исследования помогает врачам правильно оценить состояние больного и назначить адекватное лечение с поправкой на общее состояние организма. Комплексные меры по выявлению заболеваний применяется также для установления причины заболеваний с комплексной этиологии (т.е. заболеваний которые могут быть вызваны различными факторами).

Однако, как уже упоминалось выше, комплексное исследование это совокупность различных методов медицинского исследования больного. На данный момент не существует такого метода исследования, который позволил бы оценить состояние всех органов и систем организма. Комплексные меры по выявлению заболеваний осуществляется путем проведения многочисленных тестов большей или меньшей специфичности, которые помогают установить ту или иную особенность состояния больного.

Так, в большинстве случаев, комплексная диагностика включает методы лабораторного исследования (определение качественного и количественного состава крови и других физиологических жидкостей, определение концентрации гормонов и пр.), методы инструментального исследования (электрокардиограмма, электроэнцефалограмма, ультразвуковое исследование, фиброскопия). В последнее время все большую популярность приобретают методы исследования с использованием сложной компьютерной техники: компьютерная томография, магнитно-ядерный резонанс и др.

Растущая популярность этих методов объясняется их высокой информативностью в исследованиях многих заболеваний (органические поражения внутренних органов, опухоли, дефекты развития и пр.). При этом существующие методы диагностики все время совершенствуются.

Развитие методов исследования с использованием компьютерной техники идет бок о бок с развитием визуализации данных(изображений). Изображения имеют колоссальную роль в современной диагностики, ведь достаточно переслать опытному врачу качественное изображение исследуемой патологии, чтобы получить верный диагноз.

Одной из основных целей системы АТЛАНТ-микро является автоматизация процесса диагностики, поэтому получение корректного изображения является 1 из основных задач этой системы.

Анализ последовательности изображений, полученных системой АТЛАНТ-микро, позволил выделить следующий ряд особых случаев, которые могут вызывать сложности при совмещении фрагментов во время построения панорамного изображения:

Малое количество контрастных объектов;

на нескольких кадрах;

Рис. 1.2 - Малое количество контрастных объектов на 2х последовательно снятых кадрах на большом количестве кадров;

Рис. 1.3 - Большая область с малым количеством контрастных объектов

Большой перепад яркости на двух смежных кадрах;

Рис. 1.4 - Два смежных кадра с большим перепадом яркости

Сильно разнящийся «шаг» при съемке (возможно наложение до 90%);

Последовательность кадров с недостаточной яркостью

Рис. 1.5 - Фрагмент с недостаточной яркостью

1.3 Анализ алгоритмов совмещения фрагментов

2.2.1 Разработка требований к программному обеспечению

Из предложенной концептуальной модели системы, анализа алгоритмов обработки цифровых изображений и анализа исходных данных был сформулирован ряд требований, к программному обеспечению системы:

Наличие 1 исходного алгоритма и 3х разработанных;

Наличие средств анализа результатов работы алгоритмов;

Иметь понятный интерфейс с малкой степенью вложенности меню;

Иметь возможность ручной корректировки работы алгоритмов;

Совместимость с современными ОС, такими как: Windows XP, Windows 7, Windows Vista;

2.2.2 Разработка требований к методическому обеспечению

Помимо программного обеспечения, разработанная система должна включать в себя методическое обеспечение, которое должно содержать в себе:

Подробное руководство с описанием основных функций программы;

Методику проведения эксперимента с использованием разработанного программного обеспечения;

Лабораторный практикум с текстом трёх лабораторных работ, рассчитанных на три академических часа каждая;

2.2.3 Разработка требований к экспериментальному исследованию

После разработки системы необходимо провести ряд экспериментальных исследований, которые должны включать в себя следующие основные этапы:

Цель и задача эксперимента;

Проведение эксперимента;

Выводы по результатам эксперимента;

2.2.4 Разработка требований к аппаратному обеспечению

Проанализировав алгоритмы совмещения фрагментов, которые будут реализованы в программе были сформулированы следующие требования к аппаратному обеспечению:

Операционная система Windows XP (SP2 или выше) / Windows Vista / Windows 7;

Процессор Intel Pentium с тактовой частотой 3 ГГц или лучше;

2Гб оперативной памяти;

Объём памяти видеоадаптера 256 Мб;

100 Мб свободного места на жестком диске;

Клавиатура и мышь.

3. Разработка алгоритмов совмещения фрагментов

3.1 Базовый Алгоритм

Рис. 3.1 - Базовый алгоритм совмещения фрагментов

На основе предпроэктного обследования и принципа работы данного алгоритма, становятся видны 3 глобальных недостатка:

Низкая корректность. Так как алгоритм ведет расчеты по все пикселям изображения, как информативным, так и нет, минимальная разница может соответствовать не корректному положению

Быстродействие. Алгоритм пробегает по всем пикселям области совмещения по несколько раз, по этой причине алгоритм работает крайне медленно.

Малоконтрастные области. С совмещение малоконтрастных областей алгоритм не справится по причине того, что значение средней разности по наложению будет крайне малым.

3.2 Повышения корректности совмещения

Для повышения корректности работы алгоритма необходимо убрать из анализа алгоритмом наименее информативных участков, для этого было предложено выполнить 3 этапа.

При загрузке изображений в программу обработать изображения маской выделяющей границы объектов.

Для сшиваемой пары изображений рассчитывать гистограмму по области перекрытия.

Рассчитывается порог бинаризации, при котором на изображении останется не более 70% черных пикселей, отбрасывая, таким образом, не информативные области изображения и повышая точность.

3.3 Повышения быстродействия

Для повышения быстродействия был предложено анализировать алгоритмом не каждый конкретный пиксель изображения, а средний профиль яркости по каждой координате Х. Для этого необходимо выполнить следующие шаги:

При загрузке изображений в программу обработать изображения маской выделяющей границы объектов.

Сшиваемые изображения бинаризовать с порогом таким порогом бинаризации, который уберет шум на изображении после обработки его маской. Бинаризацию осуществляется по следующему принципу: значение ниже порога приравнивается к нулю, значения выше порога бинаризации приравниваются к среднему из 3-х компонент.

Строится средний профиль изображений по оси X, т.е. X=(?p(x,j))/H, где j меняется от 0 до H - высота изображения.

Оценка корректности наложения оценивается по минимальному значению разницы средних профилей.

3.4 Совмещения малоконтрастных областей

Проблема малоконтрастных областей появляется из-за того, значение разницы средних профилей яркости по координате будет стремиться к 0, а соответственно ярко выраженного минимума не будет, что приведет к некорректному совмещению таких фрагментов.

Для решения этой проблемы были предложены следующие решения:

1. После первичной обработки алгоритмом с использованием средних профилей провести оценку корректности сшивки, и если значение разницы средних профилей менее определенного опытным путем параметра, то считать сшивку фрагментов корректной, если выше этого парметра - не корректной и тогда этот фрагмент накладывать со средним по всей панораме наложением.

2. Изначально сшивать не все кадры, а только те, которые возможно сшить корректно, а остальные кадры накладывать в пустующие области со средним наложением.

4. Разработка программного обеспечения

4.1 Разработка структурной схемы

Главный модуль программы - данный модуль должен является средством управления остальными модулями и средством перехода между модулями программного комплекса.

Модуль чтения изображений из файла - данный модуль должен реализовывать собой загрузку изображений и их координат в панораме для дальнейшей работы с ними.

Загрузка изображений в программу - данный модуль должен реализовывать собой загрузку фрагментов панорамного изображения.

Загрузка координат фрагментов - данный модуль должен реализовывать собой возможность считывания координат фрагментов в панораме.

Модуль совмещения фрагментов - данный модуль формировать панорамное изображение микропрепарата выбранными и разработанными алгоритмами совмещения фрагментов.

Модуль сохранения панорамы в файл - данный модуль должен реализовывать сохранение панорамы и координат фрагментов в файл для дальнейшей работы с ними.

Сохранение панорамного изображения в файл

Сохранение координат фрагментов в файл

Модуль ручного редактирования - данный модуль должен реализовывать возможность ручной корректировки совмещения фрагментов и должен включать в себя следующие функции:

«Плавная» попиксельная корректировка положения фрагмента;

«Грубая» ручная корректировка положения фрагмента;

Выбор зоны корректировки;

Корректировка положения 1 кадра;

Корректировка положения нескольких кадров;

Корректировка положения нескольких горизонтальных полос;

Корректировка положения полосы левее выбранного кадра;

Корректировка положения полосы правее выбранного кадра;

Подсветка выбранной для корректировки зоны;

Модуль навигации - данный модуль должен реализовывать возможность быстрой навигации по панорамному изображению.

Модуль Исследования алгоритмов - данный модуль должен реализовывать собой функционал для исследования алгоритмов.

Модуль анализа результатов работы алгоритмов

Оценка параметров перекрытия

Увеличение выбранной области

4.2 Разработка пользовательского интерфейса системы