Размещено на http://www.allbest.ru/

1

ДИПЛОМНЫЙ ПРОЕКТ

Прототип системы интеллектуального поиска документов на основе онтологии предметной области

Содержание

• Введение
• 1. Формирование требований к АС
• 2. Разработка концепции АС
• 3. Техническое задание
• 4.1 Общие положения
• 4.2 Назначение и цели создания системы
• 4.3 Характеристика объектов автоматизации
• 4.4 Требования к системе
• 4.5 Состав и содержание работ по созданию (развитию) системы
• 4.6 Порядок контроля приемки системы
• Виды, состав, объем и методы испытаний системы
• 4.7 Требования к документированию
• 5. Технический проект
• 5.1 Общее описание системы
• Описание системы
• Уровень представления. Пользовательский графический интерфейс
• 5.2 Схема структурная комплекса технических средств
• 5.3 Описание информационного обеспечения системы
• 5.4 Описание программного обеспечения
• 5.5 Описание алгоритма (проектной процедуры)
• 6. Рабочая документация
• 6.1 Руководство пользователя
• Заключение
• Список используемой литературы
• Приложения

Введение

Университетская информационная система РОССИЯ (УИС РОССИЯ) создана и целенаправленно развивается как тематическая электронная библиотека и база для исследований и учебных курсов в области экономики, управления, социологии, лингвистики, философии, филологии, международных отношений и других гуманитарных наук. УИС РОССИЯ поддерживается на базе Научно-исследовательского вычислительного центра МГУ имени М.В. Ломоносова и с 2000 года открыта для коллективного доступа. Доступ к УИС РОССИЯ бесплатный, но по обращению Руководителя и предварительной регистрации, предоставляется всем образовательным и научным учреждениям, государственным и негосударственным некоммерческим организациям и публичным библиотекам по IP-адресам, а также специалистам по индивидуальной регистрации. С системой работают свыше 250 коллективных пользователей и около 4000 специалистов по индивидуальной регистрации из всех регионов России.

В связи с устареванием разработанного в данной системе механизма поиска документов и увеличением коллекции документов (по которым производится поиска) в базе данных системы, возникла необходимость повышения пертинентности результатов поиска документов по предоставляемому пользователем поисковому запросу. В целях улучшения качества поиска коллективом, занимающимся данной системой были произведены некоторые исследования в области интеллектуальных информационных систем и предложен вариант "Интеллектуализации" механизма поиска документов при помощи онтологии предметной области.

1. Формирование требований к АС

Разрабатываемая АС должна производить интеллектуальный поиск документов указанной предметной области, соответствующей выбранной пользователем онтологии. При этом систем должна обеспечивать:

- графический интерфейс в виде web-страницы, доступной через web-браузер, предназначенный для формирования текстового пользовательского поискового запроса, списка используемых в процессе обработки пользовательского поискового запроса онтологий и списка искомых в них элементов;

- независимость результатов поиска от формы (падежа и т.д.) элементов (слова) пользовательского поискового запроса;

- возможность пользователя выбирать онтологию предметной области из списка существующих в системе, а так же указать URL какой-либо внешней онтологии предметной области. Выбранная (указанная) пользователем онтология будет использоваться в процессе обработки пользовательского поискового запроса;

- возможность выбора искомых элементов онтологии предметной области пользователем;

- предоставлять список результатов поиска как ссылки на найденные документы с выводом в этом списке указанной метаинформации о каждом найденном документе;

- предоставлять доступ к документам-результатам поиска как к web-страницам.

Дальнейшие требования к системе формируются в процессе проектирования и разработки системы, а также ходе дальнейших исследований в области применения онтологии предметной области в задаче информационного поиска.

университетская информационная система пользователь

2. Разработка концепции АС

Разрабатываемая система представляет собой систему интеллектуального поиска документов на основе онтологии предметной области, предназначенную для проведения дальнейших исследований в области применения онтологии предметной области в задачах информационного поиска. Информационный поиск производится по интегрированной коллекции документов, поступающих в систему в специальном формате из различных источников по соответствующим договорам.

Таким образом, система представляется в виде поискового движка, выполняющего требуемые задачи информационного поиска, в который, по мере исследований в данной области будут внедряться новые алгоритмы расширения пользовательского поискового запроса.

Доступ к системе осуществляется при помощи web-браузера по соответствующему адресу и протоколу HTTP. Интерфейс для формирования пользовательского поискового запроса представляет собой web-страницу. Результаты поиска так же доступны через web-браузер в виде html-страниц.

Система предоставляет поисковые API-интерфейсы для смежных систем, возвращаемые данные (список онтологий, список искомых элементов, список результатов поиска) представляются в формате JSON.

Система открыта для добавления новых коллекций документов и их метаинформации, новых онтологий предметных областей и новых языков поисковых запросов. Таким образом, поисковой механизм системы независим от предметных областей коллекций документов, по которым производится информационный поиск.

3. Техническое задание

4.1 Общие положения

Полное наименование системы и ее условное обозначение

Полное название системы: "Прототип информационной системы интеллектуального поиска на основе онтологии предметной области"

Условное обозначение: "OntoSearcher"

Номер договора (контракта)

Данный договор отсутствует.

Наименования организации-заказчика и организаций-участников работ

Научно-Исследовательский Вычислительный Центр Московского Государственного Университета имени М.В. Ломоносова.

Адрес фактический: 119991, г. Москва, Ленинские горы, д.1, стр.4, НИВЦ МГУ

Телефон: (095) 939-54-24

Факс: (095) 938-21-36

E-mail: nivc@srcc. msu.ru

Автономная Некоммерческая Организация Центр Информационных Исследований.

Адрес фактический: Москва, Воробьевы Горы, НИВЦ МГУ, комната 339

Телефон: (495) 939-35-26

E-mail: webmaster@mail. cir.ru

Перечень документов, на основании которых создается система

Данные документы отсутствуют.

Плановые сроки начала и окончания работы по созданию системы

Плановый срок начала работы - 01.09.2011.

Плановый срок окончания работы - 15.06.2012.

Источники и порядок финансирования работ

Данный документ отсутствует.

Порядок оформления и предъявления заказчику результатов работ по созданию системы

По завершению работ по разработке и созданию системы Исполнитель обязан:

- предоставить разработанную в соответствии с Настоящим Техническим Заданием систему на оптическом диске типа DVD-R в трех экземплярах;

- предоставить разработанную в соответствии с Настоящим Техническим Заданием нормативно-техническую и программную документацию в двух видах: электронном на оптическом диске с системой и в бумажном виде на формате А4;

- произвести необходимую конфигурацию технического обеспечения системы, предоставляемого Заказчиком;

- предоставить необходимое для полноценного функционирования системы в стандартном режиме программное обеспечение на оптическом диске с разработанной системой, произвести его установку и необходимую конфигурацию;

- произвести внедрение системы в организации Заказчика на предоставленном в соответствии с указанными в Настоящем Техническом Задании требованиями к техническому обеспечению системы Заказчиком техническом обеспечении;

- обеспечивать техническую поддержку системы в течение всего процесса ее эксплуатации в организации Заказчика;

По завершению работ по разработке и созданию системы Заказчик обязан:

- предоставить Разработчику для проведения работ по внедрению системы удовлетворяющее указанным в Настоящем Техническом Задании требования к техническому обеспечению необходимое техническое обеспечение;

Определения, обозначения и сокращения

Поиск верхнего уровня - поиск элементов пользовательского поискового запроса в онтологии предметной области;

Поиск нижнего уровня - полнотекстовой поиск по пользовательскому запросу в проиндексированной поисковой системой коллекции документов;

ИС - информационная система;

Интеллектуальный поиск - поиск, основанный на расширении исходного поискового запроса при помощи онтологии предметной области;

Онтология - концептуальная схема элементов, созданная в целях всеобъемлющей и детальной формализации некоторой области знаний;

Пертинентность - соответствие полученной информации информационной потребности пользователя.

4.2 Назначение и цели создания системы

Назначение системы

Основным назначением создаваемой ИС является выполнение интеллектуального поиска документов заданной предметной области при помощи онтологии предметной области.

Цели создания системы

Повышение пертинентности результатов поиска документов по текстовому запросу.

4.3 Характеристика объектов автоматизации

Таблица 1 - Характеристика объектов автоматизации

Название объекта / процедуры / процессов	Доля автоматизации	Комментарий
Загрузка онтологий	Полная автоматизация	Процесс полностью автоматизируется с помощью специального программного обеспечения, производящего загрузку онтологии из указанного источника.
Проверка онтологий	Частичная автоматизация	Процесс частично автоматизируется при помощи специального программного обеспечения, производящего синтаксическую проверку онтологии.
Расширение запроса	Полная автоматизация	Процесс полностью автоматизируется путем разработки специального алгоритма, производящего расширение пользовательского поискового запроса и построение новых при помощи указанных пользователем онтологий.
Поиск документов	Полная автоматизация	Процесс полностью автоматизируется путем использования специального программного обеспечения, производящего полнотекстовый поиск.
Отображение результатов поиска	Полная автоматизация	Процесс полностью автоматизируется путем разработки специального программного обеспечения, предназначенного для загрузки метаинформации документов из базы данных и формирования HTML-страниц, содержащих результаты поиска.

4.4 Требования к системе

Требования к системе в целом.

Требования к структуре и функционированию системы

Разрабатываемая система должна обладать модульной структурой, состав которой описан в перечне подсистем. Требуемые режимы функционирования системы:

- Стандартный режим - активны все функции системы. Используется при нормальном функционировании системы;

- Ограниченный (демонстрационный) - доступна только одна онтология, не более 5 элементов в пользовательском запросе, не более 3-х типов искомых в онтологии элементов, не более 20 (двадцати) элементов в результате поиска;

- Профилактический - функционирование системы без графического интерфейса. Используется при разработке, тестировании и отладке.

Перечень подсистем, их назначение и основные характеристики

Разрабатываемая система должна включать следующие подсистемы:

- подсистема морфологии - предназначается для морфологической обработки запроса с целью подготовки его к дальнейшему преобразованию при помощи онтологии предметной области;

- подсистема онтологии - предназначается для преобразования (расширения) поискового запроса при помощи онтологии предметной области;

- подсистема формирования запроса - предназначается для формирования итоговых поисковых запросов, полученных из исходного пользовательского запроса путем расширения при помощи онтологии предметной области;

- подсистема поиска - предназначается для проведения поиска документов по полученным поисковым запросам;

- подсистема документов - предназначается для загрузки метаинформации и формирования списка результатов поиска;

- поисковое ядро - предназначается для управления процессом обработки поискового запроса;

- подсистема графического интерфейса - предназначается для обеспечения взаимодействия пользователя с системой.

Требования к способам и средствам связи для информационного обмена между компонентами системы

Требования к способам и средствам связи для информационного обмена между компонентами Системы должны быть сформированы на этапе технического проектирования Системы.

Требования к численности и квалификации персонала системы

Персонал, обеспечивающий функционирование системы и ее информационное наполнение должен быть обучен принципам работы с программным обеспечением, обеспечивающим функционирование системы, а так же подготовку и загрузку ее информационного обеспечения (метаинформация документов).

Таблица 2 - Функции и обязанности ответственных лиц

Ответственное лицо	Функции и обязанности	Количество человек
Руководитель	Обеспечивает общее руководство группой поддержки и обслуживания информационной системы	1
Администратор системы	Обеспечивает техническую и программную поддержку функционирования системы, техническую поддержку обслуживающего персонала системы	1
Обслуживающий персонал системы	Обеспечивает информационное наполнение системы, регистрацию и техническую поддержку пользователей системы	3

Администратор поисковой системы обязан быть обучен всем программным и техническим средствам, использовавшимся при разработке системы, а так же средствам, использующимся для обеспечения полноценного функционирования системы в соответствии с заявленными в Настоящем Техническом Задании требованиями;

Обслуживающий персонал системы обязан быть обучен работе с программным обеспечением, предназначенным для формирования и загрузки информационного наполнения системы, а так же с программным обеспечением, предназначенным для регистрации пользователей в системе.

Показатели назначения

Разрабатываемая система должна обеспечивать поддержку внедрения новых алгоритмов применения онтологии предметной области для расширения пользовательского поискового запроса. Степень соответствия функционирования системы требованиям оценивается показателями результатов поиска:

- релевантности;

- пертинентности

Показатели релевантности результатов поиска относительно пользовательского и расширенного поисковых запросов определяются системой.

Показатели пертинентности результатов поиска формируются специалистами предметных областей, в которых производится поиск на основе статистических показателей результатов поиска.

В дальнейшем показатели назначения могут быть сформированы в процессе проектирования и разработки системы, а так же в ходе дальнейших исследований в сфере применения онтологий предметной области в задачах информационного поиска.

Требования к надежности

Разрабатываемая система должна обеспечивать стабильную работу всех пользователей системы при помощи ограничения количества одновременно работающих с системой пользователей. Количество одновременно работающих с системой пользователей должно зависеть от характеристик используемого аппаратного обеспечения.

При превышении числа подключений система должна выдавать сообщение о том, что количество пользователей достигло предела и подключение к системе будет возможно только через некоторое время.

В случае аварий система должна обеспечивать сохранность информационного обеспечения.

Требования к сохранности информационного обеспечения системы приведены в п.4.4.1.9.

Требования к безопасности

Система должна обеспечивать полный доступ к поисковому интерфейсу только авторизованным в системе пользователям.

Регистрация пользователей в системе должна проводиться администратором системы по письменному запросу пользователей и письменному подтверждению заказчика.

Система должна обеспечивать ограниченный доступ к поисковому интерфейсу всем пользователям системы, не прошедшим процедуру авторизации в системе. Ограниченный доступ ограничивает поисковые возможности пользователя: не более 2-х онтологий, не более 5-ти элементов в пользовательском поисковом запросе, не более 20-ти документов в списке результатов поиска.

Авторизация, аутентификация и идентификация пользователей в системе должна производиться автоматически по IP-адресу, с которого работает пользователь. При этом пользователь в системе идентифицируется по IP-адресу, что позволяет предоставлять коллективный доступ пользователей к системе с определенного разрешенного IP-адреса.

Требования к эргономике и технической эстетике

Требования не предъявляются

Требования к транспортабельности для подвижных АС

Требования не предъявляются.

Требования к защите информации от несанкционированного доступа

Система должна обеспечивать доступ к поиску только авторизованным в системе по логину и паролю пользователям.

Доступ к базе данных документов поисковой системой должен осуществляться в режиме "только чтение".

Доступ к базе данных документов программным обеспечением, предназначенным для загрузки информационного наполнения системы должен быть полным (чтение/запись/удаление).

Доступом к серверам, обеспечивающим функционирование систем должен обладать только администратор системы или администратор сети организации Заказчика.

Требования по сохранности информации при авариях

В целях обеспечения сохранности информации при авариях необходимо обеспечить резервное копирование:

- базы данных документов;

- базы данных онтологий;

- базы данных индексов документов;

- исходных кодов функциональных компонентов системы;

Резервные копии вышеописанных элементов системы должны создаваться на отдельном сервере периодически с интервалом в 1 (один) месяц. Каждая резервная копия должна храниться не менее 6 (шести) месяцев в архиве формата tar. gz. Наименование файла экземпляра резервной копии должно содержать дату создания и порядковый (уникальный) номер резервной копии в формате: "ДД-ММ-ГГГГ-ЧЧ-ММ-№№". В Системе должны быть предоставлены средства для восстановления данных из резервной копив течении суток.

Требования к защите от влияния внешних воздействий

Требования не предъявляются.

Требования к патентной частоте

По всем техническим и программным средствам, применяемым в системе, должны соблюдаться условия лицензионных соглашений и обеспечиваться патентная чистота, заключающаяся в том, что они могут быть свободно использованы в РФ без опасности нарушения действующих на ее территории патентов исключительного права, принадлежащего третьим лицам.

Требования по стандартизации и унификации

При создании информационной системы должно использоваться общесистемное программное обеспечение (операционные системы, СУБД, серверы приложений и т.д.) с открытым исходным кодом.

Применяемые при создании Системы технические средства (форматы данных, протоколы передачи и др.) и организационные решения (инструкции, требования и др.) должны быть доступны для свободного использования и документированы в виде, достаточном для независимой реализации третьими сторонами (без обращения к Разработчику).

При выборе применяемых технологических решений преимущество должно отдаваться стандартизированным решениям (т.е. прошедшим процедуру стандартизации и утвержденным в качестве стандарта либо рекомендации каким-либо признанным международным, федеральным, отраслевым, промышленным органом по стандартизации), а также решениям с открытым кодом с лицензией, допускающим их свободное использование, распространение и модификацию.

Применяемое программное обеспечение сторонних производителей также должно поставляться с учетом вышеуказанных требований. Применяемое программное обеспечение сторонних производителей должно полностью поддерживаться Разработчиком, возможно с привлечением услуг соответствующего производителя.

Программная архитектура системы должна соответствовать стандартизированным шаблонам и обеспечивать:

- Маштабируемость;

- Надежность;

- Конфигурируемость

Программный код реализации системы должен соответствовать единому стандарту именования переменных, функций и классов.

Дополнительные требования

Графический интерфейс стартовой страницы системы должен содержать:

- Цветной логотип системы, предоставляемый Заказчиком в формате PNG размером 150x300 пикселей;

- Текстовое поле для ввода текста пользовательского поискового запроса, вместимостью 256 символов и шрифтом "Verdana" размером 14.

- Список зарегистрированных в системе и доступных в настоящий момент для использования в процессе обработки системой поискового запроса онтологий, предназначенный для указания используемых онтологий, число одновременно выбранных в котором должно зависеть от режима функционирования системы и уровня доступа пользователя:

тестовый режим - не более 2-х онтологий;

ограниченный режим - не более 2-х онтологий;

стандартный режим - не более 4 онтологий;

- Список зарегистрированных в системе и доступных в настоящий момент типов связей элементов пользовательского поискового запроса с терминами онтологий, предназначенный для указания искомых типов связей, число одновременно выбранных в котором должно зависеть от режима функционирования системы и уровня доступа пользователя:

тестовый режим - не более 3-х типов связей;

ограниченный режим - не более 3-х типов связей;

стандартный режим - нет ограничений;

- Кнопку "Поиск" для выполнения поискового запроса;

- Кнопку "Очистить" для удаления введенного запроса и снятия выделений со всех онтологий;

- Копирайт и данные организации Заказчика.

Графический интерфейс страницы просмотра результатов поиска должен содержать:

- Списки результатов поиска для каждой из использованных в процессе обработки поискового запроса онтологий в виде наборов карточек документов;

- Конструктор нового запроса для каждой из использованных в процессе обработки поискового запроса онтологий, в виде наборов найденных в процессе поиска по онтологиям элементов, которые можно добавить в новый запрос;

- Кнопку "Поиск" для выполнения поискового запроса;

Списки результатов поиска для каждой из использованных в процессе поиска онтологий должны быть разделены вертикально и располагаться параллельно друг с другом.

При количестве списков результатов больше двух, необходимо разделить списки по вкладкам, реализованным средствами языка разметки HTML.

Цветовая гамма оформления графического интерфейса системы должна состоять из серебристо-серых тонов.

В качестве шрифта должен использоваться "Verdana" размером 14 с нулевым отступом.

Так же дополнительные требования могут быть сформулированы на этапах проектирования и разработки Системы.

Требования к функциям (задачам), выполняемым системой

В системе должно быть реализовано выполнение следующих функций:

Морфологическая обработка запроса:

- выделение искомых элементов из пользовательского поискового запроса;

- нормализация морфологических форм выделенных элементов запроса;

Онтологическая обработка запроса:

- загрузка схем используемых онтологий из указанных источников;

- поиск в онтологиях элементов указанного типа, соответствующих элементам запроса (поиск первого уровня);

- формирование списков найденных элементов;

Формирование запросов:

- формирование расширенных поисковых запросов на основе найденных в онтологии предметной области;

Поиск документов:

- поиск документов по исходному пользовательскому поисковому запросу;

- поиск документов по сформированным на основе онтологий расширенным запросам;

Обработка результатов поиска:

- формирование списков результатов поиска документов;

Требования к видам обеспечения

Требования к математическому обеспечению системы

Требования к математическому обеспечению системы могут быть определены и сформулированы на стадии проектирования и разработки Системы.

Требования информационному обеспечению системы

Массивы информационных данных должны представлять собой единую совокупность данных для работы функциональных задач информационной системы.

В состав данных Системы должны входить следующие виды информации:

- содержимое документов, по которым осуществляется поиск;

- онтологии предметных областей;

- графические файлы и файлы мультимедиа;

- метаинформация документов по которым осуществляется поиск;

- иные виды информации, определяемой прикладным программным обеспечением, используемым в Системе;

- служебная информация об управлении: программным и техническим обеспечением подсистем, их взаимодействии между собой.

- файлы с технической и организационной документацией;

- другие данные о внутреннем информационном обеспечении функционирования Системы.

При необходимости в структуру информационных данных Системы могут быть включены дополнительные массивы данных (временные или постоянные) с целью обобщения информации, организации взаимосвязей, обработки и подготовки информации для отдельных пользователей системы, обеспечения сквозного поиска по предоставляемой информации и обработки определенных данных.

Для хранения информации Системы должны использоваться СУБД с поддержкой языка SQL в соответствии со стандартом ISO/IEC 9075: 1992, "Язык баз данных SQL" (Database Language SQL). Записи базы данных должны сопровождаться дополнительной информацией об источнике данных, внесение изменений в базу данных рекомендуется реализовать по принципу неприменения операций удаления и коррекции записей (разрешено только дополнение), должен быть предусмотрен регламент регулярного автоматического копирования информации из баз данных на внешние носители для архивного хранения.

Для хранения метаинформации документов по которым осуществляется поиск в системе должна использоваться реляционная СУБД. Структура данных в системе должна состоять из одной основной области хранения данных стандартной безопасности.

Области хранения метаинформации документов должны строиться на основе модели данных, физически реализованной в СУБД.

Контроль доступа к метаинформации документов должен обеспечиваться средствами СУБД.

Требования к лингвистическому обеспечению системы

Разрабатываемая система должна создаваться с использованием следующих языков программирования высшего уровня:

- Java - для реализации компонентов бизнес-логики системы;

- Java Server Pages - для реализации компонентов графического интерфейса системы;

- HTML - для реализации графического интерфейса системы;

- Java Script - для реализации компонентов бизнес-логики на уровне графического интерфейса системы;

- SQL - для реализации управления данными в базе данных системы:

Требования к программному обеспечению системы

Используемое при реализации системы программное обеспечение должно удовлетворять следующим требованиям:

- Обеспечивать возможность взаимодействий со смежными системами и программным обеспечением;

- Иметь соответствующую документацию для используемой в системе версии;

- Иметь соответствующую техническую поддержку в течении всего периода эксплуатации в системе;

- Функционировать на техническом обеспечении указанной в требованиях к техническому обеспечению вычислительной мощности.

Требования к техническому обеспечению

Техническое (аппаратное) обеспечение системы (сервера) должно удовлетворять следующим требования:

- Обеспечивать полноценное функционирование описанного в требованиях к программному обеспечению ПО;

- Обеспечивать необходимую вычислительную мощность для функционирования системы и используемого ею программного обеспечения;

- Обеспечивать бесперебойное функционирование системы в случаях перебоев в электрическом питании технического обеспечения путем использования блоков бесперебойного питания.

Требования к метрологическому обеспечению

Требования не предъявляются.

Требования к организационному обеспечению

Для обеспечения защиты системы от ошибочных действий персонала в система должна предусматриваться возможность отката внесенных изменений по редактированию данных.

Требования к методическому обеспечению

Нормативно-техническая документация системы должна содержать:

- Техническое задание на разработку информационной системы;

- Технический проект системы;

- Рабочий документ системы;

- Руководство администратора системы;

- Руководство разработчика системы;

- Руководство пользователя системы;

Техническое задание, технический проект и рабочий проект системы должны соответствовать ГОСТ 34.

4.5 Состав и содержание работ по созданию (развитию) системы

Таблица 3 - Наименование и сроки выполнения работ

N п/п	Наименование раздела (вида) работы	Сроки выполнения
1.	Согласование темы и календарного плана выполнения работы. Постановка задачи. Получение задания на квалификационную работу.	10.09.2011
2.	Анализ литературы по теории поиска в информационных системах	30.09.2011
3.	Разработка программной архитектуры поисковой системы, определение средств реализации. Подготовка доклада на международную научно-практическую конференцию "Объектные системы" - 2011 (английская сессия)	15.10.2011
4.	Разработка системной базы данных и базы документов.	31.10.2011
5.	Разработка программного обеспечения, предназначенного для создания и редактирования базы данных документов, редактирования коллекций документов, редактирования классификаторов документов	15.11.2011
6.	Разработка тестовой версии онтологии, используемой для преобразования поискового запроса.	30.11.2011
7.	Разработка алгоритма преобразования поискового запроса и действующего прототипа.	31.12.2011
8.	Разработка всех заявленных функциональных компонентов системы в соответствии с представленной ранее программной архитектурой. Подготовка доклада на международную научно-практическую конференцию "Объектные системы"	29.02.2012
9.	Тестирование и доработка всех компонентов системы	31.04.2012
10.	Оформление записки, подготовка выступления, демонстрационных материалов, рецензирование работы	15.06.2012
11.	Защита работы в ГАК	По приказу

4.6 Порядок контроля приемки системы

Виды, состав, объем и методы испытаний системы

Основные требования к видам, составу, объему и методам испытаний системы уточняются в процессе проектирования Системы и согласовываются на стадии "Разработка алгоритма преобразования поискового запроса и действующего прототипа." седьмого этапа (см. таблицу 3 п.4.5 настоящего ТЗ).

Проверка качества работы системы должна оцениваться показателями релевантности и пертинентности результатов поиска. Релевантность результатов поиска относительно поискового запроса должна оцениваться уже существующими методами, реализованными в каком-либо программном обеспечении. Пертинентность результатов поиска должна оцениваться статистически, путем анализа открываемых пользователем документов-результатов поиска. В процессе работы система должна аккумулировать показатели пертинентности результатов поиска с целью обеспечения возможности применения данных показателей ходе дальнейшей обработки поисковых запросов. Оценку результатов поиска на этапе исследования результатов работы системы должны проводить специалисты предметных областей методом экспертных оценок. По результатам данных оценок принимается решение о качестве работы текущей реализации системы интеллектуального поиска и необходимости совершенствования разработанных механизмов интеллектуального поиска.

4.7 Требования к документированию

Документация системы должна содержать:

- Документация разработчика:

- описание API-функций, предоставляемых разрабатываемой системой;

- описание классов, их свойств и методов программной реализации системы;

- примеры использования программных классов системы;

- Документация пользователя:

- описание выполняемых системой функций;

- описание вариантов использования системы;

- примеры использования системы;

- Документация администратора системы:

- описание методов и протоколов доступа к консолям администрирования компонентов системы: операционная система, база данных, web-сервер и т.д.;

- описание требований системы к техническому обеспечению;

- описание требования системы к программному обеспечению;

- данные разработчика;

- Документация персонала системы:

- описание функций программного обеспечения, производящего загрузку информационного наполнения системы;

- описание формата входных данных системы;

5. Технический проект

5.1 Общее описание системы

Назначение системы

Вид деятельности, для автоматизации которой предназначена система

Разрабатываемая система предназначается для прототипирования возможностей использования онтологии предметной области в задачах информационного поиска с целью обеспечения дальнейших исследований в этой области.

Пользователю системы предлагается один, основной вариант использования "Произвести поиск" (рис. 1). Администратор системы может выполнять ее конфигурирование.

Рисунок 1 - Варианты использования системы

Процесс реализации пользовательского варианта использования "Произвести поиск" приведен на рис.2:

Рисунок 2 - Диаграмма деятельности процесса реализации пользовательского варианта использования "Произвести поиск"

Перечень объектов автоматизации, на которых используется система

Перечень функций, реализуемых системой

В функции, реализуемой системой заключается осуществление информационного поиска документов по пользовательскому запросу, применяя расширение исходного пользовательского поискового запроса при помощи онтологии предметной области. Данная функция включает в себя:

- Морфологическая обработка поискового запроса;

- Онтологическая обработка поискового запроса;

- Формирование расширенных поисковых запросов;

- Осуществление поиска документов по поисковым запросам;

- Формирование списков результатов поиска по метаинформации.

Описание системы

Структура системы

Архитектура разработанной системы является модульной и представляет собою взаимодействующие между собой функциональные компоненты, каждый из которых осуществляет определенную стадию обработки пользовательского поискового запроса.

Рисунок 3 - Диаграмма компонентов системы по функциональным слоям

Функциональные модули системы логически распределены по программным уровням абстракции системы, что делает архитектуру системы слоистой, каждый слой которой содержит соответствующие функциональные модули, необходимые доя осуществления его функционирования. Таким образом, архитектура системы разработана в соответствии со стандартной Трехуровневой архитектурой программного обеспечения, состоящей из следующих логических программных уровней: "Уровень представления", "Уровень бизнес-логики", "Уровень данных". Такой подход к организации программной архитектуры делает разработанную систему:

- Масштабируемой - возможности расширения функционала системы значительно упрощаются в связи логическим разделением компонентов системы с сохранением высокоуровневой Трехуровневой архитектуры системы;

- Конфигурируемой - изолированность уровней друг от друга позволяет (при правильном развертывании архитектуры) быстро и простыми средствами переконфигурировать систему при возникновении сбоев или при плановом обслуживании на одном из логических уровней;

- Надежной - разделение функциональных компонентов системы по логическим уровням делает систему надежнее в силу сосредоточения определенного функционала только на одном из уровней системы, исключая таким образом "смешивание" функционала на каждом из уровней, а так же "разброса" какой либо функции системы по нескольким (разным) логическим уровням системы.

В соответствии с разработанной архитектурой система состоит из следующих уровней:

- Уровень представления. Предназначен для предоставления доступа к системе. Данный уровень содержит функциональные компоненты:

- Пользовательский графический интерфейс;

- Набор API-интерфейсов системы;

- Контроллер системы;

- Уровень бизнес-логики. Предназначен для реализации бизнес-логики - обработки поискового запроса в системой. Данный уровень содержит функциональные компоненты:

- Поисковое ядро;

- Модуль морфологии;

- Модуль онтологии;

- Модуль формирования запросов;

- Модуль поиска;

- Модуль документов;

- Уровень данных. Предназначен для обеспечения доступа к:

- сервисам морфологии;

- базам онтологий;

- подсистеме полнотекстного поиска;

- базе данных метаинформации документов.

Данный уровень содержит функциональные компоненты:

Интерфейс доступа к сервисам морфологии;

- Интерфейс доступа к базам онтологий;

- Интерфейс доступа к подсистеме полнотекстного поиска (поисковому движку);

- Интерфейс доступа к базе данных документов

Сведения об АС, необходимые для обеспечения эксплуатации системы

Данные сведения приведены в п.3.4 "Описание программного обеспечения" Настоящего Документа.

Описание функционирования системы и частей системы

Уровень представления. Пользовательский графический интерфейс

Данный компонент системы реализует графический пользовательский интерфейс для обеспечения взаимодействия пользователя с поисковой системой. Средства взаимодействия пользователя с поисковой системой реализуются средствами:

- скриптового языка JavaScript и языка разметки HTML на стороне пользователя системы (клиента) web-браузере;

- языка генерации web-страниц Java Server Pages и языка программирования Java на стороне сервера системы;

В состав графического интерфейса пользователя входят:

- Текстовое поле, предназначенное для ввода текста пользовательского поискового запроса;

- Список онтологий предметных областей, позволяющий отмечать онтологии, которые необходимо использовать для расширения пользовательского поискового запроса;

- Текстовое поле, предназначенное для ввода ссылок на онтологии предметных областей, которые необходимо использовать для расширения пользовательского поискового запроса, загрузив их внешних источников (web-ресурсов) в сети Интернет;

- Кнопка "Отправить", предназначенная для отправки введенных пользователем данных на сервер с целью запуска процесса обработки пользовательского поискового запроса и выдачи результатов;

- Кнопка "Очистить", предназначенная для очистки введенных пользователем данных во всех формах web-страницы.

Данный модель обеспечивает динамическое формирование графического интерфейса пользователя системы по описанной схеме - генерацию web-страницы по запросу пользователя к серверу системы.

Набор API-интерфейсов

Данный компонент системы представляет собой набор программных интерфейсов, предназначенных для возвращения результатов выполнения запроса в формате XML. Данный функционал предназначен для обеспечения совместимости системы со смежными системами.

Контроллер системы

Данный компонент системы предназначен для приема пользовательских запросов к системе с последующей проверкой представленных параметров поиска и в случае отсутствия ошибок в полученных данных - отправкой запроса поисковому ядру системы.

Уровень бизнес-логики

Компоненты этого уровня обеспечивают реализацию бизнес-логики процесса интеллектуального поиска документов с использованием онтологии предметной области.

Поисковое ядро

Данный компонент уровня бизнес-логики системы реализует инициирование и управление всем процессом обработки пользовательского поискового запроса системой. Задачи управления процессом обработки запроса включают:

- Создание объекта поиска (структуры данных, используемой для хранения результатов всех этапов обработки запроса);

- Инициирование выделения памяти и загрузку необходимых для обработки запроса модулей;

- Передачу загруженным модулям объекта поиска и управления;

- Инициирование выгрузки из памяти функциональных модулей по завершению обработки поискового запроса;

- Выдача результатов поиска.

Модуль морфологии

Данный модуль предназначен для осуществления первичной морфологической обработки поискового запроса. В задачи модуля морфологии входит:

- "Очистка" текста запроса - удаление из текста запроса не участвующих в онтологической обработке запроса символов;

- Разделение текста запроса на элементы - выделения из текста запроса слов;

- Нормализация элементов запроса - приведение выделенных из текста запроса слов к нормальной форме: именительный падеж, единственное число;

- Повышение регистра первой буквы и понижение остальных букв каждого нормализованного элемента запроса;

В процессе морфологической обработки запроса модуль использует интерфейсы доступа к сервисам морфологии уровня данных. При этом, в силу специфики архитектуры системы на уровне модуля морфологии соблюдается полная абстракция от используемого сервиса морфологии.

По завершению морфологической обработки запроса модуль формирует список нормализованных элементов запроса, представленных в том же порядке, в котором они идут в исходном поисковом запросе.

Модуль онтологии

Данный модуль предназначен для осуществления онтологической обработки поискового запроса, направленной на расширение исходного запроса путем формирования дополнительных поисковых запросов из связанных с исходными элементами запроса указанными пользователем связями и найденными в онтологии элементами:

- синонимов элементов запроса;

- подклассов элементов запроса;

- надклассов элементов запроса.

Данный процесс поиска соответствующих элементов в онтологии в системе определен как "Поиск верхнего уровня".

В процессе онтологической обработки запроса модуль использует интерфейсы доступа к онтологиям предметных областей уровня данных для загрузки указанных пользователем онтологий предметных областей из базы онтологий или внешних Интернет-ресурсов.

По завершению онтологической обработки запроса модуль формирует списки результатов поиска "Верхнего уровня".

Модуль формирования запросов

Данный модуль предназначен для формирования дополнительных поисковых запросов из найденных в процессе осуществления поиска "Первого уровня" соответствующих элементов онтологий предметных областей. Для каждой использованной в процессе поиска онтологии производится формирование расширенного поискового запроса.

Модуль поиска

Данный модуль предназначен для осуществления поиска документов по исходному пользовательскому и построенным при помощи указанных онтологий дополнительным (расширенным) запросам.

В процессе реализации поиска по всем запросам модуль использует интерфейс доступа к подсистеме полнотекстового поиска уровня данных. При этом, в качестве подсистемы полнотекстового поиска (поискового движка) используется система Sphinx [35]. В силу специфики архитектуры на уровне модуля поиска соблюдается полная абстракция от используемого в системе поискового движка.

По завершению поиска документов по представленным запросам модуль формирует списки идентификаторов документов-результатов поиска для каждого из запросов.

Модуль документов

Данный модуль предназначен для загрузки метаинформации документов-результатов поиска и формированию "карточек" документов.

В загружаемую метаинформацию документов входят:

- имя поля - название соответствующего параметра документа;

- значение поля - значение соответствующего параметра документа;

- маска "карточки" документа - описание формата "карточки документа, используемой при отображении документа в списке результатов поиска;

В процессе обработки результатов поиска модуль использует интерфейс доступа к базе данных документов уровня данных. При этом, в силу специфики архитектуры на уровне модуля документов соблюдается полная абстракция от используемой в системе для хранения метаинформации документов СУБД.

Уровень данных

Данный уровень предоставляет более высокоуровневым компонентам системы интерфейсы для доступа к данным, таким как:

- сервис морфологии;

- база онтологий;

- внешние Интернет-ресурсы (хранилища) онтологий;

- подсистема полнотекстового поиска;

- база данных документов

Доступ к данным осуществляется посредством соответствующих программных интерфейсов, реализуемых на данном уровне системы.

Описание взаимосвязи АС с другими системами

Перечень систем, с которыми связана данная АС

Для реализации бизнес-логики процесса обработки поискового запроса разработанная система связана со следующими системами:

- Сервис морфологии - для реализации морфологической обработки поискового запроса;

- База онтологий - для реализации онтологической обработки запроса;

- Внешние Интернет-ресурсы онтологий - для реализации онтологической обработки запроса;

- Подсистема полнотекстового поиска (поисковой движок) - для реализации поиска документов по запросам;

- База данных документов - для хранения метаинформации документов, по которым осуществляется информационный поиск.

Описание связей между системами

Связь системы с сервисом морфологии

Текущая реализации системы поддерживает два вида сервисов морфологии:

- локальный, связь с которым осуществляется путем создания программного объекта соответствующего класса, осуществляющего работу со словарем и возвращающего по запросу необходимые формы слов;

- внешний, связь с которым осуществляется по протоколу HTTP [29] путем GET-запросов с необходимыми параметрами, возвращающих необходимые формы слов. Формат данного запроса не регламентируется в Настоящем Документе т.к. данный вид сервиса морфологии не используется в текущей версии системы - поддержка данного вида сервиса морфологии является экспериментальной;

В текущей версии прототипа используется локальный сервис морфологии. Связь системы с сервисом морфологии реализуется на уровне данных соответствующими интерфейсами системы. В результате взаимодействия системы с сервисом морфологии второй возвращает запрашиваемую форму слова или пустое поле в случае отсутствия запрашиваемого слова в словаре, используемом сервисом морфологии.

Связь системы с базой онтологий

Для загрузки в локальную память используемой в процессе обработки запроса онтологии предметной области используется связь системы с базой онтологий, которая может располагаться:

- локально (на одном сервере с компонентами бизнес-логики системы);

- отдельно (на отдельном сервере, связь с которым осуществляется по сети);

Выбор метода расположения базы онтологий определяется при развертывании системы. Текущая версия системы разворачивается с использованием отдельного сервера для размещения базы онтологий.

Описание регламента связи

В текущей версии системы связь системы с базой онтологий, расположенной на отдельном сервере реализуется при помощи протокола HTTP [29] путем GET-запросов с необходимыми параметрами:

- Протокол загрузки онтологии: HTTP;

- Адрес сервера базы онтологий (пример: 192.168.0.1);

- Порт доступа к базе онтологий (пример: 80);

- Каталог онтологии (пример /ontology/law/);

- Имя (Идентификатор) файла онтологии в нижнем регистре (пример: ontology123. owl).

Пример строки запроса для загрузки онтологии:

http://192.168.0.1/ontology/law/ontology123. owl

Данная строка является URL-адресом [20] файла онтологии предметной области. Используя такую строку, система произведет запрос к базе онтологий, и последующую загрузку онтологии в локальную память для использования в процессе онтологической обработки запроса.

В случае использования локальной базы онтологий, доступ к файлу онтологии может осуществляться двумя способами:

- вышеописанным методом по протоколу HTTP GET-запросом;

- по адресу файла в локальной операционной системе (не регламентируется).

В результате взаимодействия системы с базой онтологий вторая возвращает файл запрашиваемой онтологии предметной области или код ошибки в случае его отсутствия.

Технические стороны реализации данной связи регламентируются документацией OWL [19].

Связь системы с внешними Интернет-ресурсами (хранилищами) онтологий

Данная связь применяется в случае указания пользователем какой-либо внешней онтологии, используемой в процессе онтологической обработки пользовательского запроса.

Описание регламента связи

Данная связь системы с внешними Интернет-ресурсами (хранилищами) онтологий регламентируется аналогично п.4.2.2 "Связь системы с базой онтологий". При этом в качестве метода доступа к файлу используется HTTP GET-запрос по URL-адресу файла онтологии поддерживаемого системой формата. В результате взаимодействия системы с внешним Интернет-ресурсом второй возвращает файл запрашиваемой онтологии предметной области или код ошибки в случае его отсутствия.

Связь системы с системой полнотекстового поиска

Для осуществления поиска документов по поисковому запросу используется связь системы с системой полнотекстового поиска, которая может располагаться:

- локально;

- на отдельном сервере;

Описание регламента связи

Независимо от метода размещения системы полнотекстового поиска данная связь осуществляется с использованием одной технологии по протоколу системы Sphinx, интерфейсы которой реализованы на уровне данных системы. Данная связь регламентирована в документации к системе полнотекстового поиска [35]. В результате взаимодействия системы с системой полнотекстового поиска вторая возвращает список идентификаторов результатов поиска и релевантность каждого из них.

Связь системы с базой данных документов

Для загрузки метаинформации документов-результатов поиска используется связь системы с СУБД, используемой для хранения метаинформации документов. База данных документов может располагаться:

- локально;

- на отдельном сервере;

Описание регламента связи

В текущей версии системы реализована связь с СУБД MySQL версии 5.3 Независимо от метода размещения СУБД (локально или на отдельном сервере) связь с этой системой осуществляется по протоколу, регламентированному в документации к СУБД [18]. Связь системы с СУБД осуществляется при помощи реализованных на уровне данных системы интерфейсов доступа к базам данных. В результате взаимодействия системы с СУБД вторая возвращает метаинформацию запрашиваемых документов.

Связь системы полнотекстового поиска с СУБД

Данная связь необходима для индексации используемых в процессе поиска документов системой полнотекстового поиска с последующим составлением базы индексов документов.

Описание регламента связи

Данная связь систем между собой осуществляется по протоколу, регламентированному в документации к СУБД [18] и документации к системе полнотекстового поиска [35].

Описание взаимосвязей АС с подразделениями объекта автоматизации

В текущей версии Настоящего документа данные взаимосвязи не регламентируются.

Описание подсистем

Структура подсистем

Текущая версия системы (прототип) состоит из одной основной подсистемы, предназначенной для реализации обработки пользовательского поискового запроса. Высокоуровневая архитектура данной подсистемы приведена на рис.3. Данная подсистема представляет собой совокупность функциональных модулей, каждый из которых выполняет определенный этап обработки пользовательского поискового запроса.