Разработка программного обеспечения системы синтеза парадигм слов английского языка

Размещено на http://www.allbest.ru

Введение

Выявление формальных структур естественного языка (ЕЯ), формализация языка в целом, построение конструктивной теории и компьютерной модели языка являются приоритетными направлениями информатики на протяжении последних десятилетий. Системы информационного поиска, диалоговые системы, инструментальные средства для машинного перевода и автореферирования, рубрикаторы и модули проверки правописания, так или иначе, проводят анализ ЕЯ-текстов. Таким образом, область применения систем автоматической обработки текстов (АОТ) достаточно разнообразна, а в виду большого роста объемов текстовой информации и сложной ее структурированности, анализ ЕЯ-текстов представляет собой очень актуальную проблему.

Достижения последних лет в области современной логики, искусственного интеллекта и компьютерной лингвистики создали новые предпосылки для исследований природы морфологических, синтаксических, семантических и словообразовательных связей в ЕЯ и построения его функциональной модели.

Компонента системы, реализующая формальную лингвистическую модель и способная осуществлять полный лингвистический анализ ЕЯ-текста, называется лингвистическим процессором (ЛП). Независимо от языка со стороны своего внутреннего устройства ЛП представляет собой многоуровневый преобразователь. В нем различаются три уровня представления текста - морфологический, синтаксический и семантический. Каждый из уровней обслуживается соответствующим компонентом модели - массивом правил и определенным словарем.

На современном этапе развития информационных технологий морфологический компонент стал неотъемлемой частью интеллектуальных АОТ-систем. Все экспериментальные исследования в области машинной морфологии невозможны без машинного грамматического словаря. Использование словаря позволяет осуществить более полный анализ словоформы (т.е. оперировать большим числом грамматических признаков) и повысить его точность. Основные трудности, с которыми сталкиваются разработчики АОТ-систем следующие.

1. Отсутствие единого общепринятого формата и структуры словаря. Это приводит к тому, что алгоритмы всех компонент ЛП автоматически становятся словарнозависимыми и каждый алгоритм разрабатывается под определенный формат словаря.

2. Отсутствие полных словарей. Объёмы данных, с которыми имеет дело лингвистика, очень большие, кроме того лексика языка непрерывно. Для каждой предметной области существует своя терминология, включить которую в общий словарь невозможно.

3. Отсутствие средств автоматизированной лингвистической обработки словарей, она ведется в основном вручную, сопряжена с большими трудозатратами и появлением большого числа ошибок, которые трудно обнаруживаются. Поэтому создание больших по объему словарей - многолетний процесс.

Данная работа посвящена разработке программных средств синтеза парадигм слов английского языка для создания базы данных английских словоформ с полной морфологической информацией.

Актуальность данной задачи обусловлена необходимостью разработки средств АОТ, позволяющих быстро и эффективно обрабатывать неструктурированную текстовую информацию.

Объектом исследования являются лексемы английского языка.

Предмет исследования - модели словоизменения в английском языке.

Методы, использованные при написании работы - методы прикладного морфологического анализа.

Постановка задачи

Отдел распознавания речи Института проблем искусственного интеллекта (ИПИИ) уже более 15 лет ведет работы, связанные с обработкой ЕЯ-текстов. Данным отделом разработаны библиотеки словоизменения слов русского языка, библиотека лемматизации и декларативного морфологического анализа; создано несколько версий экспериментальных систем синтаксического анализа и синтаксического корректора предложений. Данные средства обработки естественно-языковых текстов широко используются как при разработке систем распознавания речи, так и при разработке систем понимания ЕЯ-текстов.

В настоящее время специалистами отдела ведутся работы в рамках международного проекта «Исследование и разработка программного обеспечения понимания неструктурированной текстовой информации на русском и английском языках на базе создания методов компьютерного полного лингвистического анализа». В связи с этим возникает необходимость адаптировать имеющиеся средства морфологической обработки, которые ориентированы на русский язык, для анализа англоязычных текстов.

Целью курсовой работы является разработка программного обеспечения (ПО) системы синтеза парадигм слов английского языка и создание с его помощью базы данных английских словоформ, содержащей полную морфологическую информацию каждой словоформы.

Разрабатываемый программный продукт (ПП) должен обладать следующими возможностями:

создание, загрузка, редактирование и сохранение словаря начальных форм слов английского языка в файле формата txt;

очистка, загрузка и сохранение базы английских словоформ;

модификация базы английских словоформ;

получение парадигмы с указанием МИ каждой словоформы по введенной пользователем лемме, содержащейся в словаре начальных форм.

Для достижения указанной цели курсовой работы ставятся и решаются следующие задачи:

1) обзор методов машинной морфологии;

2) проектирование и разработка ПО синтеза парадигм слов английского языка;

3) создание базы данных начальных форм английских слов с грамматической информацией, необходимой для генерации базы данных словоформ;

4) формализация правил словоизменения английских слов и разработка соответствующих алгоритмов;

5) автоматическая генерация базы данных английских словоформ с полной морфологической информацией, на основе реализованных алгоритмов словоизменения, использующая базу данных начальных форм английских слов;

6) тестирование системы.

Проектирование системы синтеза парадигм слов английского языка должно содержать:

описание функциональных возможностей разрабатываемого ПО;

описание формата входных-выходных данных.

Разработка ПО синтеза парадигм слов английского языка должна быть основана на результатах проектирования системы и включать обоснование выбора средств программной реализации и описание алгоритмов словообразования английского языка, структур данных, классов, функций программного комплекса.

Тестирование и анализ результатов необходимы для выявления ошибок в структуре алгоритма или его программной реализации, структуре входных и внутренних данных, а также для ликвидации конфликтных ситуаций с другим ПО.

1. Обзор методов машинной морфологии

Как уже было сказано выше, морфологическая компонента является важнейшей в современных интеллектуальных системах, где требуется распознавание и синтез речи, автоматизированный перевод с одного языка на другой, понимание и генерирование ЕЯ-текста.

Эта компонента включает в себя морфологический анализ и синтез словоформ. В ходе морфологического анализа проводится соотнесение входной словоформы к одной из основ, хранящихся в словаре, т.е. решается задача распознавания, а также определение его грамматических параметров, т.е. выделение конкретной словоформы с данной основой. Представление словоформы в виде совокупности основы и грамматических параметров требуется для проведения синтаксического анализа с целью распознавания словосочетаний и типа входной фразы. Морфологический синтез решает обратную задачу, а именно, преобразует совокупность кода основы и грамматических параметров в буквенную последовательность соответствующую синтезируемой словоформе. При этом из класса словоформ, определяемого данной основой, формируется словоформа, определяемая данными грамматическими параметрами. Эта процедура является конечным этапом при генерировании ЕЯ-фраз.

Методы машинной морфологии могут быть реализованы декларативными и процедурными способами.

1.1 Декларативные методы машинной морфологии

Для методов декларативной ориентации характерно наличие полного словаря всех возможных словоформ для каждого слова. При этом каждая словоформа снабжается полной и однозначной морфологической информацией (МИ), куда входят как постоянные, так и переменные морфологические параметры. Задача морфологического анализа в этом случае сводится к поиску нужной словоформы в словаре и копированию МИ, соответствующей найденной словоформе, в программу. Работа морфологического синтеза состоит в считывании из словаря по основе и набору МИ соответствующей словоформы этой основы.

Существует несколько классификаций основных видов алгоритмов морфологического анализа-синтеза: со словарем основ; методом логического умножения; без словарей; со словарем словоформ [1].

Морфологический анализ со словарем основ является наиболее распространенным способом анализа. Для его проведения требуется словарь основ слов и ряд вспомогательных таблиц. Основа - это неизменяемая часть слова, которая выражает его лексическое значение, то есть соотнесённость звуковой оболочки слова с соответствующими предметами или явлениями объективной действительности. Применительно к русскому языку основа - это часть слова без окончания. В английском языке основа слова, как правило, полностью совпадает с самим словом.

Если слово имеет несколько вариантов основ, то словарь, как правило, содержит все варианты. Обычно в этом случае один из вариантов основы помечается как основной, а другие варианты содержат ссылку на него. Это необходимо для дальнейшего семантического анализа, чтобы устранить различные смысловые трактовки для одного и того же слова. Дополнительные таблицы содержат, как правило, список возможных вариантов изменяемых частей слов (в русском языке - окончаний) с соответствующим им значением грамматических признаков.

В общем случае производится поиск всего слова в словаре словоформ, если слово не найдено, от него отделяется последняя буква и производится повторный поиск. Так продолжается до тех пор, пока основа не будет найдена либо пока не останется букв. В случае удачного поиска из словаря извлекаются варианты частей речи, соответствующих этой основе. Затем производится поиск в таблице изменяемых частей слова. При этом пропускаются варианты соответствующие частям речи, к которым данная основа не может относиться. Таким образом, определяются грамматические признаки разбираемой словоформы.

В основу метода морфологического анализа методом логического умножения положены положения формальной морфологии. Вводится понятие словарной функции - функции, определенной на словоформах, и сопоставляющей им некоторую информацию (последовательность нулей и единиц).

На предварительном этапе строится таблица, в которой каждой возможной букве изменяемой части (с учетом позиции в этой самой изменяемой части) ставится в соответствие вектор нулей и единиц. Каждая из позиций такого вектора соответствует определенной комбинации грамматических признаков. Единица означает, что данная буква в данной позиции может соответствовать этой комбинации грамматических признаков, ноль - что не может.

На первом этапе этот метод также предполагает членение словоформы на основу и изменяемую часть. Далее по предварительно созданной таблице векторов каждой букве изменяемой части подбирается вектор. Далее над векторами производится операция логического умножения. Таким образом определяется возможная (возможные) комбинация (-ии) грамматических признаков.

Морфологический анализ без словарей [2] проводится без использования словарей лишь с использованием таблицы аффиксов, списка слов-исключений и списка служебных неизменяемых слов (например, союзов, междометий, предлогов). Этот способ используется достаточно редко.

Также малооправданным, согласно работе Чесебиева И.А. [1], представляется морфологический анализ со словарем словоформ, подразумевающий наличие словаря, содержащего список все возможных словоформ с соответствующими им грамматическими признаками. Кроме значительного роста словаря возникает еще одна проблема: в случае отсутствия словоформы в словаре система не имеет возможности оперировать этим словом.

1.2 Процедурные методы машинной морфологии

При процедурном способе формирование словоформ осуществляется с помощью таблиц аффиксов, расклассифицированных по частям речи. Основными частями речи для синтеза являются существительное, прилагательное и глагол (глагольные формы). Наиболее сложно осуществляется синтез глагольных форм.

Процедурные методы в сравнении с декларативными требуют больших временных затрат на обработку одного слова, но объем используемых словарей позволяет загружать словари целиком в оперативную память. Кроме того, такие словари значительно легче создавать, поскольку постоянные параметры каждого слова вводятся однократно, вместе с его основой. Существенным недостатком процедурных методов является отсутствие универсальности. Другими словами, существует большое количество слов, которые нельзя представить в виде суммы неизменной основы и аффикса. Например, для английских лексем существительное «man», которое имеет во множественном числе форму «men», множество неправильных глаголов и т. д.

Существует два подхода к решению задачи процедурными методами.

Первый подход предполагает наличие словаря основ и словаря аффиксов. Для слова выполняется процедура поиска в словаре основ. При этом ищутся все основы, с которых может начинаться анализируемое слово. Если очередная основа удовлетворяет этому условию, то из словаря аффиксов извлекается строка, содержащая все возможные аффиксы для данной основы. Каждый аффикс из этой строки поочередно присоединяется к основе, и результат сравнивается с анализируемым словом. В случае их точного совпадения формируется очередная запись в список результатов поиска: по порядковому номеру аффикса в строке аффиксов определяется переменная МИ (например, для существительного - число и падеж), а по словарной информации данной основы - постоянная МИ.

Если в результате такого поиска не найдено ни одного успешного варианта, то проводится поиск среди исключений. Исключения присутствуют в словаре основ наряду с обычными основами. И те, и другие имеют в словаре информацию о постоянных морфологических признаках и о номере строки допустимых аффиксов.

Разница между исключениями и обычными основами состоит в том, что, во-первых, строка с неизменной частью слова у исключений пустая, и, во-вторых, номер строки аффиксов для исключений относится не к файлу аффиксов, а к отдельному файлу исключений. Структура этого файла точно такая же, но в него внесены целые словоформы, а не их окончания. Таким образом, при поиске среди исключений приходится просматривать все словоформы всех присутствующих в словаре исключений. Это занимает много времени, поэтому поиск среди исключений проводится только в том случае, когда не найдено ни одного варианта среди обычных основ. Сам анализ проводится точно так же. Если некоторая словоформа некоторого исключения точно совпадает с анализируемым словом, то по номеру словоформы определяются переменные морфологические параметры слова, а по словарной информации самого исключения -- постоянные параметры слова. В случае, когда все этапы поиска дали отрицательный результат (не найдено ни одного варианта), пользователю выдается запрос на ввод новой основы в словарь.

Второй подход предполагает наличие словаря начальных форм и грамматической информации, необходимой для словоизменения (как-то, часть речи, род и т.д.), а также программной реализации правил словообразования. Для слов русского языка такой словарь давно разработан [3] и успешно используется при разработке морфологических парсеров. Подход состоит в том, что слово последовательно причисляется к каждой из частей речи. Последовательно выбираются окончания для этой части речи. В случае, если окончание одной из косвенных форм совпадает с концовкой слова, совпадающая часть отбрасывается, производятся чередования в основе, если слово соответствует шаблону чередования, и к полученной основе добавляется окончание леммы. При построении леммы запоминается промежуточная информация.

Для русского языка, как и для большинства синтетических языков, задача лексико-грамматического разбора решается довольно просто и почти стопроцентной точностью, благодаря их развитой морфологии. В аналитических языках, например английском, где широко представлена лексическая многозначность, простой алгоритм, сопоставляющий каждому слову в тексте наиболее вероятный для данного слова морфологический класс, дает лишь около 90% точности.

Анализ показал, что наиболее распространенным методом морфологического анализа-синтеза является декларативный, что объясняется простотой его алгоритма и удобством кодирования. Поэтому в рамках данной работы будем использовать именно этот подход.

1.3 Способы представления морфологической информации

Один из вопросов, требующих особого рассмотрения, - способ представления МИ. Задание МИ должно быть компактно, позволять быстро и просто извлекать отдельные морфологические характеристики слова (например, только род или только часть речи).

Обычно постоянная и переменная МИ хранятся в виде строк текста. Иногда ее представляют в виде фрейма, в котором для хранения каждой из характеристик отведено отдельное поле. Для конкретной словоформы заполняются не все поля, а только те которые для нее характерны. В первом и во втором случае сталкиваемся с резервированием лишнего места и необходимостью использования сложных процедур интерпретации.

Третий способ хранения МИ - в виде битовых полей. Он сочетает в себе удобства обработки и экономное хранение МИ, поэтому более предпочтителен. Рассмотрим способ задания МИ с помощью битовых полей, реализованный в модуле декларативного морфологического анализа слов русского языка РДМА_ИПИИ, разработанного в Институте проблем искусственного интеллекта (ИПИИ).

Данная система использует алгоритмы быстрого поиска строк в большом массиве строк и рассчитана на количество словоформ словаря, содержащего 100 тыс. начальных форм, что приближенно равно 2 млн. Для реализации проекта были разработаны средства быстрого поиска строковых величин [4].

Ряд систем морфологического анализа позволяют пользователю пополнять словарь. В данной системе предполагается, что пользователь не должен пополнять словарь, т.к. он может являться источником ошибок. Словарь заполняется единожды (процесс может быть растянут во времени) разработчиком, и многократно используется конечным пользователем.

Модуль в явном виде хранит все данные в древовидной структуре, извлечение отдельных морфологических характеристик слова производится единообразно, невозможна неверная интерпретация МИ. Перечень обозначений морфологических характеристик приведен в приложении А (таблица А.1). Для извлечения МИ используются маски категорий МИ (приложение А, таблица А.2). Определение значения одной из категорий, например рода, происходит путём применения операции побитового «и» значения морфологической информации и маски категорий. Если словоформе категория не присуща, то результат операции побитового «и» её морфологической информации и маски этой категории будет равен 0. Например, для определения значения категории «род» словоформы с морфологической информацией MI необходимо выполнить операцию MI & rod_mask, в результате получим одно из значений: _Masculine, _Feminine, _Neuter или 0.

Для решения поставленной задачи были адаптированы функции быстрого поиска и эффективного хранения строковых величин этого модуля для слов английского языка, поэтому остановимся на описании библиотеки РДМА_ИПИИ более подробно. В комплект ее поставки входят следующие файлы:

GlobalFunc.h- заголовочный файл с описанием экспортируемых функций и используемых типов;

UkrDeclareLemma.dll, UkrDeclareLemma.lib - файлы библиотеки;

tab.dat, tree.dat, connect.dat - файлы, содержащие данные словарной базы.

Интерфейс библиотеки позволяет выполнять действия по следующим направлениям:

очистка, загрузка и сохранение словарной базы;

модификация словарной базы;

получение информации о словоформах;

получение информации о словарной базе;

служебные функции.

2. Обоснование выбора программных и технических средств реализации

2.1 Выбор языка программирования

Выбор языка программирования определяет разнообразие возможностей, которые программист может реализовать в приложении, а также то, насколько быстро он это сделает.

Си++ (англ. C++) - компилируемый строго типизированный язык программирования общего назначения. Поддерживает разные парадигмы программирования: процедурную, обобщённую, функциональную; наибольшее внимание уделено поддержке объектно-ориентированного программирования (ООП).

Концепция ООП вносит в арсенал разработчика новое средство - классы. Классы наряду с объектами составляют краеугольный камень многих современных языков высокого уровня. Под классом подразумевается некая сущность, которая задает некоторое общее поведение для объектов. Таким образом, любой объект может принадлежать или не принадлежать определенному классу, то есть обладать или не обладать поведением, которое данный класс подразумевает. Помимо этого ООП дает подход к следующим важным свойствам классов.

Абстракция данных. Объекты представляют собою упрощенное, идеализированное описание реальных сущностей предметной области. Если соответствующие модели адекватны решаемой задаче, то работать с ними оказывается намного удобнее, чем с низкоуровневым описанием всех возможных свойств и реакций объекта.

Инкапсуляция. Инкапсуляция - это принцип, согласно которому любой класс должен рассматриваться как чёрный ящик - пользователь класса должен видеть и использовать только интерфейсную часть класса (т. е. список декларируемых свойств и методов класса) и не вникать в его внутреннюю реализацию. Поэтому данные принято инкапсулировать в классе таким образом, чтобы доступ к ним по чтению или записи осуществлялся не напрямую, а с помощью методов. Принцип инкапсуляции (теоретически) позволяет минимизировать число связей между классами и, соответственно, упростить независимую реализацию и модификацию классов. Сокрытие данных - неотделимая часть ООП, управляющая областями видимости. Является логическим продолжением инкапсуляции. Целью сокрытия является невозможность для пользователя узнать или испортить внутреннее состояние объекта.

Наследование. Наследованием называется возможность порождать один класс от другого с сохранением всех свойств и методов класса-предка (прародителя, иногда его называют суперклассом) и добавляя, при необходимости, новые свойства и методы. Набор классов, связанных отношением наследования, называют иерархией. Наследование призвано отобразить такое свойство реального мира, как иерархичность.

Полиморфизм. Полиморфизмом называют явление, при котором функции (методу) с одним и тем же именем соответствует разный программный код (полиморфный код) в зависимости от того, объект какого класса используется при вызове данного метода. Полиморфизм обеспечивается тем, что в классе-потомке изменяют реализацию метода класса-предка с обязательным сохранением сигнатуры метода. Это обеспечивает сохранение неизменным интерфейса класса-предка и позволяет осуществить связывание имени метода в коде с разными классами - из объекта какого класса осуществляется вызов, из того класса и берётся метод с данным именем. Такой механизм называется динамическим (или поздним) связыванием - в отличие от статического (раннего) связывания, осуществляемого на этапе компиляции.

Помимо ООП, С++ предоставляет широкий спектр возможностей по работе со всеми доступными ресурсами ЭВМ, будь то динамическая память, порт ввода-вывода или API функция операционной системы.

Благодаря такой гибкости его можно использовать практически для любой на сегодняшний день задачи, будь то системное программирование, проектирование БД, написание математических пакетов.

2.2 Выбор программных средств реализации

В качестве платформы для разработки системы синтеза парадигм слов английского языка была выбрана операционная платформа WIN32, встречающаяся практически на всех современных настольных системах. Этот выбор обусловлен тем, что операционные системы Microsoft - семейство наиболее популярных систем, обладающее простым внешним оформлением, которое упрощает взаимодействие с конечным пользователем.

Microsoft Windows XP предоставляет доступ ко всем устройствам ЭВМ через интерфейс архитектурно-независимых API функций. Единственным условием для корректной работы необходимо наличие в системе установленных драйверов данного устройства.

Компилятор Visual C++ 2008 Express Edition фирмы Microsoft предоставляет собой мощный 32-разрядный компилятор, рассчитанный на разработку Win32-приложений (как исполнимых модулей, так и статических и динамических библиотек) на базе Microsoft Windows. Среду Microsoft Visual C++ 2008 можно использовать в качестве интегрированной системы разработки или в качестве набора отдельных средств. Visual C++ состоит из следующих компонентов.

Средства компилятора Visual C++. Компилятор поддерживает как традиционную разработку с использованием машинного кода, так и разработку с использованием платформ виртуальных машин, таких как среда CLR. Visual C++ 2008 включает компиляторы для x64 и Itanium. Компилятор продолжает напрямую поддерживать архитектуру x86 и оптимизирует производительность кода для обеих платформ. Компилятор для х86 также поддерживает оптимизацию под определенную архитектуру (MMX, SSE1, SSE2, 3Dnow и т.д.).

Библиотеки Visual C++. Компилятор содержит разнообразные библиотеки, инкапсулирующие множество типов данных и шаблонов программирования, включая полностью удовлетворяющую требованиям ISO реализацию библиотеки стандартных шаблонов (STL), общепризнанную библиотеку шаблонных классов (ATL), библиотеки Microsoft Foundation Class (MFC) и стандартные библиотеки, такие как стандартная библиотека C++, которая состоит из библиотеки iostreams, и библиотеки времени выполнения языка C (CRT). Библиотека CRT включает альтернативные функции с улучшенной безопасностью для функций с известными проблемами безопасности. Библиотека STL/CLR позволяет разработчикам, использующим управляемый код, использовать также и возможности библиотеки STL. Библиотека поддержки C++ предоставляет новые возможности для маршалинга данных и упрощает написание программ, использующих среду CLR.

Среда разработки Visual C++. Среда разработки предоставляет всестороннюю поддержку при управлении проектами и их настройке (включая улучшенную поддержку больших проектов), редактировании исходного кода, просмотре исходного кода, а также мощные средства отладки. Среда разработки также поддерживает технологию IntelliSense, которая предоставляет при написании кода подробные подсказки, учитывающие контекст. Благодаря этой технологии, можно получить список методов, классов, интерфейсов, возможность немедленного просмотра компонентов, параметров методов, автоматического завершения ввода ключевых слов. Хотя к средствам компилятора Visual C++ 2008 и библиотекам можно обращаться из командной строки, среда разработки предлагает мощную поддержку управления проектом и настройкой (включая усовершенствованную поддержку для больших проектов), средства правки исходного кода, средства обзора исходного кода и средства отладки.

Visual C++ реализует быстрое и экономное создание профилей приложений и отладку приложений за счет использования отладчика профессионального уровня, полностью интегрированного в среду Visual Studio .NET IDE. Отслеживание состояния программы с помощью удобных немодальных закрепляемых окон, установка контрольных отладочных точек в файлах, строках кода, адресах памяти, переменных и многое другое. Использование усовершенствованного режима Edit and Continue для изменения неуправляемых исходных текстов программ во время их отладки. Функция Edit and Continue debugging позволяет модифицировать отлаживаемый код непосредственно в отладчике. После модификации вы можете продолжать отладку без остановки и перекомпиляции.

Microsoft Visual C++ позволяет создавать точно настраиваемые приложения и компоненты, использующие технологию .NET, повышать производительность приложения и сокращать его объема с помощью средств оптимизации для целого ряда процессоров, включая средство оптимизации программы в целом и поддержку для наборов инструкций SSE (Streaming SIMD Extensions) и SSE2 (Streaming SIMD Extensions 2). Visual C++ поддерживает смешанный код (управляемый и неуправляемый) и смешанные данные, обеспечивая максимальную производительность и степень контроля.

В Visual C++, начиная с версии Visual C++ 2003, выполняется компиляция современного кода C++, в котором используются расширенные функции шаблонов, включая частичную специализацию шаблонов и частичное упорядочивание шаблонов функций.

Таким образом, среда Visual C++ представляет собой мощное профессиональное средство для создания приложений, которое обеспечивает разработчиков улучшенной функциональностью среды, оптимизирующим компилятором, множеством расширений и дополнений, поддержкой новейших платформ, технологий и стандартов.

2.3 Выбор технических средств реализации

Поскольку библиотека РДМА_ИПИИ и созданная система синтеза парадигм английского языка разрабатывались под Windows XP Home Edition, то на технические средства накладываются только те ограничения, которые обусловлены применением данной операционной среды.

Для нормальной работы программы требуется ПЭВМ со следующим минимальным набором характеристик:

IBM совместимость;

процессор Pentium не менее 2 ГГц;

операционная система Windows XP/7;

оперативная память не менее 512 Мб;

видеопамять не менее 32 Мб.

Использование аппаратного обеспечения с учетом выше перечисленных характеристик позволяет выполнять поставленные задачи на должном уровне и использовать возможности предоставляемого ПП эффективно.

3 Проектирование программного обеспечения системы синтеза парадигм слов английского языка

3.1 Описание функциональных возможностей системы и взаимодействия ее модулей

Разрабатываемая система предназначена для генерации английских словоформ с указанием их полной МИ. При проектировании системы в нее необходимо заложить следующие функции:

чтение и загрузка файла формата txt со словарем начальных форм английских слов с указанием грамматической информации, необходимой для словоизменения;

вывод парадигм для лемм из словаря начальных форм в файл формата dat с указанием МИ каждой словоформы без возможности;

очистка, загрузка, модификация и сохранение базы английских словоформ;

получение парадигмы с указанием МИ каждой словоформы по введенной пользователем лемме, если лемма найдена в базе данных.

Структура системы синтеза парадигм слов английского языка изображена на рисунке 3.1.



Размещено на http://www.allbest.ru

Рисунок 3.1 - Функциональная схема взаимодействия модулей системы синтеза парадигм слов английского языка

Пояснения к рисунку 3.1.

Engl_lem.txt - файл в формате txt, содержащий начальные формы слов и грамматическую информацию в виде последовательности символов, необходимую для порождения парадигм (создается пользователем);

Engl_par.dat - файл, созданный консольным приложением и содержащий парадигмы лемм из файла Engl_lem.txt с МИ каждой словофомы;

Lemma - строковая величина, лемма, введенная пользователем, для которой необходимо получить парадигму;

W_F - строковая величина, словоформа, входящая в парадигму Lemma;

MI - битовое число, задающее МИ словоформы W_F;

Lem - логическая переменная, принимающая значение 1, если W_F является леммой, 0 - иначе;

Paradigm - парадигма слова Lemma в виде списка словоформ с МИ для каждой словоформы.

Для обеспечения требуемых функциональных возможностей была разработана архитектура системы синтеза парадигм слов английского языка, содержащая 3 взаимосвязанных модуля.

Консольное приложение необходимо для обеспечения работы системы в режиме наполнения словарной базы. Оно отвечает за загрузку файла «Engl_lem» в формате txt со словарем начальных форм английских слов, а также по алгоритмам словоизменения генерирует парадигмы всех лемм из словаря с сохранением результата в текстовый файл «Engl_par». При этом каждой словоформе приписывается ее МИ, пользователь может редактировать оба файла, не нарушая формат входных и выходных данных.

Полученный в результате работы консольного приложения файл с парадигмами в режиме наполнения поступает на вход приложения TABLE, которое предназначено для приведения этого файла в формат, требуемый библиотекой РДМА_ИПИИ. Из приложения TABLE в режиме наполнения вызываются функции библиотеки РДМА_ИПИИ, обеспечивающие очистку, загрузку и сохранение словарной базы, а также и ее модификацию (добавление/удаление словоформы).

В результате наполнения базы словоформ с помощью библиотеки РДМА_ИПИИ формируются файлы tab.dat, tree.dat, connect.dat, содержащие данные словарной базы. В базе данных словоформ, построенной таким образом, в режиме поиска парадигмы по лемме, введенной пользователем в поле ввода приложения TABLE, ищется ее парадигма и выводится пользователю в виде списка словоформ с их МИ в специальное поле.

3.2 Формат входных и выходных данных

Входными данными для функционирования разработанного программного обеспечения автоматической генерации английских словоформ является словарь начальных форм, загружающийся из текстового файла «Engl_lem.txt», в котором к настоящему моменту содержится более 8 000 записей. Для его создания использовался словарь синонимов английского языка The Oxford Thesaurus Dictionary of Synonyms [5].

Словарь начальных форм заполнялся вручную. В словаре после исходной формы каждого слова следуют идентификаторы (основной и дополнительный), разделенные пробелами, которые задают МИ о данном слове. Основной состоит из буквенного символа, указывающего на принадлежность слова к определенной части речи (n - существительное, adj - прилагательное, adv - наречие, v - глагол, pron - местоимение, conj - союз, perp - предлог). Дополнительный (может отсутствовать в записи) содержит следующую информацию:

// - означает наличие параллельной словоформы (сравнительной или превосходной степени для прилагательных) наряду с той, которая характерна для данного типа словоизменения. После этой метки следует цифра, указывающая на степень сравнения (0 - сравнительная степень, 1 - превосходная), которой соответствует параллельная словоформа. Сама параллельная форма следует сразу после числа. Например, old adj //0elder1eldest. машинный морфология словоформа база

* - указывает на наличие простой формы сравнительной и превосходной степени прилагательного. Если эта метка отсутствует, то от прилагательного можно построить степени сравнения только с помощью сложных форм.

! - означает неправильный глагол. После этой метки следует цифра, указывающая на простую форму глагола (1 - Past Indefinite, 2 - Participle II), соответствующая форма глагола следует сразу после числа. Например, begin v !1began2begun.

По сути, идентификаторы, принадлежащие каждой словарной единице, определяют алгоритм изменения слова.

Ко входным данным также можно отнести строку символов, вводимую пользователем в качестве леммы, для которой необходимо получить парадигму.

Выходными данными системы морфологического синтеза парадигм английских слов является:

1. Массив строк, представляющий собой полную словоизменительную парадигму слова, введенного пользователем, с указанием соответствующий МИ. Парадигма выводится на экран в диалоговое окно приложения TABLE в специальное поле. Например, выходная информация для леммы «round» («круг» - существительное, «круглый» - прилагательное, «округлять» - глагол, «кругом» - наречие и «вокруг» - предлог) имеет вид:

round Наречие

round Прилагательное

rounder Срав. с. Прилагательное

roundest Прев. с. Прилагательное

round Существительное

round's Притяж. пад. Ед. ч. Существительное

rounds Мн. ч. Существительное

rounds' Притяж. пад. Мн. ч.Существительное

round Глагол Инфинитив

rounded Глагол Прош. неопр. действ. залога

rounded Глагол прич. прош. вр.

rounding Глагол прич. наст. вр.

rounds Глагол наст. вр. 3 л. Ед. ч.

round Предлог

2. Массив строк в тестовом файле «Engl_par.txt», полученном в результате работы консольного приложения и содержащего список парадигм. Каждая строка содержит следующую информацию (разделенную табуляцией):

W_F - словоформа, входящая в парадигму;

Lem - принимающая значение 1, если W_F является леммой, 0 - иначе;

MI - битовое число, задающее МИ словоформы W_F

3. База данных словоформ английского языка, полученная для лемм, которые содержатся в словаре начальных форм. Эта база состоит из трех файлов: tab.dat, tree.dat, connect.dat, полученных в результате работы библиотеки РДМА_ИПИИ, описание формата которых разработчики библиотеки не предоставляют.

4. Разработка программного обеспечения синтеза парадигм слов английского языка

4.1 Формализация правил словообразования английского языка

Способ представления МИ английских словоформ в рамках данной работы был выбран в виде битовых полей. Перечень обозначений морфологических характеристик приведен в приложении А (таблица А.3). По аналогии с процедурами, реализованными в библиотеке РДМА_ИПИИ для извлечения МИ используются маски категорий МИ (приложение А, таблица А.4).

Для существительных нам необходимо сгенерировать словоформы множественного числа, а также притяжательного падежа.

Образование множественного числа английских существительных описывается следующей системой правил.

Правило 1 (основное).. В общем случае английское существительное можно поставить во множественное число, прибавив к нему окончание -s. Например, shoe - shoes; hen - hens; bat - bats.

Правило 2. Если существительное оканчивается на свистящий или шипящий звук, то есть на буквы -s, -ss, -x, -sh, -ch, то для него форма множественного числа образуется при помощи окончания -es. Например, bass - basses; match - matches; leash - leashes; box - boxes.

Правило 3. Если существительное оканчивается на букву -y, перед которой стоит согласная, то во множественном числе -y меняется на -i и к слову прибавляется окончание -es. Например, lobby - lobbies; sky - skies.

Примечание. Если перед буквой -y стоит гласная, то множественное число образуется по общему правилу при помощи окончания -s, а буква -y остается без изменений. Например, bay - bays; day - days; way - ways.

Правило 4. К существительным, заканчивающимся на -o прибавляется окончание -es. Например, potato - potatoes; tomato - tomatoes; hero - heroes.

Исключения из правила 4: bamboos, embryos, folios, kangaroos, radios, studios, zoos, Eskimos, Filipines, kilos, photos, pros, pianos, concertos, dynamos, solos, tangos, tobaccos.

Правило 5. Если существительное оканчивается на буквы -f или -fe, то во множественном числе они меняются на -v- и прибавляется окончание -es. Например, thief -thieves; wolf - wolves; half - halves; wife - wives.

Исключения из правила 5: proofs, chiefs, safes, cliffs, gulfs, reefs.

У некоторых существительных при образовании множественного числа происходит изменение в основе. Все такие случаи сведены в таблицу 4.1.

Таблица 4.1 - Исключения при образовании множественного числа английских существительных

Единственное число	Множественное число
foot (нога, ступня)	feet
tooth (зуб)	teeth
man (мужчина, человек)	men
woman (женщина)	women
mouse (мышь)	mice
goose (гусь)	geese
louse (вошь)	lice
child (ребенок)	children
ox (бык, вол)	oxen
basis	bases
crisis	crises
phenomenon	phenomena
stimulus	stimuli
formula	formulas/formulae
datum	data
index	indices
bureau	bureaux
focus	focuses/foci

Исходя из перечисленных правил, приведем алгоритм образования множественного числа английских существительных.

Алгоритм образования множественного числа английских существительных

Входные данные

str - строка (лемма существительного)

Выходные данные

res - строка (словоформа - существительное str во множественном числе)

Промежуточные переменные

l - целое, длина строки str

Consonant = {b, c, d, f, g, h, j, r, l, m, n, p, q, r, s, t, v, w, x, z} множество элементов символьного типа (множество согласных английского алфавита);

Exeption_Rule4 = {bamboo, embryo, folio, kangaroo, radio, studio, zoo, Eskimo, Filipine, kilo, photo, pro, piano, concerto, dynamo, solo, tango, tobacco} множество элементов строкового типа (множество слов-исключений из правила 4)

Exeption_Rule5 = {proof, chief, safe, cliff, gulf, reef} множество элементов строкового типа (множество слов-исключений из правила 5)

начало

1 Инициализация

res = str;

2 если (str[l]=='s') или (str[l]=='x') или

((str[l]=='h') и ((str[l-1]=='s') или (str[l-1]=='c')))

то

2.1 res = res + `es'

2.2 выход из алгоритма

3 если (str[l]=='y') и (str[l-1] принадлежит множеству Consonant)

то

3.1 res [l] ='i'

3.2 res = res + `es'

3.3 выход из алгоритма

4 если (str[l]=='o') и (str не принадлежит множеству Exeption_Rule4)

то

4.1 res = res + `es'

4.2 выход из алгоритма

5 если (str[l]=='f') и (str не принадлежит множеству Exeption_Rule5)

то

5.1 res [l] ='v'

5.2 res = res + `es'

5.3 выход из алгоритма

6 если (str[l-1]=='f') и (str[l]=='e') и (str не принадлежит множеству Exeption_Rule5)

то

6.1 res [l-1] ='v'

6.2 res = res + `s'

6.3 выход из алгоритма

7 res = res + `s'

8 Результат res

конец

Правило образования притяжательного падежа. Если существительное не оканчивается на -s, то для него форма притяжательного падежа образуется при помощи окончания -'s. В ином случае - добавлением апострофа в конец слова. Например, today's newspaper; mile's distance; pupils' work; cars' color.

Алгоритм образования множественного числа английских существительных

Входные данные

str - строка (лемма существительного)

Выходные данные

res - строка (словоформа - существительное str в притяжательном падеже)

Промежуточные переменные

l - целое, длина строки str

начало

1 Инициализация

res = str;

2 если (str[l]=='s')

то res = res + `'s'

иначе res = res + `''

3 Результат res

конец

В отличие от русского языка, в английском прилагательные не изменяются по числам, родам и падежам, не имеют кратких форм. Прилагательные могут изменяться лишь по степеням сравнения. В английском языке, как и в русском, прилагательные (качественные) образуют две степени сравнения: сравнительную и превосходную. Положительной степенью прилагательных называется их основная форма, не выражающая степени сравнения.

Так же, как и в русском языке, прилагательные образуют степени сравнения либо аналитически (сложные формы) - с помощью дополнительных слов more (более), less (менее) и most (наиболее, самый), least (наименее); либо синтетически - посредством изменения самого прилагательного с помощью суффиксов -er и -est (простые формы). И так же, как и в русском языке, аналитическая форма сравнительной степени может быть образована от любого прилагательного, а синтетическая - от одних прилагательных может быть образована, а от других - нет.

При этом соблюдаются следующие правила.

Правило 1 (основное). Односложные (т.е. состоящие из одного слога) прилагательные и двусложные прилагательные, оканчивающиеся на -y, -er, -ow, -le, образуют сравнительную степень при помощи суффикса -er, превосходную степень - при помощи суффикса -est.

Правило 2. В односложных прилагательных, оканчивающихся на одну согласную с предшествующим кратким гласным звуком, конечная согласная буква удваивается (чтобы сохранить закрытость слога). Например, big - bigger - biggest; thin - thinner - thinnest.

Правило 3. Если прилагательное оканчивается на -y с предшествующей согласной, то -y меняется на -i. Например, busy - busier - busiest; happy - happier - happiest

Примечание. Если перед -y стоит гласная, то -y остается без изменения. Например, grey - greyer - greyest.

Правило 4. Конечная гласная -e (немое e) перед суффиксами -er, -est опускается. Например, white - whiter - whitest.

Некоторые прилагательные в английском языке имеют свою собственную степень сравнений (см. табл. 4.2).

Таблица 4.2 - Исключения из общих правил образования степеней сравнения

Положительная степень	Сравнительная степень	Превосходная степень
good (хороший)	better (лучше)	best (самый лучший)
little (маленький)	less (меньше)	least (наименьший)
bad (плохой)	worse (хуже)	worst (самый плохой, худший)
much (много с неисчисл.) many (многие с исчисл.)	more (больше)	most (больше всего)

Кроме того, наряду с простыми формами, полученными по правилам, у некоторых прилагательных существуют параллельные формы степеней сравнения, различающиеся по значению (см. табл. 4.3).

Таблица 4.3 - Параллельные формы степеней сравнения

Положительная степень	Сравнительная степень	Превосходная степень
old (старый)	older (старше по возрасту) elder (старше в семье)	oldest старейший eldest самый старший в семье
late (поздний)	later (более поздний по времени) latter (последний из двух упомянутых по порядку)	latest (самый поздний по времени) last (самый последний по порядку)
far (далекий, дальний)	farther (более дальний по расстоянию) further (более дальний, дальнейший по порядку)	farthest (самый дальний по расстоянию) furthest (самый дальний, дальнейший по порядку)

Приведенные выше правила образования простых форм прилагательных легли в основу соответствующего алгоритма.

Алгоритм образования сравнительных степеней английских прилагательных

Входные данные

str - строка (лемма существительного)

Выходные данные

res1 - строка (словоформа - прилагательное str в сравнительной степени)

res2 - строка (словоформа - прилагательное str в превосходной степени)

Промежуточные переменные

l - целое, длина строки str

k - целое, счетчик гласных в str

i - целое, номер рассматриваемого символа

Vowel = {a, o, u, i, e} множество элементов символьного типа (множество гласных английского алфавита);

Consonant = {b, c, d, f, g, h, j, r, l, m, n, p, q, r, s, t, v, w, x, z} множество элементов символьного типа (множество согласных английского алфавита);

начало

1 Инициализация

res1 = str

res2 = str

k = 0

i = 1

2 пока ((i<=l)

н.ц.

2.1 если (str[i] принадлежит множеству Vowel)

то k = k + 1 (считаем количество слогов в str)

2.2 i = i + 1

к.ц.

3 если (k == 1) и (str[l] принадлежит множеству Consonant) и (str[l-1] принадлежит множеству Vowel)

то

3.1 res1 = res1 + res1 [l] + 'er'

3.2 1 res2 = res2 + res1 [l] + 'est'

3.3 выход из алгоритма

4 если (str[l]=='y') и (str[l-1] принадлежит множеству Consonant)

то

4.1 res1[l] = `i'

4.2 res2[l] = `i'

4.3 res1 = res1 + `er'

4.4 res2 = res2 + `est'

4.5 выход из алгоритма

5 если (str[l]=='e')

то

5.1 res1=res1 + 'r'

5.2 res2 = res2 + `st'

5.3 выход из алгоритма

6 res1 = res1 + `er'

7 res2 = res2 + `est'

8 Результат res1, res2

конец

Синтез глагольных форм - наиболее сложная часть морфологического синтеза.

В английском языке имеются всего четыре простых глагольных формы (все остальные формы - сложные, так как образуются с помощью вспомогательных глаголов). Их нужно обязательно знать, поскольку они используются и для образования всех сложных форм [6]. К ним относятся:

I форма - Инфинитив (Infinitive)

II форма - Прошедшее неопределенное время (Past Indefinite)

III форма - Причастие прошедшего времени (Participle II)

IV форма - Причастие настоящего времени (Participle I)

II и III формы называются -ed формами, IV форма - -ing формой.

Правила построения -ed форм.

Правило 1 (основное). Для правильных глаголов при построении -ed формы к инфинитиву прибавляется окончание -ed. Например, read - readed.

Правило 2. Если односложный глагол оканчивается на согласную, а ей предшествует краткий гласный звук, то при добавлении окончания -ed последняя согласная удваивается. Например, stop - stopped.

Правило 3. Если в конце глагола немая буква -е, то при добавлении окончания -ed она отбрасывается. Например, announce - announced.

Правило 4. Если основа глагола оканчивается на -y, а ей предшествует согласная, то -y изменяется на -i. Например, reply - replied.

Примечание. Если букве -y предшествует гласная, то -y не изменяется. Например, play - played.

Правила построения формы -ing форм

Правило 1 (основное). -ing форма составляется путем добавления окончания -ing к основе инфинитива глагола. Например, sing - singing.

Правило 2. Если в конце слова имеется немая буква -е, то она отбрасывается. Например, live - living.

Исключения из правила 2: see - seeing, be - being.

Примечание. При образовании -ing формы от глаголов, оканчивающихся на -у, следует помнить, что буква -у сохраняется в любом случае, независимо от того, какая буква стоит перед ней. Например, pray - praying, cry - crying.

Правило 3. Если на конце односложного глагола одна согласная, которой предшествует одна гласная, то при добавлении окончания -ing последняя буква удваивается. Например, put - putting.

Правило 4. Если в конце имеется буквосочетание -ie, то оно образует одну букву -у. Например, tie - tying

Приведенные выше правила образования -ed и -ing форм легли в основу соответствующих алгоритмов.

Алгоритм образования -ed и -ing форм английских глаголов

Входные данные

str - строка (инфинитив глагола)

Выходные данные

res1 - строка (-ed форма глагола str)

res2 - строка (-ing форма глагола str)

Промежуточные переменные

l - целое, длина строки str

k - целое, счетчик гласных в str

i - целое, номер рассматриваемого символа

Vowel = {a, o, u, i, e} множество элементов символьного типа (множество гласных английского алфавита);

Consonant = {b, c, d, f, g, h, j, r, l, m, n, p, q, r, s, t, v, w, x, z} множество элементов символьного типа (множество согласных английского алфавита);

начало

1 Инициализация

res1 = str

res2 = str

k = 0

i = 1

2 пока ((i<=l)

н.ц.

2.1 если (str[i] принадлежит множеству Vowel)

то k = k + 1 (считаем количество слогов в str)

2.2 i = i + 1

к.ц.

3 если (k == 1) и (str[l] принадлежит множеству Consonant) и (str[l-1] принадлежит множеству Vowel)

то

3.1 res1 = res1 + res1 [l] + 'ed'

3.2 res2 = res2 + res2 [l] + 'ing'

3.3 выход из алгоритма

4 если (str[l]=='y') и (str[l-1] принадлежит множеству Consonant)

то

4.1 res1[l] = `i'

4.2 res1 = res1 + `ed'

4.3 выход из алгоритма

5 если (str[l]=='e')

то

5.1 res1=res1 + 'd'

5.2 если (str <> 'see') или (str <> be) или (str[l-1] <> `i')

то

5.3 res2[l] = `i'

5.4 res2 = res2 + `ng'

5.5 выход из алгоритма

6 если (str[l]=='e') и (str[l-1] == `i')

то

6.1 res2[l-1] = `y'

6.2 res2[l] = `i'

6.3 res2 = res2 + `ng'

6.4 выход из алгоритма

7 res1 = res1 + 'ed'

8 res2 = res2 + 'ing'

9 Результат res1, res2

конец

Кроме перечисленных правил получения отглагольных форм есть правила построения Present Indefinite для третьего лица единственного числа.

Правило 1 (основное). Третье лицо единственного числа данного времени образуется путем добавления окончания -s. Например, live - lives.

Правило 2. Если в конце глагола буквы -x, -s, -ch, -sh, -ss, то форма третьего лица единственного числа образуется при помощи окончания -es. Например, advise - advises, miss - misses.

Правило 3. Если в конце глагола буква -y, а перед ней стоит согласная, то форма третьего лица единственного числа образуется при помощи окончания -es, а буква y изменяется на -i. Например, study - studies.

Правило 4. Если в конце глагола буква -о, то форма третьего лица единственного числа образуется при помощи окончания -es. Например, go - goes.