Построение распознавателя для заданной грамматики и реализация его в виде программы, которая проверяет вводимые пользователем цепочки

Роль информационных технологий в быту современного человека.

За последние несколько лет человечество совершило удивительный рывок в области развития компьютерных, и вследствие этого, информационных технологий. Всего каких-то десять лет назад среднестатистический гражданин не мог и мечтать о собственном персональном компьютере. В середине 80-х годов ЭВМ были прерогативой крупных предприятий, обслуживание этих машин осуществлялось через разветвленную сеть специализированных сервисных центров. Зачастую многие предприятия не имели достаточно квалифицированных кадров для монтажа и обслуживания своих ЭВМ. Соответственно и проблемы связи между вычислительными комплексами вставали в узком кругу специалистов. Несмотря на то, что первые экспериментальные сети передачи пакетов данных были созданы в 1961 году Defence Advanced Research Agency (DARPA) по заданию министерства обороны США, в нашей стране они применялись лишь в отдельных отраслях народного хозяйства и в военной области.

Технологический скачок последнего десятилетия, особенно показательный в области компьютерных технологий, позволил разработать серию современных персональных компьютеров. Микро ЭВМ постепенно начали входить в нашу повседневную жизнь. Согласно журналу "Мир Internet" в России в частном пользовании находится более 50 тыс. персональных компьютеров. Новейшие технологии компаний IBM, Intel сделали возможным разработку мощных, многофункциональных персональных ЭВМ, экономически доступных среднему и нижне-среднему классу граждан. Компьютерные и информационные технологии уверенно входят в нашу жизнь. Сейчас персональные ЭВМ можно встретить не только в офисах крупных и мелких фирм, на производстве и в учебных заведениях, компьютеры все чаще можно встретить дома у инженеров и школьников, ученых и бизнесменов.

Персональная ЭВМ давно превратилась в предмет труда, ни одно предприятие не обходится без электронной базы данных, без современных средств коммуникаций, мощных вычислительных средств. Не менее важную роль играют ЭВМ и в быту современного россиянина. Функции домашнего компьютера разнообразны. Он позволяет осуществлять не только производственный процесс на дому, но и целый ряд всевозможных процессов. Современные разработки позволяют осуществлять управление электрическими бытовыми приборами, принимать радио и телепередачи, компьютер в сопряжении со сканером и принтером является фактически домашним офисом, позволяющим выполнять обработку любой текстовой или графической информации. Рекреационная роль персональных домашних компьютеров не может быть обойдена стороной. Многочисленные компьютерные игры позволяют организовать досуг в соответствии с интересами конкретного человека. Мультимедийные приложения могут намного облегчить усвоение учебного материала как студентам и школьникам, так и все жаждущим самообразования.

Отдельного упоминания заслуживает информационная составляющая компьютерных технологий. По данным ЮНЕСКО к 1950 г. количество информации, которой оперировало общество, удваивалось за десять лет, к 70 г. - за пять лет, к 1980 - за два года, с начала 90-х количество информации удваивается за год. В настоящее время до 80% трудоспособного населения тем или иным образом профессионально задействованы в области получения, распространения или обработки информации. Средства распространения информационных потоков так же претерпели значительную эволюцию. Средства теле и радио связи вошли в каждый дом, печатные издания доступны подписчикам по всему миру. Однако новые реалии времени представляют новые требования и к способам распространения и обработки информации. Возьмем на себя смелость утверждать, что средства электронной связи с использованием новейшей вычислительной техники представляют на сегодняшний день наилучшие возможности в области распространения и обработки информационных потоков. Всемирная компьютерная сеть Internet является наиболее известным носителем информации. Internet - глобальная компьютерная сеть, охватывающая весь мир. Сегодня Internet имеет около 15 миллионов абонентов в более чем 150 странах мира. Ежемесячно размер сети увеличивается на 7-10%. Все больше людей обращаются к услугам электронной почты, дающей возможность пересылки текстовой, графической, практически любого вида информации или данных в любую точку мира за считанные минуты. Базы данных, сервера специализированной информации, телеконференции, файловые сервера, в настоящее время уже трудно представить жизнь современного специалиста или ученого без этих нововведений. Уже имеются разработки, обещающие множество новых возможностей, среди них Internet-телефония, передача видео и графической информации.

Стремительное развитие научно-технического прогресса предъявляет новые требования и к качеству информатизации общества. Мы считаем особенно важным развитие именно информационной составляющей компьютерных технологий. На сегодняшний день это наиболее важная и наиболее динамически развивающаяся отрасль народного хозяйства России и промышленности всего мира. Особенно важным, несомненно, является совершенствование инфраструктуры систем связи. Если раньше глобальную сеть Internet в основном поддерживали крупные университеты и промышленные предприятия, то сегодня все больше людей хотят получать информацию прямо из дома, а не только со своего рабочего места.

1. Теоретические основы разрабатываемой темы

1.1 Общие сведения о грамматиках

В расширенном представлении под термином "язык" понимают всякое средство общения, состоящее из:

- знаковой системы, т.е. множества допустимых последовательностей знаков;

- множества смыслов этой системы;

- соответствия между последовательностями знаков и смыслами, делающими осмысленными допустимые последовательности знаков.

Знаками могут быть буквы алфавита, математические обозначения, звуки, ритуальные действия и т.д. Hаука об осмысленных знаковых системах называется семиотикой. Hаиболее исследованными являются знаковые системы, у которых знаками являются символы алфавита. Правила, определяющие множество текстов (допустимых последовательностей знаков), образуют синтаксис языка; описание множества смыслов и соответствия между текстами и смыслами - семантику языка. К таким знаковым системам относятся естественные языки, языки различных областей науки, языки программирования.

Семантика языка существенно зависит от назначения языка, в то время, как для синтаксиса можно сформулировать понятия и методы, не зависящие от назначения и целей языка. Для исследования синтаксиса сложился специальный математический аппарат - теория формальных грамматик, в котором язык понимается уже не как средство общения, а как множество формальных объектов - последовательностей символов алфавита. Эти последовательности называют цепочками и язык понимают как множество цепочек.

Пусть задан алфавит V, в котором можно построить множество V* (читается - итерация алфавита V) цепочек. Формальный язык L в алфавите V - это подмножество цепочек из V* (L V*). Описание формальных языков осуществляется с помощью формальных порождающих грамматик (формальных грамматик).

Формальная порождающая грамматика G (в дальнейшем - грамматика G) - это формальная система, определяемая четверкой объектов:

G [Z] = (VN, VT, Z, P),

где VN - алфавит нетерминалов (вспомогательных символов);

VT - алфавит терминалов (основных символов);

Z - начальный символ (аксиома) грамматики;

P - конечное множество правил.

Hетерминалы принято обозначать большими буквами латинского алфавита, терминалы - малыми буквами. В алфавит нетерминалов обязательно входит начальный символ грамматики.

Каждое правило из множества P имеет вид x y, - где x, y цепочки, состоящие из терминальных и нетерминальных символов. В дальнейшем будем рассматривать грамматики, содержащие только правила, левые части которых состоят из одного нетерминального символа (контекстно-свободные грамматики). При этом должно быть хотя бы одно правило, левая часть которого - начальный символ грамматики.

Грамматика описывает бесконечный язык, если хотя бы одно из правил рекурсивно, т.е. в правой части содержится его левая часть в явном или неявном виде.

Пример: Задана грамматика G [Z]: VN = {Z,A,B}; VT = {a,b,c}; Z-начальный символ.

P = { Z ABc; (1)

A aB; (2)

B b }. (3)

С помощью грамматики G можно продуцировать (получать) цепочки в алфавите терминалов.

Порядок вывода можно записать в следующем виде:

(1) (2) (3) (3) (номера примененных правил)

Z AВc aBВc aBbc abbc.

Вывод продолжается до тех пор, пока на очередном шаге не получится цепочка, состоящая только из терминальных символов (т.е. нельзя применить ни одно из правил вывода).

Сокращенно вывод можно записать, пропустив промежуточные результаты, так Z+ abbc (цепочка abbc выводима из начального символа Z в заданной грамматике).

Сентенциальная форма - любая цепочка терминальных и нетерминальных символов, которая получается на любом шаге процесса вывода. Множество сентенциальных форм можно получить из дерева вывода, обходя его по узлам и соблюдая следующие правила:

- начинать обход с самого левого узла;

- обход надо совершать так, чтобы при переходе к следующему узлу образованное поддерево не включало, как элемент, предыдущее поддерево.

Фраза - часть сентенциальной формы, выводимая из одного нетерминала за несколько шагов. Для простой фразы шаг вывода равен 1.

Одну и ту же цепочку можно получить, применяя правила в различных последовательностях (деревья выводов различны). Если для однозначности в

процессе вывода на каждом шаге применять правило к самому левому (правому) нетерминалу в сентенциальной форме, то получим левосторонний (правосторонний) вывод. Таким образом:

1. Каждой цепочке выводимой в заданной грамматике соответствует одно или несколько деревьев вывода.

2. Каждому дереву соответствует один или больше выводов.

3. Каждому дереву соответствует единственный правый и единственный левый выводы.

4. Если каждой цепочке, выводимой в данной грамматике, соответствует единственное дерево вывода, то такая грамматика называется однозначной (в правой части каждого правила такой грамматики содержится не более одного нетерминала).

Языком L (G), порождаемым грамматикой G, называется множество всех цепочек в алфавите терминальных символов VT, выводимых из начального символа грамматики.

В процессе функционирования грамматики возможны два варианта:

1. Проверять цепочки на принадлежность их к языку, порождаемому заданной грамматикой. Варианты этого процесса могут быть следующими:

а) вывод цепочки из начального символа грамматики (построить дерево вывода или вывод начиная с корня) - нисходящий вывод;

б) вывод можно также делать начиная с кроны дерева (готового предложения); если удается прийти к начальному символу, то предложение принадлежит заданной грамматике - восходящий вывод.

В обоих вариантах строится дерево вывода.

2. Получать цепочки, которые принадлежат к языку, порождаемому заданной грамматикой.

1.2 Классификация грамматик

Общепринятой классификацией грамматик и порождаемых ими языков является иерархия Хомского, содержащая четыре типа грамматик (см. рис. на следующей странице):

Каждый тип грамматик включает грамматики более высоких типов, как частные случаи.

Построение грамматики - это процесс структурирования знаний в некоторой предметной области, другими словами - создание порождающего алгоритма некоторого множества, обработка которого удобна с помощью вычислительной машины. Построение распознавателя грамматики - создание алгоритма для проверки (контроля) правильности созданного конкретного множества. Оба алгоритма могут быть реализованы в виде программ на любом языке программирования. Примером такой взаимосвязи грамматика - распознаватель может служить язык программирования (любой) - компилятор.

1.3 Эквивалентные преобразования грамматик

Для построения распознавателей грамматик, других целей часто необходимо преобразовывать правила исходной грамматики к соответствующему виду. При этом язык, порождаемый исходной и полученными после преобразования грамматиками, не должен меняться.

Две грамматики эквивалентны, если они порождают один и тот же язык (одни и те же цепочки терминальных символов). Рассмотрим ряд процедур, которые всегда приводят к эквивалентным преобразованиям.

1 Удаление или добавление бесполезных (непродуктивных и недостижимых) нетерминалов

В множестве Р правил грамматики G непродуктивным называют нетерминал, из которого нельзя получить цепочку терминалов. Для поиска в множестве правил непродуктивных нетерминалов используется следующее свойство.

Свойство А. Если все символы правой части правила продуктивны, то продуктивен и символ, стоящий в его левой части.

Алгоритм поиска непродуктивных нетерминалов в множестве правил P грамматики G:

- составить список нетерминалов, для которых найдется хотя бы одно правило, правая часть которого состоит только из терминалов;

- если найдется такое правило, что все нетерминалы, стоящие в его правой части уже занесены в список, то добавить в список нетерминал, стоящий в его левой части;

- если на предыдущем шаге список не пополняется, то получен исчерпывающий список всех продуктивных нетерминалов.

Hетерминалы грамматики, не попавшие в список, построенный по приведенному выше алгоритму, являются непродуктивными и, не нарушая эквивалентности, из множества правил Р можно удалить все правила, содержащие такие нетерминалы.

В множестве правил грамматики недостижимым называют нетерминал, который не участвует в процессе вывода. цепочек. Для поиска недостижимых нетерминалов используется следующее свойство.

Свойство Б. Если нетерминал в левой части правила является достижимым, то достижимы все нетерминалы, стоящие в правой части этого правила.

Алгоритм поиска недостижимых нетерминалов в множестве правил P грамматики G:

- образовать одноэлементный список из начального нетерминала грамматики;

- если в множестве Р найдено правило, левая часть которого уже в списке, то включить в список все нетерминалы из его правой части;

- если на предыдущем шаге список не пополняется, то получен исчерпывающий список всех достижимых нетерминалов.

Hетерминалы грамматики не попавшие в список, построенный по приведенному выше алгоритму, являются недостижимыми и, не нарушая эквивалентности, из множества правил Р можно удалить все правила, содержащие такие нетерминалы.

Пример проверки нетерминалов грамматики:

G [S]: VN = {S, A, B, C, D}; VT = {a, b, c, d}; P = {S aS (1), S aA (2), A bB (3),

A bC (4), B d (5) D c (6) }.

1. Проверка нетерминалов на продуктивность.

В правых частях правил (5) и (6) только терминалы. Внесем в создаваемый список продуктивных нетерминалы B и, D. Затем в соответствии с правилом (3) - A (в правой части терминал и продуктивный нетерминал); в соответствии с правилом (2) - S; анализ других правил список не пополняет. Получен исчерпывающий список продуктивных нетерминалов - { B, D, A, S}. В списке отсутствует нетерминал С (непродуктивный, правило (4) для минимизации исходной грамматики исключим из множества P).

2. Проверка нетерминалов на достижимость.

Внесем на первом шаге в создаваемый список достижимых нетерминалов начальный символ грамматики S, затем на основании правила (2) дополним список нетерминалом A; правило (3) дает основания внести в список нетерминал В. Дальнейший анализ правил в соответствии с алгоритмом поиска достижимых нетерминалов список не пополняет. Получен исчерпывающий список продуктивных нетерминалов - {S,A,B}. В списке отсутствует нетерминал D (недостижимый, правило (6) для минимизации исходной грамматики исключим из множества P).

В результате этих преобразований получим минимальную грамматику G1 [S], эквивалентную исходной.

G1 [S]: VN = {S, A, B}; VT = {a, b, d}; начальный символ S;

P = { S aS (1), S aA (2), A bB (3), B d (4) }.

2. Разработка программного продукта

2.1 Построение распознавателя для грамматики

Для заданной в варианте грамматики построить распознаватель.

Вариант 10:

G [Q] = (VT = { a, b, h }; VN = { Q, A, B, H }; P = { Q a Q H (1);

Q b a h A (2); A a b B h (3); H b B (4); B a b b H h (5); H (6) })

Решение:

1 Проверка нетерминальные символов исходной грамматики на достижимость (все правила, в которые входят недостижимые нетерминалы, не нарушая эквивалентности, можно исключить).

(2) (3) (5) (номера правил)

{ Q } { Q, A } { Q, A, B } { Q, A, B, H }

(недостижимых нетерминалов нет)

2 Проверка нетерминальных символов полученной после выполнения п.1 грамматики на продуктивность (все правила, в которые входят непродуктивные нетерминальные символы, не нарушая эквивалентности, можно исключить).

(6) (5) (3) (2) (номера правил)

{ Н } { Н, B } {Н, B, A } {Н, B, A, Q }

(непродуктивных нетерминалов нет).

3. Определение типа полученной после выполнения предыдущих пунктов грамматики.

После эквивалентных преобразований новая грамматика не изменилась:

G [Q] = (VT = { a, b, h }; VN = { Q, A, B, H };

P = { Q a Q H (1);

Q b a h A (2);

A a b B h (3);

H b B (4);

B a b b H h (5);

H (6) })

4. Определим тип полученной грамматики: по виду правил можно сказать, что это контекстно-свободная грамматика (неправосторонняя - несоответствие в правилах (1), (3) и не является S-грамматикой -есть эпсилон-правило (6)).

Полученная грамматика может быть q -грамматикой- (по определению для такой грамматики множества “Выбор” для правил с одинаковыми левыми частями попарно не пересекаются).

Для такой грамматики множества “Выбор” для правил с одинаковыми левыми частями попарно не пересекаются (пересечение пусто).

“Выбор Q (1) ” = { a }; “Выбор Q (2) ” = b

“Выбор Q (1) ” “Выбор Q (2) ” = { (пусто) };

“Выбор H (4) ” = { b }; “Выбор H (6) ” = "СледH" = {h, -| }

“Выбор H (4) ” “Выбор H (6) ” = { (пусто) };

Исследуемая грамматика является q - грамматикой.

5. В соответствии с известным алгоритмом строим для этой грамматики МП-распознаватель:

Алфавит магазинных символов Vмаг = { Q, H, A, B, a, b, h }

Управляющая таблица имеет вид:

4 Для проверки правильности работы МП-распознавателя выведем, применяя правила грамматики, правильную цепочку:

(2) (3) (5) (5)

Q b a h A b a h b B h b a h b a b b H h h b a h b a b b h h

5. Полное описание МП - распознавателя:

Входной алфавит { a, b, h --|}

Алфавит магазинных символов {Q, A, B, H, a, b, h, }

Множество состояний { S 1 }

Начальная конфигурация (S 1, Q, )

Допускающая конфигурация (S 1, )

Управляющая таблица приведена выше.

6. Программа, реализующая МП - распознаватель, приведена в приложении.

2.2 Современные требования к программным продуктам

1. Лицензионная чистота (применение программного продукта допустимо только в рамках лицензионного соглашения).

2. Возможность консультации с разработчиком и другие формы сопровождения.

3. Соответствие характеристикам, комплектации, классу и типу компьютеров, а также архитектуре применяемой вычислительной техники.

4. Надежность и работоспособность в любом из предусмотренных режимов работы, как минимум, в русскоязычной языковой среде.

5. Наличие дружественного интерфейса, поддерживающего работу с использованием русского языка (для системного и инструментального программного обеспечения допустимо наличие интерфейса на английском языке).

6. Наличие документации, необходимой для практического применения и освоения работы с программным продуктом, на русском языке.

7. Развитая система интерактивной помощи при работе с программным продуктом.

8. Наличие спецификации, оговаривающей все требования к аппаратным и программным средствам, необходимым для функционирования данного программного продукта.

2.3 Обоснование выбора средств реализации

Наиболее популярны средства разработки WINDOWS, сочетающие в себе средства разработки интерфейса с мощными компиляторами и отладчиками. Одним из таких инструментов является язык программирования BORLAND DELPHI. Возможность проектирования пользовательского интерфейса с помощью редактора форм, а также простота использования функций Windows API и мощные собственные средства отображения графических объектов явились главными критериями в выборе средств разработки предлагаемого продукта.

DELPHI - сложная современная система программирования. Диапазон возможностей Delphi поистине неисчерпаем. Среда DELPHI - это сложный механизм, обеспечивающий высоко эффективную работу программиста.

Программирование на DELPHI строится на тесном взаимодействии двух процессов: процесса конструирования визуального проявления программы (т.е. ее Windows-окон) и процесса написания программного кода, придающего элементам этого окна и программе в целом необходимую функциональность. Написание программы облегчено визуализацией разработки интерфейса. Сначала разработчик конструирует форму (внешний вид программы). Среда разработки автоматически вносит изменения в написанный код программы (тем самым значительно облегчает работу разработчику). DELPHI основан на объектном программировании языка программирования высокого уровня TURBO PASCAL. Именно Delphi стал тем продуктом, на примере которого стало ясно, что один продукт может столь удачно сочетать несколько передовых технологий:

* высокопроизводительный компилятор;

* объектно-ориентированная модель компонент.

* визуальное (а, следовательно, и быстрое) построение приложений из программных прототипов.

Таким образом, Delphi обеспечивает удобство и быстроту написания приложений, отвечающим самым высоким стандартам качества; поэтому он и выбран для реализации данного программного продукта.

2.4 Описание алгоритма реализации основной функции программного продукта

Основная функция разрабатываемого программного продукта (ПП) определена в названии темы: построение МП-распознавателя для заданной пользователем грамматики.

В основу алгоритма реализации положены формальные процедуры эквивалентных преобразований правил, проверки грамматики на принадлежность к классу S -грамматик, и построения МП-распознавателя (результат работы представлен в виде интерактивной управляющей таблицы).

Функциональная схема программного продукта:

Для анализа задаваемой пользователем грамматики в разрабатываемой программе необходимо предусмотреть:

ввод пользователем грамматики в виде множества правил с использованием латинского алфавита символов (нетерминальные символы - прописные, для терминальных - строчные, при вводе эпсилон-правила пустая цепочка будет обозначена символом е;

проверку введенных правил (контроль символов, отсутствие символов не входящих в алфавит;

в случае неправильного ввода множества правил - возможность их корректировки;

в случае правильного ввода - анализ нетерминалов на достижимость (левая часть первого правила - начальный символ грамматики) и продуктивность;

удаление правил с недостижимыми и непродуктивными нетерминалами;

обработка исключительных ситуаций.

Примечание. При создании программного продукта кроме основной функции предполагается реализация вспомогательных функций: создание тестовых примеров для проверки правильности функционирования программного продукта после переноса на другой компьютер, создание контекстной подсказки.

2.5 Экранные формы