Существует большое количество программного обеспечения для автоматической обработки текста. Для реализации мобильного приложения проверки написания английских глаголов необходимо использовать графематический и морфологический анализ текста.

1.4.1 Графематический анализ текста

Графематический анализ - используется для выделения синтаксических или структурных единиц текста. Графематический анализ основной компонент системы, который предназначен для предварительной работы с текстом. Данный компонент системы выполняет следующие задачи:

1. разделение текста на абзацы;

2. разделение текста на заголовок и основной текст;

3. разделение текста на предложения;

4. разделение текста на слова, знаки препинания, формулы и т.д.;

5. выделения устойчивых выражения (словосочетаний) в одну единицу текста.

Как видно, графематический анализ выполняет предварительную обработку текста, для последующей работы. Для графематического анализа текста используются следующие методы:

- машинное обучение;

- правил;

- регулярные выражения;

- словарный;

- эвристика.

1.4.1.1 Обзор методов для графематического анализа

При использовании машинного обучения, используются методы обучения классификациям объектов. В данном случае способы обучения - это получение необходимых и достаточных правил, с помощью которых можно произвести классификацию объектов, похожих на те, которые использовались для обучения нейросети. Для правильной работы такой системы основанной на машинном обучении необходимо произвести выбор и формирование признаков, проверку гипотез о сходстве объектов и классов, задание бинарных операций сходств объекта, задание мер сходств объекта, сформировать обучающую выборку, сформировать итоговую выборку, и наконец выбрать адекватный алгоритм для обучения.

При использовании правил для графематического анализа текста, в основном используются следующие правила, незначительно отличающиеся в зависимости от задачи.

1. Отметить признак начала и окончания текста.

2. Поиск начала и конца абзаца.

3. Отметить признак окончания предложения с помощью специальных знаков пунктуации.

4. Если встречаются кавычки, то передвинуть признак окончания предложения.

5. Если предыдущее слово сокращение или нет заглавной буквы, то передвинуть признак окончания предложения.

6. Убрать признак окончания предложения если за знаками препинания «?», «!» отсутствует заглавная буква.

При использовании регулярных выражений для графематического анализа текста, используется правила формального языка. При создании правил сначала необходимо выделить алфавит для описания формального языка, например, для русского языка будут существовать следующий алфавит: собственное слово, иностранное слово, множество слов, буквенная последовательность, сокращения, целое число, дробное число и т.д.

При использовании словарного метода графематического анализа текста, используется уже созданный справочник слов, по которому происходит последовательный поиск слов и выделения этих слов из текста.

1.4.1.2 Обзор средств для графематического анализа

Программные средства, используемые для графематического анализа текста:NLTK, Stanford CoreNLP, Apache OpenNLP, TextBlob.

NLTK - это open source библиотека методов для машинной обработки естественного языка [10]. Данная библиотека написана на языке Python и открыта в свободном доступе. Задачи, которые можно выполнить с использованием данной библиотеки:

- методы для вычисления базовой статистики текста;

- работа с корпусами и лексико графическими ресурсами;

- обработка естественного языка (токенизация, лемматизация, стемминг, pos-tagging, parsing);

- классификация;

- машинный перевод;

- работа с XML-документами;

- представление знаний.

NLTK является ведущей платформой для создания программ Python для работы с данными на естественном языке. Он обеспечивает простые в использовании интерфейсы для более чем 50 корпораций и лексических ресурсов, таких как WordNet, а также набор библиотек обработки текстов для классификации, токенизации, лемматизации, стемминга, pos-tagging, parsing, синтаксического разбора для индустриальных библиотек NLP. Благодаря практическому руководству, которое содержит основы программирования и темыо вычислительной лингвистике, а также полной документацией по API, NLTK подходит для лингвистов, инженеров, студентов, преподавателей, исследователей и промышленных пользователей. NLTK доступен для Windows, Mac OS X и Linux.

Stanford CoreNLP предоставляет набор инструментов анализа естественного языка [11]. Он может дать базовые формы слов, их части речи, будь то имена компаний, людей и т.д., нормализовать даты, время и числовые величины, разметить структуру предложений учитываятермины и устойчивые словосочетания, зависимости слов, указать какие именные фразы относятся к одним и тем же сущностям, указывают на настроения, извлекают особые или открытые отношения между упоминаниями в сущности, получают цитаты людей и т.д.

Stanford CoreNLP выполняет следующие задачи:

- интегрированный инструментарий с хорошим набором инструментов грамматического анализа;

- быстрый, надежный анализ произвольных текстов;

- общая текстовая аналитика самого высокого качества;

- поддержка ряда основных (естественных) языков;

- доступные интерфейсы для большинства современных языков программирования;

- возможность запуска как простой веб-службы.

Цель Stanford CoreNLP состоит в том, чтобы очень легко применить множество языковых инструментов анализа к фрагменту текста.Конвейер инструмента можно запустить на куске простого текста всего двумя строками кода. Stanford CoreNLP объединяет многие инструменты NLP Стэнфорда, включая тег-речевые части (POS), распознавать части слова (NER), анализатор, систему разрешения взаимодействия, анализ настроений, обучение шаблону начальной загрузки и инструменты для извлечения открытой информации. Библиотека может включать дополнительные пользовательские или сторонние аннотаторы. Анализ CoreNLP обеспечивает базовые строительные блоки для приложений понимания текста на более высоком уровне и для конкретных доменов.

Библиотека Apache OpenNLP представляет собой инструментарий машинного обучения, предназначенный для обработки текста на естественном языке [12]. Он поддерживает наиболее распространенные задачиNLP, такие как токенизация, сегментирование предложений, пометка части речи, извлечение именованных объектов, разбиение на блоки, анализ и разрешение кореферентности. Эти задачи обычно требуются для создания более сложных служб обработки текста. OpenNLP также включает в себя максимальное обучение на основе энтропии и персептрона.

Библиотека TextBlob - это библиотека Python для обработки текстовых данных [13]. Он предоставляет простой API для погружения в обычные задачи обработки естественного языка (NLP), такие как частичная речевая маркировка, извлечение фразы, анализ настроений, классификация, перевод и т.д.

Библиотека TextBlob использует библиотекиNLTK иWordNet, и прекрасно сочетает функции обоих:

- выделение имен существительных;

- пометка частей речи;

- анализ настроений;

- классификация;

- перевод и определение языка на основе Google Translate;

- Tokenization (разделение текста на слова и предложения);

- частоты слов и фраз;

- словоизменение (плюрализация и сингуляризация) и лемматизация;

- коррекция правописания;

- добавление новых моделей или языков с помощью расширений;

- интеграция с WordNet.

1.4.2 Морфологический анализ текста

Целью морфологического анализа слов является определение части речи (глагол, существительное, местоимение и т.д.) и выяснение его нормальной формы. То есть в случае создания мобильного приложения для проверки использования времен английских глаголов необходимо с помощью морфологического анализа текста, найти глаголы и поставить их в нормальную форму(инфинитив).

Для морфологического анализа слов используются следующие методы:

- алгоритм Витерби;

- алгоритм Портера;

- деревья принятия решения;

- машинное обучение;

- словарный;

- метод опорных векторов;

- правила;

- разрешение омонимии.

Методы машинного обучения, правила, регулярные выражения, словарный уже были описаны в разделе 1.4.1. Разберем оставшиеся методы.

1.4.2.1 Обзор методов для морфологическогоанализа

Алгоритм Витерби- это алгоритм динамического программирования, который выполняет поиск наиболее подходящего списка состояний и получает наиболее вероятную последовательность произошедших событий. Этот алгоритм назван в честь создателя - американского инженера итальянского происхождения Эндрю Витерби. Данный алгоритм применяется для задач обработки естественного языка, подразумевающих использование скрытых Марковских моделей. Например, разметка частей речи и извлечение именованных существительных.

Алгоритм Портера, так же называется стеммер Портера - это алгоритм стемминга. Алгоритм используетосновы слов, применяя последовательно ряд правил, отсекает окончания и суффиксы, основываясь на особенностях языка, в связи с чем работает быстро, но не всегда безошибочно.

Дерево принятия решения или Морфологическое И/ИЛИ-дерево является одним из способов представления модели морфологического множества уровня идентификации. Морфологическое дерево имеет два типа вершин: ИЛИ-вершины, представляющие собой классификационные признаки и означающие возможность выбора одного из ребер, которые соответствуют значениям классификационных признаков, и И-вершины, обычно представляющие агрегацию подсистем.

Метод контекстного разрешения функциональной омонимии включает: Построение полной классификации типов функциональных омонимов. Выделение минимального множества разрешающих контекстов для каждого типа. Минимальность множества означает, что для каждого типа функционального омонима следует оценить сложность распознавания каждой части речи, принадлежащей данному типу. Затем построить множество разрешающих контекстов, имеющих минимальную сложность распознавания. В алгоритмической записи данное требование будет выглядеть следующим образом: Если для функционального омонима Х, имеющего тип T1 или Т2, применено правило из МРК, то тип омонима Х определяется примененным правилом, иначе приписывается альтернативный тип. Построение управляющей структуры для множества разрешающих контекстов, обеспечивающей максимальную точность распознавания.

Метод опорных векторов - набор схожих алгоритмов обучения с учителем, использующихся для задач классификации и регрессионного анализа. Принадлежит семейству линейных классификаторов и может также рассматриваться как специальный случай регуляризации по Тихонову. Особым свойством метода опорных векторов является непрерывное уменьшение эмпирической ошибки классификации и увеличение зазора, поэтому метод также известен как метод классификатора с максимальным зазором. Основная идея метода - перевод исходных векторов в пространство более высокой размерности и поиск разделяющей гиперплоскости с максимальным зазором в этом пространстве. Две параллельных гиперплоскости строятся по обеим сторонам гиперплоскости, разделяющей классы. Разделяющей гиперплоскостью будет гиперплоскость, максимизирующая расстояние до двух параллельных гиперплоскостей. Алгоритм работает в предположении, что чем больше разница или расстояние между этими параллельными гиперплоскостями, тем меньше будет средняя ошибка классификатора.

1.4.2.2 Обзор средств для морфологического анализа

Программные средства, используемые для морфологического анализа текста: Myaso, Snowball, TreeTagger, NLTK, TextBlob, АОТ, pymystem3, ОРФО, SVMTool, AskNet.

Библиотека Myaso является библиотекой для морфологического анализа и синтакисческого анализа, написанной на Ruby[14]. На данный момент Myaso имеет довольно быстрый метод определения части речи (POS) Tagger, построенной на скрытых марковских моделей (СММ). Поскольку Яндекс выпустила Mystem анализатор в виде разделяемой библиотеки, это позволяет использовать анализатор через интерфейс внешней функции. Myaso выполняет POS пометку, используя его собственную реализацию алгоритма Витерби на ПММ. Выход имеет следующий формат: token<TAB>tag.

К сожалению, текущая реализация Tagger имеет два существенных недостатка:

1. Tagger обрабатывает неизвестные слова не безошибочно;

2. работает достаточно быстро, но перед этим требует довольно долгой процедуры обучения,которая происходит только один раз.

Библиотека Snowballнебольшой язык обработки строк, предназначенный для создания алгоритмов, для использования в информационно - поисковых системах [15]. Snowball компилятор переводит Snowball скрипт на другой язык - в настоящее время поддерживаются следующие языки ISO C, Java и Python.

Библиотека TreeTagger представляет собой инструмент для аннотирования текста из слов и информации леммы [16]. Он был разработан Хельмут Шмид в проектеИнститута вычислительной лингвистики Университета Штутгарта. TreeTagger был успешно использовуется на языках немецкий, английский, французский, итальянский, голландский тексты и адаптируются к другим языкам, если словарный запас и ручное обучения системымогут быть произведены.

БиблиотекаPymystem3 модуль содержит оболочку для отличного морфологического анализатора на русском языке Яндекс Mystem 3.0 выпущен в июне 2014 г. морфологического анализатора может выполнять лемматизации текста и получить набор морфологических признаков для каждых маркеров [17]. Python является языком выбора для многих вычислительных лингвистов, в том числе тех, кто работает с русским языком.

Библиотека ОРФО-система проверки правописания, разработанная российской компанией OOO «Информатик» [18]. Регулярно выходят её новые версии. Программа, помимо поддержки русского языка, обладает возможностью проверять тексты на украинском, английском, немецком, французском, испанском, итальянском и португальском языках. Начиная с 1995 года, посредством ОРФО осуществлялась проверка правописания в русскоязычной версии MS Office. В MS Office была интегрирована особая версия ОРФО, обладающая ограниченным функционалом (компанией Microsoft была лицензирована примерно четверть лингвистических технологий ОРФО).

Библиотека SVMTool представляет собой простой и эффективный генератор последовательных Taggers на основе опорных векторов [19]. SVMTool применяется к ряду проблем NLP, таким как разметка частей речи и устойчивых выражений на разных языках. Предлагаемый SVM на основе Таггер является надежным и гибким, эффективно обучается с минимальным количеством обучающих примеров, чтобы настроиться, и могут помечать тысячи слов в секунду, что делает его очень практичным для реальных приложенийNLP.

Библиотека AskNet - российская интеллектуальнаяметапоисковая система, первая вопросно-ответная система в Рунете[20]. Вопросно-ответная поисковая системасистема AskNet предназначена для поиска текстовой информации по запросу пользователя на естественном языке. В настоящее время поиск ответов на вопросы пользователей поддерживается для русско- и (или) англоязычных запросов пользователей и текстов.

1.4.3 Выбор программных средств для морфологического и графематического анализа текста

На основе разбора каждого метода и программного средства, произведем анализ каждого программного средства, для выбора подходящего для разработки мобильного приложения проверки использования времен английских глаголов. Сравнение будет производится на основе 4 характеристик: метод, поддерживаемые языка, платформа/язык (т.к. существует ограничение, мобильное приложение разрабатываете на MacOS), доступность [21].

Далее будет предоставлена таблица сравнения описанных программных средств, на основе которых будет выбрана наиболее подходящая данному проекту библиотека для графематического анализа текста (см. табл. 1.3).

Таблица 1.3 Сравнение средств для графематического анализа