Начальное разбиение предложения

Расстановка границ

По всем знакам препинания и сочинительным союзам без запятой проводятся границы фрагментов. Исключения:

1. Граница не проходит по тем знакам препинания, которые входят в состав определенных графематическим анализом единиц (сокращения, дробные числа, букво-числовые комплексы и др.);

2. В том случае, если несколько знаков препинания идут подряд, по ним проходит одна граница. (Не строится фрагментов, не содержащих ни одного слова).

Правило о двух предикатах в одной клаузе

Список глаголов ГС = {давать, становиться, оказаться}

Список значений частей речи, которые могут принимать предикаты

ПС = {VERB (гл. в личн. форме), ADVERB_PARTICIPLE (деепричастие), ADJ_SHORT (кр. прил.), PARTICIPLE_SHORT (кр. прич.), PREDK (предикатив)}

В одной клаузе не может находиться две словоформы, все омонимы которой ПС & ГС. В случаях, когда возникает такая ситуация (опечатка или ошибка морфологии), перед вторым предикатом восстанавливается запятая. Данное правило работает внутри правила расстановки границ и учитывает информацию об аналитических формах. Примеры для клауз исключений, содержащих словоформы из ГС: «давайте будем дружить», «Ему там могло бы за это время стать совсем скучно» и т.д.

Алгоритм интерпретации клауз с тире и восстановления тире в клаузах с нулевым Копулом, написанный для Синтаксиса

Правило 1.

Если мы видим тире, то идем от него направо и налево. Пусть С1 - клауза слева от тире, а С2 - клауза справа. Осуществим следующую проверку: ищем в С1 и в С2 глагол в личной форме или предикатив, если находим, то алгоритм обрывается.

Правило 2.

Если непосредственно слева от тире стоит запятая, (дом, построенный на холме, - большой), то это говорит о конце причастного оборота (P1) либо деепричастного, либо оборота с вершиной «который», либо вводного слова, мы ищем его начало (вершины «причастие», «деепричастие», «который», «вводное слово»), и группу (слово), которая им управляет (R1). Затем мы объединяем R1, P1, C2 в одну клаузу «тире».

Правило 3.

Восстановление тире.

Работа производится на этапе первоначальной фрагментации. Мы имеем первоначальный фрагмент.

Если фрагмент не «Пустыха», то мы выходим из работы алгоритма. Если фрагмент имеет вариант «Пустыха», то мы все равно выходим из работы алгоритма.

Алгоритм не восстанавливает тире в клаузах с двумя инфинитивами («жить все равно что родине служить») по той причине, что случаев, требующих восстановление тире, много меньше, чем случаев, где восстановленное тире - ошибка («Он еще поигрался с этой мыслью, прежде чем позволить ей удалиться.»)

1 случай (тип клаузы ТИРЕ)

Определяем в составе:

Таблица 1

Процесс вкладывания, а не слияния клаузы «ВВОДН» происходит на синтаксисе до объединения всех групп «ГЛ_личн», «КР-прил» и др. Клауза «ВВОДН» вкладывается в другие клаузы слева или справа следующим образом:

1. Если «ВВОДН» - первая клауза в предложении. Если с правой стороны от «ВВОДН» стоит Подчиненное предложение любого типа («ГЛ_ЛИЧН когда», «Наверно, когда пошла домой, она что-то забыла.»), то «ВВОДН» в него не вкладывается, в остальных случаях происходит вложение.

2. Если после следующих слов, имеющих омоним «ВВОДН», стоит подчинительная клауза со «что» («бесспорно, что это так»), то омоним «ВВОДН» убивается и ставится «ПРЕДК»:

3. Если «ВВОДН» - последняя клауза в предложении. В таком случае «ВВОДН» всегда вкладывается в левую клаузу.

4. Если «ВВОДН» ограничено с одной стороны запятой, а с другой другим знаком препинания или запятой и еще одним знаком препинания, то «ВВОДН» вкладывается в клаузу со стороны запятой безотносительно к иерархическому статусу оной. (» - Не знаю, - прошептал Врумфундель, - наверно, наши мозги слишком натренированы, Маджиктиз.» «Убийца потерял что-то - наверно, пальто.»,» - Да нет, конечно, - вздохнул Зафод.»)

5. Если обе клаузы слева и справа от «ВВОДН» имеют союз, то клауза «ВВОДН» вкладывается в левую клаузу независимо от иерархии. («И пошла Маша домой, наверно, а не в гости.»)

6. Если обе клаузы слева и справа без союзов и если в составе клаузы «ВВОДН» имеется союз или частица («Она пошла в гости, приготовив ужин, и наверно, поев.»), то клауза «ВВОДН» вкладывается в правую клаузу независимо от иерархического уровня последней, за исключением случаев конца предложения и других знаков препинания с правой стороны, кроме запятой.

Имеет место следующая иерархия:

1. ГЛ_ЛИЧН («Она, наверно, пошла гулять», «Зеленые, красные и сиреневые облака, наверно, плыли над нами.», «Какую, наверно, она возбуждает зависть у других!» «Такого царственного существа, наверно, больше нигде не найдешь.») // но: Я думаю, наверно, наши мозги слишком натренированы.

2. ПРЕДК («Возможно, конечно, наши мозги слишком натренированы.», «Это, наверно, интересно»)

3. КР_ПРИЛ («Она, наверно, красива»)

4. КР_ПРЧ («Оттого, наверно, наши мозги слишком натренированы.»)

5. ДПР («Она, приготовив, наверно, ужин, пошла в кино»)

6. ПРЧ («Она, строящая, наверно, дом, умна», «Дом, наверно, строящийся рабочими.»)

7. ИНФ («Нам, наверно, уходить?»)

8. СРАВН («Ему, наверно, было немногим больше двадцати лет.»)

9. ПУСТЫХА («Дом, наверно, который построил Джек, развалился.»)

10. ВВОДН (» - Конечно, конечно, - сказал Зафод.», «Я, конечно, конечно, с тобой согласен.» «Она пришла, конечно, наверно, министр ее примет» или «Она пришла, конечно, и конечно же, министр ее примет»)

Вывод: Чем меньше номер у типа клаузы, тем больше связывающей силы она имеет, но иерархия не работает, если клауза имеет союз. («Стена джунглей, тянувшаяся покуда хватало глаз и, наверно, еще на добрых две тысячи миль.», «Если это был и ты, наверно, ты не прав.»), хотя «Но у них, наверно, по всему лесу рыщут разведчики.», «Это была, наверно, только приписка.»

1.1) Дополнительные правила объединения клауз после вкладывания «ВВОДН»:

Если правая клауза имеет сочинительный союз, то объединения клауз после вкладывания «ВВОДН» не происходит.

а) Если мы имеем линейную цепочку «Пустыха», «ВВОДН», «Х», где «Х» - любая из групп выше по вышеприведенной иерархии («это, конечно, здорово»), чем «Пустыха», то «Пустыха» присоединяется к получившейся клаузе после того, как ВВОДН» вольется в правую от себя клаузу.

б) Если мы имеем цепочку «Х», «ВВОДН», «Пустыха», где «Х» - любая из групп выше по вышеприведенной иерархии, чем «Пустыха» («На этот вот момент, конечно, главная из новостей - пройдоха Президент.»), то она («Пустыха») присоединяется к получившейся слева клаузе после вливания «ВВОДН» только в том случае, если

1) не имеет союза перед собой, («Они пошли, наверно, в лес, а затем решили остановиться.»)

2) если она является последней клаузой в предложении или после стоит («ГЛ_личн» || «КР_ПРИЛ» || «КР_ПРЧ» || «ПРЕДК») без подчинительного союза («Пойдем, наверно, в кино.»)

в) Если с одной стороны от «ВВОДН» (В1) стоит еще одна «ВВОДН» (В2), а с другой другая клауза Х, то В1 и В2 вкладываются в клаузы в соответстсвии с иерархией. Мы отказались от правила первичного объединения двух «ВВОДН» ввиду множества контр примеров типа «Она пришла, конечно, наверно, министр ее примет» или «Она пришла, конечно, и конечно же, министр ее примет», где они относятся к разным клаузам.

Общий корпус примеров на вкладывание «ВВОДН» (подчеркнутый курсив - противоречит правилу):

«Стена джунглей, тянувшаяся покуда хватало глаз и, наверно, еще на добрых две тысячи миль.»

«Такого царственного существа, наверно, больше нигде не найдешь.»

«Убийца потерял что-то - наверно, пальто.»

«Я все любил: и зиму, конечно, и весну.»

2) Причастный оборот (применяется к фрагментам с типом причастие)

а) Проверка, не стоит ли причастие, вершина фрагмента, перед определяемым словом: поиск существительного, совпадающего с причастием по роду, числу и падежу. Если такое существительное есть, происходит повторное определение типа фрагмента (тип причастие исключается) и выход из правила. Иначе переход к пункту б).

б) Поиск в соседнем левом фрагменте существительного или местоимения, совпадающего с причастием в роде числе и падеже. Если такое слово найдено, то данный фрагмент (причастный оборот) вкладывается в соседний левый и выход из правила. Если слово не найдено, выход из правила.

3) Фрагмент со словами который, какой, чей

Если в соседнем левом фрагменте есть существительное или местоимение, совпадающее с который (какой, чей) в роде и числе, данный фрагмент вкладывается в соседний левый.

4) Фрагмент с союзом что или чтобы

Фрагмент с подчинительным союзом что или чтобы с вершиной не «пустыха», не «вводное слово», не «инфинитив» (если союз - что) вкладывается в соседний левый фрагмент с вершиной не «пустыха», не «вводное слово», не «инфинитив» (если в нем нет союза чтобы).

5) Деепричастный оборот (применяется к фрагментам с типом деепричастие)

Фрагмент с вершиной - «деепричастие» вкладывается в соседний левый, если у того вершина - глагол в личной форме, иначе - в соседний правый, если у него вершина - глагол в личной форме, нет подчинительных союзов.

Правила, объединяющие фрагменты

1) Правило присоединения фрагментов типа «пустыха» к фрагменту с предикатной вершиной

Если есть цепочка «пустых», разделенная либо запятыми, либо сочинительным союзом без запятой, и слева от первой «пустыхи» стоит фрагмент не «пустыха» и не «вводное слово», тогда с этим фрагментом объединяй всю цепочку. Если с этой цепочки начинается предложение или перед ней стоит точка с запятой или двоеточие, а справа от этой цепочки стоит фрагмент не «пустыха» и не «вводное слово» и при этом без подчинительных союзов, тогда с этим фрагментом объединяем всю цепочку.

Пример: Я знаю Петю, Васю.

На первом этапе «Вася» был отдельной Пустыхой, после же отработки этого правила «Вася» подсоединиолся к «Я знал Петю».

2) Правила для объединения разорванных фрагментов и поиска слова, управляющего вложениями в них присубстантивных фрагментов.

Работают после анализа сочинения.

Ситуации правил ищутся в предложении справа налево.

Группа правил (4 Правила) соединения

1.1 «пустых» без подлежащего в начале предложения или фрагментов с подчинительным союзом без подлежащего и без сказуемого с фрагментом со сказуемым.

1.2 фрагментов с подлежащим и без ПРЕД в начале предложения или фрагментов с подчинительным союзом и подлежащим с фрагментом - «пустыхой» или фрагментом с ПРЕД.

Что: {Фрагмент-k (первый в предложении* или с подчинит. союзом и в нем нет сущ в именит. п., нет ПРЕД и в него включено обособленное согласованное определение)+(фрагмент-k+i с ПРЕД) или

{Фрагмент-k (первый в предложении* или с подчинительным союзом и в нем нет существительного в им. п и нет ПРЕД)+ (фрагмент-k+i с ПРЕД и со включенным в него деепричастным оборотом)}

Строим: соединяем фрагменты k и k+i в один

Примеры: …когда на столе, покрытом скатертью, они расставили тарелки…

…если, решая задачу, он ошибся,… Вчера, решая задачу, он ошибся…

На столе, покрытом скатертью, стояли тарелки.

Что: фрагмент-k: первый в предложении* или с подчинит. союзом и в нем нет сущ. в им. п и нет ПРЕД)+ (фрагмент k+i с подчинительным союзом) + фрагмент k+i+n: первый фрагмент справа - не придаточное\деепричастный оборот\ обособленное определение)

Строим: фрагмент-k объединить с фрагментом k+i+n в один.

Что: {Фрагмент-k (первый в предложении или с подчинит. союзом, без предиката и с сущХ или с группой, вершина которой - сущХ: существительное, или местоимение, или колич. числ в им. п. или с сущХ: группой сочиненных сущ или групп - в им. падеже, в который вложено согласованное определение или фрагмент с который) + фрагмент k+i с ПРЕД} или {Фрагмент-k (первый в предложении или с подчинит. союзом, без ПРЕД и с сущХ) + (фрагмент-k+i с ПРЕД и вложенным фрагментом с деепричастием)}

Условия: сущХ согласуется с ПРЕД.

Строим: фрагмент-k объединить с фрагментом-k+i

Примеры: Большинство мальчиков, игравших во дворе весь день, уже ушли домой.

Когда он, пытаясь решить задачу, сделал чертеж, пошел дождь.

Он увидел, что на столе, над которым висела лампа, были горой навалены учебники.

Что: (Фрагмент-k: первый в предложении или с подчинительным союзом, без ПРЕД и с сущХ) + (фрагмент-k+i: ближайщий без подчинительного союза с ПРЕД)}

Условия: сущХ согласуется с ПРЕД

Строим: фрагмент-k и фрагментК+1 сливаем в один фрагмент.

Примеры: Город, где он никогда не был, казался ему уродливым.

Город, где он, когда учился, жил, был ему дорог. Город, где башня, когда она строилась, сгорела, был ему дорог.

Алгоритм определения хозяина присубстантивного фрагмента.

Правило ХС-1.

Что: фрагмент-k + (фрагмент-k+1 с где \ чей \ кто\ когда \куда \откуда

Условия: во фрагменте-k есть СУЩ: существительное со слугою - местоим. прил. (тот, такой, каждый, всякий, любой, некоторый,)

Строим: СУЩ - хозяин вложенного фрагмента.

Примеры:…тот город, где он жил, расположен….тот город, где он жил, расположен.

(Если в то время \тот день\, когда он…, приедет его брат…в том городе, куда \ откуда он едет.,

Правило ХС-2

Что: фрагмент-k + фрагмент-k+1 с кто или чей

Условия: во фрагменте-k контактно к фрагменту-k+1 есть МЕСТ: местоименное сущ: тот, каждый, всякий, любой, все, никто, кто-нибудь, кто-то, кое-кто, любой, любая прочие

Строим: ближайшее МЕСТ - хозяин фрагмента-k+1

Примеры:…тот, кто этого не знает, не решит…с каждым, чьими вычислениями они пользовались, договориться было бы…

Правило ХС-3

Что: фрагмент-k + фрагмент-k+1 со что (в любой форме)

Условия: во фрагменте-k контактно к фрагменту-k+1 есть МЕСТ: все, ничто, что-нибудь, что-то, кое-что,

Строим: МЕСТ - хозяин вложенного фрагмента.

Примеры: что-то, что было им важно, они не знали

Правило ХС-4.

Что: фрагмент-k + (фрагмент-k+1 со что, в котором нет сущ. в им. п.

Условия: непосредственно слева от фрагмента со что стоит сущ. (или группа с вершиной-сущ), согласующееся с ПРЕД вложенного фрагмента

Строим: это сущ - хозяин фрагмента-k+1

Примеры:..стол, что стоял\стоит у окна, был покрыт…об истории, что была тогда рассказана, он ничего не знал…

Правила построения фрагмента необособленного согласованного определения

Правила формирования групп с прилагательным\причастием в препозиции к существительному - вершине со вставлениями (=НСО) и ПГ, где предлогу подчинен НСО.

Анализирует:

1. согласованные определения, выраженные прилагательными и причастиями в препозиции к существительному-хозяину и осложненные вложениями предложных оборотов и беспредложных существительных между согласованным определением и его хозяином (готовый ко всему мальчик) и

2. предложные группы со вставлениями между предлогом и его слугою вложений, задаваемые ситуациями п. 1 (на покрытом скатертью столе).

Правило 7 для анализа именной группы со вложениями ПГ

Что: цепочка (прилагательное или причастие)^л - ПГ - (прил_сущ. или одиночное существительное)ⁿ.

Условие: (прил\прич)^л согласуется по числу и падежу, а в ед. ч. - по роду с (прил_сущ. или одиночным сущ.)ⁿ.

Строится: 1. группа (прил\прич.)^л + ПГ, где (прил\прич)^л - вершина.

2. группа (прил\прич)^л + (прил_сущ. или один. сущ.)ⁿ с вершиной - существительным.

Примеры:… удобным по всем показателям новым методом…,… готовый к новому большому и очень трудному походу молодой воин…

Правило 8 для анализа группы прил-сущ со вложениями между вершиной и прилагательным\ причастием - слугою других групп прил-сущ

Что: цепочка (прилагательное\ причастие)^л + (группа прил_сущ.. или одиночное существительное\местоимение)ⁱ +(прил_сущ. или одиночное сущ.)ⁿ

Условия:

1. (прил. или прич)^к согласуется по падежу и числу с (прил_сущ или одиночным сущ.)ⁿ

2. (группа прил_сущ или одиночное существительное\местоимение)ⁱ не в неомонимичном им. падеже.

Строится:

1. группа (прилагательное\причастие)^л + (прил_сущ. или одиночное существительное)ⁱ с вершиной - прилагательным\ причастием)^к.

2. группа (прилагательное\причастие)ⁱ + (прил_сущ или одиночное сущ.)ⁿ с существительным - вершиной.

Примеры:… видящему всех псу, строящим высокие дома англичанам

Правило 10 для построения ПГ с именными группами, построенными по правилам 7-9.

Что: цепочка предлог+НСО

Условие: предлог может управлять одним из падежей вершины НСО.

Строится: группа предлог + НСО, где предлог - вершина.

Примеры: на лежащем под ним ковре, к ожидающему неприятностей мальчику, для известного всем старшего дворника

2.3.4 Взаимодействие с синтаксическим анализом

Синтаксический анализ проводится на каждом фрагменте отдельно. На фрагментах, полученных объединением по правилу о простых случаях однородности, могут построиться синтаксические группы однородных членов. Основные механизмы взаимодействия между фрагментами и их синтаксическими вариантами:

1. При объединении фрагментов объединяются их синтаксические варианты (каждый с каждым, чтобы получить декартово произведение омонимов для нового фрагмента).

2. При вложении фрагмента в лево- или правостоящий фрагмент, происходит перемножение типов вкладываемого фрагмента на синтаксические варианты главного фрагмента. Каждый омоним типа вкладываемого фрагмента представляется как юнит (см. синтаксис) и добавляется в начало или конец синтаксического варианта.

3. При построении фрагмента необособленного согласованного определения внутри существующего предложения, фрагмент необособленного согласованного определения внутри синтаксических вариантов представляется как юнит.

Существует механизм для объединения дистантных и рядом стоящих фрагментов, который объединяет лучшие синтаксические варианты и строит по всем существующим синтаксическим правилам группы для нового варианта, а затем ищет группы построенные на границе объединения или подлежащее и сказуемое по разные стороны границы объединения. Если поиск успешен, то объединение двух фрагментов возможно.

2.4 Морфологический анализ

синтаксический морфологический текст графематический

Данный блок позволяет получить морфологическую информацию о словах в тексте.

2.4.1 Структура морфологического словаря

Морфологический словарь, или лексикон, содержит все словоформы одного языка, в нашем случае русского.

2.4.2 Русский морфологический словарь

Русский морфологический словарь базируется на грамматическом словаре А.А. Зализняка[50]. Включает на данный момент 161 тыс. лемм.

При лемматизации для каждого слова входного текста выдается множество морфологических интерпретаций следующего вида:

· морфологическая часть речи;

· набор общих граммем (которые относятся ко всем словоформам парадигмы слова).

· множество наборов граммем.

Ниже мы приводим полный перечень русских частей речи:

Граммема - это элементарный морфологический описатель, относящий словоформу к какому-то морфологическому классу, например, словоформе стол с леммой СТОЛ будут приписаны следующие наборы граммем: «мр, ед, им, но», «мр, ед, вн, но». Таким образом, морфологический анализ выдает два варианта анализа словоформы стол с леммой СТОЛ внутри одной морфологической интерпретации: с винительным (вн) и именительным падежами (им).