Программные средства для заполнения базы персональных данных

Несмотря на то, что в настоящее время большинство документов составляется на компьютерах, задача создания полностью электронного документооборота ещё далека до полной реализации. Как правило, существующие системы охватывают деятельность отдельных организаций, а обмен данными между организациями осуществляется с помощью традиционных бумажных документов.

Задача перевода информации с бумажных на электронные носители актуальна не только в рамках потребностей, возникающих в системах документооборота. Современные информационные технологии позволяют нам существенно упростить доступ к информационным ресурсам, накопленным человечеством, при условии, что они будут переведены в электронный вид.

Наиболее простым и быстрым способом перевода данных документов в цифровой формат является сканирование документов с помощью сканеров или захват изображения цифровой фотокамерой. Результатом их работы является цифровое изображение документа - графический файл. Более предпочтительным, по сравнению с графическим, является текстовое представление информации. Этот вариант позволяет существенно сократить затраты на хранение и передачу информации, а также позволяет реализовать все возможные сценарии использования и анализа электронных документов. Поэтому наибольший интерес с практической точки зрения представляет именно перевод бумажных носителей в текстовый электронный документ.

Цель данной ВКР - исследование возможностей ускорения процессов заполнения базы персональных данных. Это может быть достигнуто за счет сокращения ручного ввода персональных данных путем применения технологий оптического распознавания символов.

Данное исследование выполняется по предложению руководителя отдела разработки АО «Сбебанк-Технологии».

В ВКР решены следующие задачи:

1. Аналитический обзор существующих средств для автоматического заполнения базы персональных данных

2. Проектирование автоматизированной системы

3. Реализация системы

4. Тестирование системы

5. Проведен эксперимент по занесению персональных данных с помощью разработанной системы

Результаты работы докладывались на международной студенческой конференции «Молодые исследователи - регионам».

1. ПОСТАНОВКА ЗАДАЧИ

Аналитический обзор существующих решений по распознаванию данных документов

Поиск существующих свободно распространяемых решений, специализированных именно на распознавании документов, удостоверяющих личность, не дал результатов. Поэтому был проведен анализ продуктов, предлагающих возможности OCR, которые предлагают API или SDK для использования в собственном проекте [2]. Список ПО, удовлетворяющего условиям свободного распространения и наличия SDK, получился следующим: Tesseract, Puma.NET, CuneiForm, MeOCR, FreeOCR, Ocrad.

1. Tesseract

Наиболее популярная OCR-библиотека, разрабатываемая компанией Google. Поддерживает более 100 языков. Написана на языке C++, однако имеет обертку (wrapper) для языка Java.

2. Puma.NET

Обертка для CuneiForm для платформы .NET, следовательно, не может быть использована в приложении для ОС Android.

3. CuneiForm

Разработанная в России система оптического распознавания символов. Поддерживает 28 языков, в том числе русский. Последняя версия выпущена в 2011 году. Не предоставляет интерфейса для Java.

4. MeOCR

Не поддерживается с 2012 года. Средства разработки доступны только для платформы .NET

5. FreeOCR

Оболочка для Microsoft OCR Library. Может быть использована только на устройствах под управлением ОС Windows.

6. Ocrad

Написанная на C++ OCR-библиотека. Поддерживает только латинский алфавит, вследствие чего не может быть использована в проекте.

Таким образом, в качестве средства распознавания, наиболее подходит библиотека Tesseract. Однако изображение перед передачей на распознавание в Tesseract необходимо обработать: произвести фильтрацию и выделить блоки текста [3].

Существуют комплексные системы оптического распознавания символов, такие как ABBYY FineReader, CuneiForm и т.д., однако их использование в данном проекте не представляется возможным в связи с невозможностью или сложностью интеграции и громоздкостью пакетов.

2.1 Теоретические основы

Распознавание образов исследуется в рамках теории компьютерного зрения. Компьютерное зрение -- теория и технология создания машин, которые могут производить обнаружение, отслеживание и классификацию объектов [4]. В задачах компьютерного зрения входными данными является двумерный массив данных - то есть, изображение.

Процесс распознавания текста можно разбить на три этапа:

1. предварительная фильтрация и подготовка изображения;

2. логическая обработка результатов фильтрации;

3. алгоритмы принятия решений на основе логической обработки.

Границы между этапами очень условные. Для решения задачи далеко не всегда нужно применять методы из всех групп, бывает достаточно двух, а иногда даже одного.

2.1.1 Предварительная фильтрация и подготовка изображения

Большинство методов фильтрации используют операцию свертки. Значение каждого пикселя в выходном изображении равно сумме произведений значений матрицы свертки и соответствующих точек входного изображения.

Операции, выполняемые на этапе фильтрации:

1. Преобразование цветного изображения в оттенки серого для упрощения дальнейшей обработки. Пример приведен на рисунке 2.

Рисунок 2 - Преобразование изображения в оттенки серого

2. Сглаживание изображения - выполняется в целях уменьшения шума. Для выполнения операции сглаживания к изображению применяется фильтр. Пример сглаживания изображен на рисунке 3.

Рисунок 3 - Сглаживание изображения фильтром Гаусса

Существует множество фильтров, но наиболее часто используются следующие:

1) Размытие по рамке (box blur)

Простейший из фильтров. Каждый выходной пиксель равен среднему арифметическому соседних пикселей. Матрица свертки:

2) Размытие по Гауссу (Gaussian blur)

Несмотря на то, что этот алгоритм не самый быстрый, он нашел наибольшее применение. Функция свертки для одномерного изображения выглядит как представлено на рисунке 4.

Рисунок 4 - Функция свертки размытия по Гауссу

Если предположить, что изображение одномерное, можно заметить, что пиксель, находящийся в центре будет иметь больший коэффициент. Коэффициенты соседних пикселей уменьшаются с увеличением расстояния между ними и центральным пикселем.

3) Медианный фильтр (Median blur)

Заменяет каждый пиксель медианным значением соседних пикселей.

4) Двустороннее размытие (Bilateral blur)

Главной целью описанных выше фильтров является сглаживание изображения. Однако иногда фильтры не только снижают уровень шума, но также сглаживают границы, что не всегда допустимо. Для того, чтобы это избежать, применяются фильтры двустороннего размытия.

Так же, как и фильтр Гаусса, двусторонний фильтр ставит в соответствие каждому соседнему пикселю определенный коэффициент. Эти коэффициенты имеют две составляющих: первая соответствует коэффициенту фильтра Гаусса, а вторая учитывает разницу в интенсивности между соседними пикселями и тем, который рассчитывается.

3. Выделение границ

Для выделения символов на окружающем фоне применяют методы выделения признаков, в частности - методы выделения границ.

Выделение границ - метод для поиска границ объекта в пределах изображения. Он нацелен на поиск точек изображения, где резко меняется яркость.

Существует множество подходов к выделению границ, но практически все можно разделить на две категории: методы, основанные на поиске максимумов, и методы, основанные на поиске нулей. Методы, основанные на поиске максимумов, выделяют границы с помощью вычисления «силы края», обычно выражения первой производной, такого как величина градиента, и затем поиска локальных максимумов силы края, используя предполагаемое направление границы, обычно перпендикуляр к вектору градиента. Методы, основанные на поиске нулей, ищут пересечения оси абсцисс выражения второй производной, обычно нули лапласиана или нули нелинейного дифференциального выражения [5].

1) Оператор Собеля

Широко известным и довольно простым фильтром выделения границ является оператор Собеля. Он вычисляет приближенное значение градиента яркости изображения. Оператор Собеля использует две матрицы свертки для вычисления приблизительных значений производных по горизонтали и по вертикали изображения.

Если исходное изображение обозначить A, а изображения, где каждая точка соответствует приближенному значению производной в горизонтальном и вертикальном направлениях - и соответственно, то изображения производных будут рассчитываться следующим образом:

где - оператор свертки.

Координата x здесь возрастает «вправо», а y - «вниз». Значение градиента в каждой точке может быть вычислено, используя:

Имея эту информацию, мы также можем вычислить направление градиента:

Пример использования оператора Собеля изображен на рисунке 5.

Рисунок 5 - Пример использования оператора Собеля

2) Оператор Кэнни

Более широкое применение нашел оператор Кэнни. Он использует многоступенчатый алгоритм для обнаружения широкого спектра границ в изображении. Хотя он был разработан на заре компьютерного зрения, оператор обнаружения границ Кэнни до сих пор является одним из лучших детекторов. Кроме особенных частных случаев трудно найти детектор, который бы работал существенно лучше, чем детектор Кэнни [6].

Алгоритм оператора Кэнни состоит из следующих шагов:

· Применение фильтра Гаусса для снижения шума.

· Поиск градиентов (выполняется аналогично оператору Собеля). Направление градиента округляется до 0, 45, 90 или 135 °.

· Подавление немаксимумов - удаляются пиксели, которые скорее всего не являются частью границы. Остаются только тонкие линии.

· Двойная пороговая фильтрация и трассировка области неоднозначности. Задаются два пороговых значения (верхнее и нижнее), пиксель, градиент которого выше верхнего порога, принимается как граница, пиксель с градиентом ниже нижнего порога - отклоняется, пиксель с градиентом, находящимся между пороговыми значениями принимается как граница, только в случае, если рядом с ним находится пиксель с градиентом выше верхнего порога. Кэнни рекомендует, чтобы соотношение верхний порог/нижний порог находилось между 2 и 3. Пример использования оператора Кэнни приведен на рисунке 6.

Рисунок 6 - Пример использования оператора Кэнни

Из алгоритма следует, что выходное изображение является бинарным (это также видно на рисунке), что исключает необходимость пороговой фильтрации изображения для дальнейшего процесса распознавания, в отличие от оператора Собеля.

4. Морфологические операции

На заключительном этапе предварительной обработки символы должны быть объединены в блоки текста. Это может быть достигнуто путем применения морфологических операций. Рассмотрим 3 морфологических операции, которые необходимы при выполнении данного этапа: наращивание, эрозия, замыкание.

1) Наращивание (dilation):

Эта операция состоит из свертки изображения A с некоторой матрицей свертки B, обычно имеющей форму прямоугольника или эллипса.

Проходя каждый пиксель изображения, находится максимальное значение среди значений, перекрываемых матрицей свертки пикселей и значение текущего пикселя (расположенного в центре матрицы свертки) заменяется этим значением. Вследствие этого яркие области изображения «растут». Пример использования операции наращивания приведен на рисунке 7.

Рисунок 7 - Пример использования операции наращивания

2) Эрозия (erosion)

Эта операция обратна операции наращивания: вместо максимального значения среди значений, перекрываемых матрицей свертки пикселей, ищется минимальное значение. Это приводит к тому, что яркие области изображения становятся меньше, в то время как темные - «растут». Пример использования операции эрозии приведен на рисунке 8.

Рисунок 8 - Пример использования операции эрозии

3) Замыкание (closing)

Является последовательным выполнением операций наращивания и эрозии.

Операция замыкания «закрывает» небольшие внутренние «дырки» в изображении, и убирает углубления по краям области. Если к изображению применить сначала операцию наращивания, то мы сможем избавиться от малых дыр и щелей, но при этом произойдёт увеличение контура объекта. Избежать этого увеличения позволяет операция эрозия, выполненная сразу после наращивания с тем же структурным элементом [7]. Пример использования операции замыкания приведен на рисунке 9.

Рисунок 9 - Пример использования операции замыкания

2.1.2 Логическая обработка результатов фильтрации

Полученное на этапе предварительной обработки изображение содержит выделенные белым цветом области расположения блоков текста и может быть использовано для нахождения контуров блоков текста.

Контур - кривая, огибающая непрерывные блоки пикселей, имеющих одинаковый цвет и интенсивность.

После нахождения контуров, они должны быть заключены в прямоугольники - части изображения, находящиеся в этих прямоугольниках, и будут блоками текста, подлежащими распознаванию. Прямоугольники должны быть классифицированы в соответствии со структурой документа - например, в паспорте наименование органа выдачи расположено выше даты выдачи.

Для быстрого построения сложных приложений, использующих компьютерное зрение, существуют различные библиотеки. Одной из самых известных является библиотека компьютерного зрения OpenCV.

OpenCV имеет модуль обработки изображений imgproc, который включает весь спектр операций, описанных выше. Несмотря на то, что библиотека реализована на языке C++, она имеет обертку (wrapper) для языка Java, на котором ведется разработка под ОС Android, что избавляет от необходимости ручной настройки взаимодействия с кодом, написанным на C++, используя интерфейс JNI. Кроме обертки, поддерживаемой командой OpenCV, в которой отсутствует приличная часть интерфейсов, существует обертка JavaCPP, разрабатываемая командой Bytedeco.

Таким образом, для реализации первых двух этапов распознавания изображения - предварительной фильтрации и логической обработки изображения будет использована библиотека OpenCV, подключаемая через обертку JavaCPP.

2.1.3 Алгоритмы принятия решений на основе логической обработки

После выделения блоков текста, их фильтрации и классификации в соответствии со структурой полей в документе, отдельные блоки должны быть переданы для распознавания.

Распознавание символов может быть реализовано средствами OpenCV, например, при помощи алгоритма k ближайших соседей:

Алгоритм k ближайших соседей - один из простейших алгоритмов классификации, доступных для обучения с учителем. Основным принципом метода ближайших соседей является то, что объект присваивается тому классу, который является наиболее распространённым среди соседей данного элемента. Соседи берутся исходя из множества объектов, классы которых уже известны, и, исходя из ключевого для данного метода значения k высчитывается, какой класс наиболее многочислен среди них. Каждый объект имеет конечное количество атрибутов (размерностей). Пример классификации k ближайших соседей приведен на рисунке 10.

Рисунок 10 - Пример классификации k ближайших соседей. Тестовый образец (зеленый круг) должен быть классифицирован как синий квадрат (класс 1) или как красный треугольник (класс 2). Если k = 3, то она классифицируется как 2-й класс, потому что внутри меньшего круга 2 треугольника и только 1 квадрат. Если k = 5, то он будет классифицирован как 1-ый класс (3 квадрата против 2ух треугольников внутри большего круга).

Однако процессы разработки механизма распознавания и обучения алгоритма могут быть упрощены при использовании библиотеки оптического распознавания символов Tesseract. Преимущество Tesseract заключается в максимальной автоматизации процесса обучения шрифту и простоте его использования. Tesseract так же, как и OpenCV, имеет обертку в JavaCPP, дающую возможность использования его в проекте.

Распознанный в ходе предыдущих этапов текст будет использован для построения текстового представления документа и выведен на экран устройства для подтверждения корректности распознавания пользователем.

3. ПРОЕКТИРОВАНИЕ

3.1 Диаграмма вариантов использования

База данных приложения будет состоять из трех таблиц:

1. USER - пользователи. Столбцы:

_ID - идентификатор,

USERNAME - имя пользователя,

PASSWORD - хеш-сумма пароля;

2. DOCUMENT_TYPE - типы документов. Столбцы:

_ID - идентификатор,

CODE - код (например, PASSPORT),

NAME - локализованное наименование;

3. DOCUMENT -документы.

_ID - идентификатор,

DOC_TYPE_ID - ID типа документа,

USER_ID - ID владельца документа,

DATA - данные документа

Схема БД представлена на рисунке 13.

Рисунок 13 - Схема БД

3.4.2 Алгоритмы

Основным и наиболее сложным алгоритмом в приложении является обработка изображения предпросмотра, которая включает в себя обнаружение и в случае необходимости распознавание полей. Алгоритмы для документов типа паспорт и страховое свидетельство отличаются только в том, что для паспорта необходимо учитывать вертикальное расположение серии и номера паспорта. В связи с этим целесообразно рассмотреть алгоритм для паспорта, как более сложный. Блок-схема алгоритма представлена на рисунке 14.

Рисунок 14 - Блок-схема алгоритма обработки изображения предпросмотра

Алгоритм подпрограммы обнаружения полей представлена на рисунке 15.

Рисунок 15 - Алгоритм подпрограммы обнаружения полей

Алгоритм подпрограммы распознавания текста в полях представлен на рисунках 16, 17.

Рисунок 16 - Алгоритм подпрограммы распознавания текста

Рисунок 17 - Алгоритм подпрограммы распознавания текста

3.5 Проектирование пользовательского интерфейса

В случае если не все необходимые поля были обнаружены, нужно визуализировать на исходном изображении прямоугольники с распознанными полями, а также прямоугольники, в которых производится поиск этих полей. Для этого создан метод visualizeRects(), выполняющий обрезку исходного изображения до размеров документа, рассчитанных в конструкторе класса, отрисовку на изображении найденных на прошлом шаге прямоугольников и прямоугольников, в которых должны располагаться соответствующие поля, и восстановление изображения до исходного размера с заполнением краев белым цветом. Эти действия вынесены в отдельные методы, из алгоритмов которых стоит отдельно выделить операции opencv_imgproc.rectangle(), служащую непосредственно для отрисовки на изображении прямоугольника определенного цвета и Mat.copyTo(), копирующую одну матрицу (изображение) в другую. В данном случае производится копирование обрезанного изображения в центральную часть полноразмерного изображения. Эта операция является заключительной в процессе обнаружения полей.

4.3.3 Интеграция операции RecognitionActivity с сервисом PassportRecognitionService

Как было упомянуто ранее, для осуществления взаимодействия с представление CvCameraPreview необходимо реализовать интерфейс слушателя CvCameraViewListener. Он содержит 3 метода: onCameraViewStarted(), вызываемый, при запуске предпросмотра, onCameraViewStopped() - при его остановке и onCameraFrame() - при получении очередного кадра. Наибольший интерес представляют методы onCameraViewStarted() и onCameraFrame().

В методе onCameraViewStarted() можно произвести инициализацию сервиса распознавания. Конструктор сервиса распознавания должен принимать следующие аргументы:

· ширину и высоту изображения предпросмотра - на их основе будут вычислены такие величины, как абсолютные координаты областей поиска полей, размеры обрезанного под документ изображения, размеры матриц сверток, используемых в морфологических и других операциях;

· контекст текущей операции (объект android.content.Context) - нужен для запуска следующей операции;

· объект android.hardware.Camera - он необходим для захвата фото в полном разрешении для последующего распознавания текста;

· объект tesseract.TessBaseAPI - API для распознавания текста, подробнее будет описано далее.

Контекст операции можно получить при помощи ключевого слова this, поскольку каждая операция (Activity) является наследником Context. Ширина и высота изображения поступают в метод onCameraViewStarted() в качестве параметров.

Для захвата полноразмерного снимка должен использоваться тот же объект Camera, который используется для получения изображений предпросмотра. Он инициализируется в классе CvCameraPreview, однако не передается в onCameraViewStarted в качестве аргумента, поэтому необходимо модифицировать CvCameraPreview и интерфейс CvCameraViewListener, добавив третий параметр - Camera.

Для работы Tesseract необходимы обученные данные для определенного шрифта и языка - файл с расширением traineddata. Обучение Tesseract используемым в документах шрифтам будет описано в пункте 4.7. Полученный после обучения файл (в данном случае rus.traineddata) необходимо встроить в приложение. ОС Android не предоставляет возможности обращения к файлам, встроенным в пакет приложения (APK), с использованием абсолютных путей, что необходимо для API библиотеки Tesseract. Поэтому файл с обученными данными можно скопировать из пакета приложения, например, в директорию кэша приложения. Копирование этого файла, если он отсутствует в директории кэша, а также инициализация API при помощи метода TessBaseAPI.Init() производятся при старте операции RecognitionActivity в методе initTesseract().

Таким образом, получены все необходимые для инстанцирования сервиса распознавания аргументы. В зависимости от типа документа, полученного ранее через дополнительные данные в намерении, в методе onCameraViewStarted() создается либо экземпляр класса PassportRecognitionService, либо SnilsRecognitionService. В методе onCameraFrame() достаточно вызывать processPreview() этого сервиса - обработанное этим методом изображение будет возвращено в CvCameraPreview для отрисовки на окне предпросмотра.

4.3.4 Распознавание

Распознавание текста полей также будет реализовано в BaseDocRecognitionService. Положительный результат проверки isAllFieldsFound() говорит о том, что можно приступить к распознаванию текста в полях. Эту роль выполняет метод takeFullSizePicture(). В нем происходит асинхронный захват полноразмерного изображения с камеры при помощи takePicture() того же экземпляра Camera, который используется для предпросмотра. Поскольку захват выполняется асинхронно, методу takePicture() в параметре jpeg необходимо сообщить реализацию интерфейса обратного вызова PictureCallback. Метод onPictureTaken() этого интерфейса будет вызван после полной обработки изображения и принимает на вход два параметра - массив байт, содержащий изображение и объект Camera, который был использован для захвата изображения.

1. Фильтрация

Прежде чем приступать к распознаванию, снятое изображение необходимо перевернуть и сконвертировать в цветовое пространство RGBA. Для этого могут быть применены фильтры FFmpeg, поскольку они также применяются в CvCameraPreview для фильтрации изображения предпросмотра. Алгоритм фильтрации можно вынести в метод filterFrame(), который примет на вход изображение в виде типа byte[], ширину и высоту исходного изображения.

Сперва нужно создать объект Frame - основной объект в FFmpeg, соответствующий одному кадру, и поместить в этот объект изображение (массив байт). После этого необходимо настроить фильтры. В данном случае - поворот изображения и конвертацию в цветовое пространство RGBA. Для этого предусмотрены фильтры transpose и format. Параметр dir фильтра transpose указывает направление поворота. Изображение необходимо повернуть на 90 градусов по часовой стрелке, и этому соответствует dir=1. Формат выходного изображения указывается в параметре pix_fmts фильтра format и для RGBA равен, соответственно, rgba. Фильтры указываются в строке через запятую.

Таким образом, строка фильтров будет выглядеть так:

transpose=1,format=pix_fmts=rgba

После настройки необходимо обработать изображение этими фильтрами. Для этого сначала фильтр запускается вызовом FFmpegFrameFilter.start, затем исходный кадр помещается в очередь обработки при помощи FFmpegFrameFilter.push, обработанный кадр вытаскивается из очереди методом FFmpegFrameFilter.pull и фильтр останавливается вызовом FFmpegFrameFilter.stop.

Обработанный фильтрами кадр должен быть преобразован к формату Mat для использования в OpenCV. Для конвертации между Frame и Mat в JavaCV существует утилитный класс OpenCVFrameConverter.ToMat, а именно - метод convert этого класса. Данному методу передается кадр и на выходе получается изображение в виде Mat.

2. Повторное обнаружение

Между получением очередного изображения предпросмотра и захватом полноразмерного изображения проходит некоторое время, за которое положение камеры относительно документа могло измениться, хоть и не на много. Этого смещения достаточно для того, чтобы обнаруженные прямоугольники с текстом не соответствовали реальному расположению текста на снятом изображении. В связи с этим, необходимо произвести повторное обнаружение полей. Для этого изображение сначала уменьшается до размеров изображения предпросмотра, чтобы снизить затраты процессорного времени на обнаружение, при помощи метода opencv_imgproc.resize(). Используемый алгоритм интерполяции - INTER_AREA. Он рекомендуется при уменьшении разрешения изображения, поскольку дает результат без муарового узора [15]. После изменения уменьшения, изображение вновь передается в метод detect() для обнаружения полей.

Распознавание

После обнаружения полей выполняется заключительная часть - непосредственно распознавание. Она выделена в абстрактный метод recognize(), принимающий на вход полноразмерное изображение и мультиотображение DocumentField -> Rect, то есть поля с соответствующими им прямоугольниками на изображении.

Реализации этого метода для PassportRecognitionService и SnilsRecognitionsService практически идентичны, за тем исключением, что часть изображения с серией и номером паспорта перед передачей в Tesseract необходимо повернуть на 90 градусов, поэтому достаточно рассмотреть пример реализации для паспорта.

Во-первых, изображение необходимо преобразовать в оттенки серого уже упоминавшейся операцией cvtColor(). После чего последовательно проходя записи в мультиотображении:

· Прямоугольник масштабируется под полноразмерное изображение. Это необходимо поскольку обнаружение полей производилось по уменьшенному изображению.

· Часть изображения, находящаяся в этом прямоугольнике, копируется в новый объект Mat, чтобы избежать повреждения полного изображения.

· В случае, если текущее поле - серия и номер паспорта, вырезанное изображение переворачивается на 90 градусов против часовой стрелки. Для этого последовательно выполняются операции транспонирования матрицы и отражения ее относительно оси X.

· Адаптивная пороговая бинаризация. В отличие от простой пороговой бинаризации этот алгоритм рассчитывает порог для небольшой области изображения, что дает разные пороги для разных частей изображения и лучшие результаты при непостоянном освещении [16]. Используемый алгоритм расчета порога - ADAPTIVE_THRESH_MEAN_C, порог рассчитывается как среднее значение из значений соседних пикселей. На выходе получается бинарное изображение с черным текстом на белом фоне.

· Операция замыкания отсеивает шумы.

· Полученное изображение передается для распознавания в Tesseract через метод TessBaseAPI.TesseractRect() и результат распознавания помещается в результирующее отображение DocumentField -> String. В случае если для этого поля уже была распознана некоторая строка (в случае многострочных полей), полученная на этом шаге строка добавляется к существующей.

На этом распознавание текста закончено и можно перейти к операции верификации распознанных данных. Ассоциативный массив полей документа с их значениями необходимо поместить в дополнительные данные намерения. Все поля с их значениями можно сгруппировать в объект Bundle и поместить его в намерение под ключом documentFields. Так же в намерение необходимо поместить тип документа - от него будут зависеть поля, отображаемые на форме верификации.

4.4 Корректировка и подтверждение распознанных данных

После распознавания данных запускается операция DocumentActivity. Ее макет activity_document.xml должен содержать список полей с их значениями и возможностью корректировки. Набор полей зависит от типа документа. Для возможности прокрутки формы с полями предназначено представление ScrollView. Соответственно на макете можно разместить два таких представления, из которых отображаться будет только одно, в зависимости от типа документа. Листинг операции DocumentActivity представлен в приложении 16, макета activity_document - в приложении 5.

ScrollView подразумевает, что в нем будет расположен единственный дочерний элемент, уже в котором будет находиться содержимое для прокрутки. Очевидно, для группировки нескольких произвольных элементов следует использовать макет, поэтому поместим в ScrollView макет типа ConstraintLayout как наиболее гибкий и удобный в использовании. На этом макете следует расположить представления EditText и дать им уникальные идентификаторы для последующего заполнения этих полей распознанным текстом. Кроме того, каждый EditText необходимо снабдить компонентом TextView с подписью для поля. Аналогичным образом создается второе представление ScrollView и обоим представлениям устанавливается атрибут android:visibility=”gone” для их скрытия по умолчанию.