Программные средства для заполнения базы персональных данных

Так же в нижней части основного макета нужно разместить кнопку с подписью «Сохранить», выполняющую сохранение данных документа в БД приложения. Механизм сохранения будет описан позднее.

4.4.1 Заполнение полей формы данными

Заполнение текстовых полей выполняется при запуске Activity в методе onCreate(). Из дополнительных данных намерения получается тип документа и Bundle, содержащий значения полей этого документа. Затем в зависимости от типа документа атрибут android:visibility того или иного представления ScrollView устанавливается в значение VISIBLE.

В классе операции определены отображения полей документов (то есть элементов перечислений PassportField или SnilsField) на идентификаторы представлений EditText, который соответствуют этим полям. Это отображение используется при заполнении текстовых полей на форме конкретными значениями из Bundle-а, полученного в намерении. Так же для последующего сохранения в БД данные из объекта Bundle копируются в поле класса типа Map<DocumentField, String>.

4.4.2 Сохранение в БД

1. Создание БД

В ОС Android присутствует встроенный механизм хранения данных приложения в СУБД SQLite и API для работы с БД в пакете android.database.sqlite.

Сперва необходимо написать так называемый контрактный класс, который явно определит схему БД [17]. В контрактном классе следует разместить константы, определяющие URI, таблицы и столбцы. Для схемы БД данного проекта этот класс представлен в приложении 19.

После определения контрактного класса нужно реализовать методы создания и управления базой данных и таблицами. Android дает возможность удобного управления БД при помощи класса SQLiteOpenHelper. Чтобы его использовать, необходимо создать класс-наследник, в котором реализовать по крайней мере методы onCreate() и onUpgrade(). В методе onCreate() должны выполняться SQL-скрипты для инициализации БД, такие как создание таблиц и при необходимости их заполнение. В методе onUpgrade() должны быть описаны действия, выполняемые при увеличении версии схемы БД. Реализация данного класса DbHelper представлена в приложении 20.

Итак, при создании БД нужно создать 3 таблицы: DOCUMENT, DOCUMENT_TYPE и USER. Скрипты для создания этих таблиц разместятся в статичных final-полях класса. Метод onCreate() принимает параметром объект SQLiteDatabase - именно этому обеспечивает взаимодействие с БД. Таблицы можно создать, вызывая метод execSQL() этого объекта, передавая ему в качестве параметра SQL-скрипт.

Затем необходимо заполнить таблицу DOCUMENT_TYPE. Вставка строки в таблицу осуществляется путем передачи объекта ContentValues методу insert(). Сначала создается объект ContentValues, затем в него при помощи метода put() помещаются значения для отдельных полей. Например, для паспорта:

ContentValues docTypeValues = new ContentValues();

docTypeValues.put(COLUMN_NAME_CODE, VALUE_CODE_PASSPORT);

docTypeValues.put(COLUMN_NAME_NAME, VALUE_NAME_PASSPORT);

db.insert(DocRecognizerContract.DocumentType.TABLE_NAME, null, docTypeValues);

После этого вызывается метод SQLiteDatabase.insert(), которому первым аргументом передается имя таблицы, третьим - ContentValues, созданный ранее. Во втором параметре в данном случае нет необходимости и вместо него передается null.

Схема БД будет редактироваться только во время разработки приложения, поэтому в методе onUpgrade() нет необходимости делать миграцию данных. Все что выполняет этот метод - удаляет существующие таблицы и повторно вызывает метод onCreate().

2. Сохранение в БД

После нажатия кнопки сохранения используя экземпляр написанного ранее класса DbHelper создается подключение к БД с доступом на запись, используя метод DbHelper.getWritableDatabase(). Затем в зависимости от типа документа, необходимо прочитать из таблицы DOCUMENT_TYPE соответствующий типу документа ID. Этот идентификатор впоследствии будет вставлен в столбец DOCUMENT.DOCUMENT_TYPE_ID. Работа с записями производится через курсор, получаемый вызовом метода SQLiteDatabase.query(). В первом аргументе метода указывается название таблицы, во втором массив названий полей, которые должны быть выбраны, в третьем - условие выборки с символом “?” в местах, куда должны быть подставлены параметры, переданные в четвертом параметре.

Изначально курсор находится на позиции -1, для получения результата выборки, его необходимо передвинуть на первую запись с помощью метода Cursor.moveToFirst(). Теперь можно прочитать искомый ID - для этого вызывается метод Cursor.getLong(), который принимает в качестве параметра номер столбца. Поскольку в выборку попадает единственное поле _ID, методу getLong() необходимо передать аргумент 0. После того как работа с курсором закончена, его нужно закрыть методом Cursor.close().

Для преобразования Java-объектов в JSON-текст существует целый ряд библиотек. Из них можно выделить Google Gson, так как она свободно распространяемая, нашла широкое применение и, что немаловажно, поддерживает сериализацию отображений (Map). Чтобы подключить библиотеку Gson к проекту необходимо добавить в конфигурацию Gradle следующую зависимость:

compile 'com.google.code.gson:gson:2.8.0'

Чтобы использовать Gson, сначала нужно создать экземпляр класса Gson вызвав метод GsonBuilder.create(). Все что нужно для сериализации в строку отображения названий полей на их значения - вызвать метод Gson.toJson(), передав ему это отображение. Таким образом, отображение

“NUMBER” -> “19 08 000000”,

“ISSUED_BY” -> “Отделом УФМС России”,

“LAST_NAME” -> “Иванов”

преобразуется в:

{"NUMBER":"19 08 000000","ISSUED_BY":"Отделом УФМС России",

"LAST_NAME":"Иванов"}

Теперь необходимо сохранить этот документ в БД. Создается новый экземпляр класса ContentValues, в него помещаются значения столбцов DOC_TYPE_ID (был найден ранее), DATA (JSON-строка) и USER_ID (ID пользователя, механизм аутентификации будет реализован позднее) и новая запись вставляется в таблицу DOCUMENT. На этом сохранение в БД завершено и снова производится переход к операции выбора режима OperationActivity.

4.5 Механизм аутентификации

Каждому пользователю приложения соответствует уникальный идентификатор, хранящийся в таблице USER. Идентификатор, который принадлежит аутентифицированному в данный момент пользователю должен быть доступен в любой операции приложения, в частности - в операции верификации/просмотра данных документа и в операции отображения списка документов. Для этого необходимо каким-либо способом передать ID пользователя в эти операции. Одним из вариантов является проброс ID при помощи дополнительных данных намерений. Однако этот способ сильно запутывает код, поскольку перед каждым запуском другой операции идентификатор нужно поместить в намерение, а при старте каждой операции - брать его оттуда. Существует еще два подхода - использование паттерна «Синглтон» для хранения переменной или расширение класса Application и хранение переменной в нем [18]. Предпочтительным из этих подходов является второй, поскольку он естественен для приложения Android.

Таким образом, необходимо создать класс, наследующий Application - DocRecogApplication. Этот класс должен содержать поле userId типа Long, а также геттер и сеттер для этого поля. Чтобы приложение использовало этот класс, необходимо в файле AndroidManifest.xml элементу application добавить атрибут android:name=”.DocRecogApplication”. Листинг класс DocRecogApplication приведен в приложении 21.

Теперь нужно создать операцию аутентификации. Android Studio предлагает набор шаблонных операций, в числе которых операция аутентификации - LoginActivity. По умолчанию она просто проверяет введенные логин пароль на равенство жестко закодированным в операции строкам. Необходимо модифицировать этот класс таким образом, чтобы аутентификация производилась с использованием базы данных. Листинги макета и операции представлены в приложениях 2 и 8 соответственно.

Пароль должен храниться в виде хеш-суммы. Хеширование пароля будет осуществляться алгоритмом SHA-256. Реализация этого алгоритма есть в библиотеке Google Guava, которая уже подключена к проекту. Хеширование производится следующим образом:

String passwordHash = Hashing.sha256().hashUnencodedChars(password).toString();

После этого необходимо открыть подключение к базе данных и проверить наличие пользователя с соответствующим именем пользователя. В случае если пользователь найден, проверяется соответствие хеш-сумм паролей, и, если результат положительный, ID пользователя сохраняется в поле класса. В случае же, если пользователь не найден, необходимо его зарегистрировать - в таблицу USER вставляется запись с именем пользователя и хеш-суммой пароля и ID пользователя соответственно становится равным значению столбца _ID только что добавленной записи.

Взаимодействие с БД осуществляется асинхронно в отдельном потоке. По его завершении в основном UI-потоке выполняется метод onPostExecute(), в котором идентификатор пользователя устанавливается в DocRecogApplication и становится доступен остальным частям приложения, и запускается операция OperationActivity. В случае если пользователь был найден, но хеш-суммы паролей не совпали, рядом с текстовым полем ввода пароля выводится текст ошибки.

Теперь для получения в приложении идентификатора пользователя необходимо вызвать ((DocRecogApplication) getApplication()).getUserId().

4.6 Просмотр документов

В случае, если выбран режим «Просмотр существующего документа», должен быть отображен список внесенных пользователем документов, для чего необходимо создать новую операцию - DocListActivity. Список элементов может быть создан при помощи представления ListView. Список автоматически заполняется элементами при помощи адаптера (класс Adapter), который конвертирует данные из таких источников данных, как массивы или БД, в элементы списка. Листинг макета данной операции представлен в приложении 6. Листинг операции представлен в приложении 11.

Для данных, получаемых из курсора, существует реализация адаптера SimpleCursorAdapter. Для его использования необходимо указать макет, который будет использован для отображения каждой строки, и значения каких столбцов должны быть вставлены в какие представления этого макета. Поэтому, сперва необходимо создать макет строки - list_item.xml. Стоить заметить, что SimpleCursorAdapter может заполнять данными только компоненты TextView. На макете list_item.xml будет расположен единственное представление - TextView, в котором будет выводиться тип документа и его порядковый номер. Листинг list_item.xml находится в приложении 7.

В методе onCreate операции нужно открыть подключение к базе данных и создать курсор запроса на выборку доступных текущему пользователю документов. Для того, чтобы получить название типа документа, необходимо соединить таблицы DOCUMENT и DOCUMENT_TYPE оператором JOIN, однако стандартный метод SQLiteDatabase.query() не предоставляет такой возможности. Для построения произвольных запросов существует метод SQLiteDatabase.rawQuery(). В первом аргументе методу передается текст запроса с символами “?” на местах, куда должны быть подставлены значения, переданные в массиве во втором аргументе. Для применения в адаптере запрос также должен возвращать обязательный столбец _ID. Он же будет использован для нумерации документов. Запрос на выборку будет выглядеть следующим образом:

SELECT DOCUMENT._ID, DOCUMENT_TYPE.NAME || “ ” || DOCUMENT._ID AS DOC_NAME

FROM DOCUMENT

JOIN DOCUMENT_TYPE ON DOCUMENT.DOC_TYPE_ID = DOCUMENT_TYPE._ID

WHERE DOCUMENT.USER_ID = ?

На место “?” будет подставлен ID текущего пользователя. Далее необходимо создать адаптер, передав ему этот курсор, идентификатор макета строки list_item, наименование столбца, из которого будет получено значение для отображения на TextView (в данном случае DOC_NAME) и идентификатор TextView, в который данное значение будет установлено. После чего необходимо назначить этот адаптер списку методом ListView.setAdapter.

При нажатии на элемент списка, нужно открывать на чтение соответствующий документ. Для этого необходимо запустить операцию DocumentActivity, предварительно поместив в намерение идентификатор документа. Также необходимо модифицировать DocumentActivity таким образом, чтобы в случае если в намерении установлен ID документа, поля документа загружались из БД, TextView, в которых отображаются эти поля становились недоступными для редактирования, а кнопка сохранения - невидимой.

Загрузка документа из БД вынесена в метод loadDocument(). В нем сначала производится выборка столбцов DOCUMENT.DATA и DOCUMENT_TYPE.CODE для документа с требуемым ID. Затем производится десериализация JSON-объекта при помощи той же библиотеки Gson, а именно метода Gson.fromJson(). Кроме JSON-строки методу необходимо передать объект типа Type, определяющий тип десериализованного объекта. Чтобы получить объект Type, необходимо воспользоваться методом getType() класса TypeToken. Например, для того, чтобы на выходе получить отображение PassportField -> String, нужно создать тип следующим образом:

new TypeToken<Map<PassportField, String>>(){}.getType();

Удаление документов

Удаление существующего документа осуществляется после долгого нажатия на элемент списка ListView. Чтобы обработать событие долгого нажатия, при запуске операции просмотра списка документов необходимо реализовать интерфейс OnItemLongClickListener. В методе onItemLongClick этого интерфейса нужно вызвать метод SQLiteDatabase.delete(), передав ему в качестве аргументов название таблицы, из которой производится удаление, - DOCUMENT и условие, по которому будет произведено удаление (_ID = id). Список ListView после удаления элемента самостоятельно не обновится - для удаления необходимо обновить курсор адаптера списка.

На этом разработка приложения в части кодирования завершена.

4.7 Обучение Tesseract

Tesseract предлагает пакет инструментов для обучения. Первым действием при обучении должно быть генерирование изображений для обучения (в формате TIFF) и файлов с координатами прямоугольников (в формате BOX), в которых заключены символы на изображениях [19]. При наличии требуемого шрифта в формате TrueType, генерация TIFF и BOX-файлов может быть автоматизирована при помощи утилиты text2image, однако для печати текста в паспортах и страховых свидетельствах используются встроенные в принтеры Epson «матричные» шрифты, для которых не существует шрифтов в требуемом формате. Создание изображений и BOX-файлов в таком случае осуществляется вручную.

Подготовка TIFF и BOX-файлов

В качестве обучающих изображений могут быть использованы сканы или фотографии документов. Цветные изображения необходимо перевести в оттенки серого и затем в черно-белые, например, при помощи пороговой бинаризации, так, чтобы текст был черным на белом фоне. Полученное изображение желательно сохранить в формате TIFF. После этого должен быть создан BOX-файл с координатами символов. Для этого будет использована программа jTessBoxEditor. После запуска программы нужно переключиться на вкладку Box Editor и открыть изображение документа. Интерфейс программы изображен на рисунке 22.

Рисунок 22 - Интерфейс программы jTessBoxEditor

Далее необходимо каждый символ поместить в отдельный прямоугольник, добавив его кнопкой Insert на панели инструментов, и сопоставить с прямоугольником символ Юникода. После повторения этой операции для каждого символа необходимого шрифта на изображении, BOX-файл сохраняется нажатием кнопки Save.

Собрав достаточное количество обучающих данных (Tesseract рекомендует не менее 20 образцов для часто встречающихся символов и 5-10 - для редких) можно приступить к непосредственно обучению. Обучение также может быть выполнено в jTessBoxEditor - для этого следует переключиться на вкладку Trainer, в поле Training Data указать источник изображений с BOX-файлами, в поле Language ввести “rus” в поле выбора режима установить Train with Existing Box и запустить обучение нажатием кнопки Run. После обучения в указанной папке появится директория tessdata с файлом rus.traineddata - эту директорию необходимо поместить в папку assets проекта Android Studio. При запуске приложения на смартфоне этот файл будет скопирован из APK в папку кэша приложения.

4.8 Сборка приложения