1.3 Практические аспекты внедрения символьно-графического CAPTCHA и анализ основных способов его автоматического обхода

Использование CAPTCHA на практике имеет свои особенности. Они продиктованы наличием автоматической генерации изображений - операции, которая может быть весьма дорогой для оперативной памяти и процессорного времени сервера, так как может содержать сложные процедуры с растровыми изображениями. Одной из атак, направленных на эксплуатацию ошибок внедрения, может выступать DDoS-атака (распределённая атака типа "отказ в обслуживании"). Другими способами обхода теста могут быть следующие тривиальные ошибки реализации:

хранения ответа на тест на стороне клиента (тогда злоумышленнику достаточно будет проанализировать сообщения между сервером и его браузером, чтобы найти верный ответ на предложенный тест);

использование фиксированного набора изображений с искаженными символами (тогда злоумышленник может вручную ответить на большинство тестов, а затем создать программу, находящую ответы по имеющемуся у неё словарю);

отсутствие устаревания пройденной каптчи (тогда, подменив идентификаторы, злоумышленник сможет отправлять результаты одной и той же каптчи на сервер по нескольку раз);

Вернёмся к вопросу защиты от атаки типа "отказ в обслуживании", так как она является наиболее серьёзным вызовом при проектировании и разработке систем проведения CAPTCHA. Такой вид атак характеризуется огромным количеством запросов в узкую точку системы с целью приостановить или замедлить обслуживание своих клиентов. В качестве методов противостояния подобным атакам необходимо придерживаться следующих рекомендаций.

В первую очередь, в архитектуру системы следует заложить асинхронность генерации изображений для CAPTCHA, таким образом, чтобы при получении большого количества запросов на их получение, сервер не испытывал бы больших нагрузок. Здесь же стоит упомянуть о необходимости минимизации затрат ресурсов на отдачу клиенту теста.

Асинхронность создания изображений влечёт за собой факт того, что их количество будет ограничено. Поэтому число запросов на начало теста, превышающее количество имеющихся в наличии изображений приведёт к отказу в обслуживании клиентов до тех пор, пока новые изображения не будут созданы. Чтобы предотвратить эту проблему, следует представлять себе хотя бы примерное количество обслуживаемых запросов и время до начала наполнения буфера с изображениями для CAPTCHA. Это позволит рассчитать размер этого буфера, чтобы соблюсти баланс между возможностями серверов и временем до принятия категорических мер по решению проблемы наличия DDoS-атаки. Следующим шагом в борьбе с потоком запросов, существенно превышающим ожидания, является ведение счёта запрошенных CAPTCHA с одного клиента. Такое слежение можно организовать на основе:

1. хранимых на стороне клиента cookies (но этот путь не является надёжным, так как подразумевает допущение того, что клиент хранит и не меняет свои cookies);

2. хранимых на стороне сервера параметров сессии пользователя, что влечёт за собой подключение дорогостоящих для сервера бэкенда и базы данных (кроме того, такое решение требует использования cookies из первого пункта, поэтому может иметь своим недостатком допущение доверия пользователю);

3. счётчика обращений за CAPTCHA в памяти веб-сервера для введения таймаутов (например, в геометрической прогрессии), используя в качестве индекса IP-адрес пользователя (возможно, с другими заголовками, вроде User-Agent, чтобы нивелировать неудобство пользователей, имеющих одинаковый внешний IP-адрес).

С другой стороны, в качестве гибридного решения для покрытия недостатков всех предложенных выше вариантов, стоит рассмотреть возможность реализации достаточно быстрого бэкенда и кэша в оперативной памяти с индексами как на основе пары IP-адрес и User-Agent ("UA"), так и на основе хранимого в cookies идентификатора с целью ведения многоуровневой системы таймаутов. Предлагаемая структура данных для хранения в кэше должна состоять из счётчика обращений по указанному индексу (либо IP и UA, либо UID из cookies браузера) и времени последнего получения изображения для CAPTCHA. Таким образом, можно будет задать время ожидания для получения новой каптчи.

Следующий пункт среди рекомендаций по внедрению CAPTCHA - это ограничение времени ожидания ответа на предложенный тест с целью недопущения разрастания размера отведённых ресурсов под тесты, которые никогда не будут завершены. А также ограничением показа одного изображения одному пользователю, чтобы избежать массового прохождения тестов после отгадывания только одного изображения.

Кроме того, стоит предусмотреть возможность сменить изображение CAPTCHA на новое по требованию пользователя через определённое время после отдачи предыдущего, так как те или иные сочетания искажений могут вызывать проблемы с интерпретацией у разных людей в различных условиях его прохождения (на улице в солнечную погоду или с мобильного телефона с низким разрешением экрана).

Рекомендуется предоставить пользователю руководство на случаи, когда стандартными путями нет возможности пройти тест. Например, если клиентская часть системы реализована с использованием сторонних дополнений к браузеру, которые на ней отсутствуют.

А также отображать статус штатных состояний системы и внештатный ситуаций пользователю с информированием его о сроках разрешения проблемы. К таким событиям относятся: ожидание пользователем обновления изображения каптчи после нажатия на соответствующую кнопку, и перебои в работе сервиса, например, по причине отсутствия сгенерированных заранее изображений.

Разумеется, необходимо вести журнал учёта следующих событий с необходимым уровнем детализации: успешный ввод каптчи (без лишних подробностей), запрос новой каптчи (стоит запомнить каптчу, от которой отказались), неуспешная попытка пройти каптчу (стоит заполнить каптчу, которую не смогли пройти), количество попыток ввода каптчи до того, как успешно её пройти, количество попыток ввода каптчи с уходом с сайта (если такие будут), количество неудовлетворённых запросов на получение каптчи (в связи с перебоями в работе сервиса).

В рамках данной главы рассмотрим также основные способы автоматического обхода символьно-графических CAPTCHA.

Во-первых, одним из видов автоматического обхода CAPTCHA является эксплуатация ошибок внедрения, внесение которых в систему не зависит от алгоритмов генерации изображений, а диктуется лишь необходимостью защиты от возможных атак. Они разобраны выше.

Во-вторых, это возможность подбора правильного варианта. Такой вид обхода присущ алгоритмам с небольшим количеством вариантов ответа. Программе достаточно сделать несколько сотен или тысяч попыток, чтобы подобрать CAPTCHA. Говоря о символьно-графических тестах, в качестве примера можно привести изображение коротких слов, состоящих из не более чем 4-х символов. Допустим, взят алфавит из десятичных цифр, тогда слово длиной в один символ будет иметь 10 вариантов (по числу символов в алфавите), длиной в два символа будет иметь 100, в три символа 1000, в четыре 10 тысяч и только длина слова в пять символов даст больше 100 тысяч вариантов. Таким образом, путь противодействия атаке подбором заключается в увеличении количества вариантов ответа (например, через расширение используемого алфавита), введением временных промежутков между попытками и/или учетом введенных вариантов ответа при предложении новых тестов. Например, если пользователь допустил ошибку при вводе 3-хсимвольного слова, то далее предлагать ему только 4-хсимвольные; если ошибся трижды на 4-хсимвольных словах, то предлагать 5-тисимвольные и так далее.

Также стоит выделить возможность использования пользователей других сайтов незаметно для них или наоборот явно, за соответствующую плату. Противодействие такому виду обхода тестов CAPTCHA представляется довольно сложным или невозможным. Например, сервер злоумышленника может выступать в роли посредника между пользователем и защищаемой системой, предлагая пользователю ввести каптчу, которую получил с другого сайта.

Последним, четвёртым, среди выделяемых видов программного прохождения CAPTCHA является автоматическое распознавание предлагаемых символов на изображениях, например, с помощью обучаемых нейронных сетей. Они получили широкое распространение в области распознавания каптчи в связи с тем, что существует широкое множество библиотек для работы с ними, и есть руководства с примерами создания таких программ.

Но если третьему способу крайне сложно придумать метод противодействия (хотя он, в большинстве случаев, требует денежных затрат), то четвёртый находится на грани между возможностью человека пройти тест и невозможностью такое прохождение алгоритмизировать. Однако, как показывает почти 15-тилетний мировой опыт использования символьно-графического CAPTCHA на сайтах для их защиты, большинство реализованных алгоритмов обходятся с помощью обучаемых нейронных сетей. На основании этого можно сделать вывод о неэффективности многих используемых на сегодняшний день алгоритмов генерации изображений CAPTCHA. Это обусловлено отсутствием системного подхода к анализу существующих алгоритмов и тех из них, для обхода которых были написаны программы для автоматического распознавания символов. Целью такого анализа должно быть формирование методики разработки алгоритмов генерации изображений для избегания часто встречающихся ошибок.

Исходя из сделанных выше выводов, предлагается обратиться к совершенствованию символьно-графической капчи в тех направлениях, где у нее, на наш взгляд, имеются слабые места, а именно:

проблемы прохождения и распознавания символьно-графической капчи в связи со слишком большим наложением искажений и шумов;

снижение её устойчивости к взлому через имитацию действий пользователя.

Таким образом, развитие данного метода лежит в плоскости разрешения противоречия "легкость прохождения - устойчивость к взлому".

Указанные вопросы будут рассмотрены в следующих главах диссертации.

2. Разработка методов повышения стойкости к автоматическому распознаванию CAPTCHA

2.1 Методика разработки алгоритмов генерации изображений

2.1.1 Правила внесения искажений

В связи с тем, что наибольшее распространение при создании программ автоматического распознавания каптчи получили нейронные сети, в дальнейшем анализе будем ориентироваться именно на них.

Программы распознавания в задаче прохождения CAPTCHA способны обрабатывать только отдельные символы по одному, причем только с минимальным шумом и искажениями, так как оперирование образами лежит в основе работы нейронных сетей. Поэтому для создания таких программ разрабатывают процедуры предварительной графической обработки, которые максимально очищают изображение от внесенных помех и выделяют на изображении отдельные символы (сегментация) Взлом старой каптчи сайта Хабрахабр // Хабрахабр [Электронный ресурс] URL: http: //habrahabr.ru/post/161159/ (дата обращения: 05. 01.2017) . В дальнейшем, будем называть такие процедуры подпрограммами предварительной подготовки (здесь и далее ППП). За ними следуют процедуры непосредственного распознавания отдельных символов (здесь и далее ПРОС). Схема их взаимодействия изображена на рисунке 2.1, где ПРОС разбита на части и изображена внутри цикла. Хотя в некоторых случаях в сегментации участвуют и ПРОС, проходя по нескольким вариантам разбиения слипшихся символов.

Таким образом, можно сделать вывод о том, что слабое место систем автоматического распознавания CAPTCHA в ППП. Они зачастую создаются именно для того, чтобы очистить предлагаемое изображение от внесенных искажений и шума, но главная их задача состоит в сегментации изображения для передачи выделенных участков в ПРОС. В этом состоит главное отличие таких систем от того, как проходит тест человек. Он видит изображение целиком. Поэтому разумно было бы использовать широкий набор известных человеку слов для создания изображений для каптчи. Главное, учесть при этом необходимость иметь очень широкий словарь или сочетать как случайные набор символов, так и данные из такого справочник.

Рисунок 2.1 Схема работы типичной программы распознавания символьно-графической CAPTCHA

Составлено автором

На основе проведенного в пункте 1.2 обзора часто применяемых искажений и шумов, а также опыта эксплуатации типичных ошибок при создании систем автоматического распознавания CAPTCHA, сформулируем правила и рекомендации для разработки алгоритмов генерации изображений символьно-графического CAPTCHA.

До сих пор, ведя речь об искажениях, мы рассматривали только их виды и сочетания. Однако в практической реализации алгоритмов генерации изображений для каптчи следует учитывать необходимость изменять параметры их применения во времени. Например, всё время поворачивая первый символ слова на 30 градусов по часовой стрелке, тест будет уязвим для закладывания в ППП поворота первого символа на 30 градусов против часовой стрелки. Поэтому введём термин линейности применяемых искажений. Если параметры применяемого к символам искажения не меняются от одного генерируемого изображения к другому с течением времени, то такое искажение назовём линейным. В ином случае, если параметры искажения меняются от одного генерируемого изображения к другому, то такое искажение назовём нелинейным. Тогда функция формирования слова для теста всегда является нелинейной, иначе единственное выводимое слово может быть всего один раз прочитано злоумышленником и записано в программу несанкционированного ввода информации. Разумно будет сделать нелинейной и функцию вычисления длины создаваемого слова, а не только выбор символов и их последовательности. Разумеется, все эти функции должны быть заданы на фиксированном отрезке значений, иначе могут возникнуть проблемы с генерацией изображений, или отображением результатов её работы.

Данное правило можно обобщить не только для всех видов искажений и их сочетаний, но и для свойств шума, которые были лишь отчасти включены в классификацию искажений. Например, формирование набор геометрических фигур для создания фона, их размеры, цвета, наличие и толщина контуров, положение на рисунке и возможные эффекты искажений, и их параметров, применяемые для символов.

Кроме того, шумы обычно носят вспомогательный характер и часто отсеиваются соответствующими графическими фильтрами на стадии обработки изображения в ППП. Поэтому следует рассмотреть применяемые в процессе формирования алгоритмов их создания практики. Например, если шум реализован в виде ломаных линий, то их толщина должна быть примерно равна толщине линий используемых для начертания символов. Иначе шум может быть убран из изображения путем манипуляций в ППП. То есть главное в наложении шума сделать так, чтобы он был максимально похож на отдельные части символов или на сами символы с минимальными отличиями от них. Однако не стоит забывать, что CAPTCHA должна быть максимально читабельной для человека.

Главное отличие человеческого зрения и обработки изображения CAPTCHA в ПРОС заключается в том, что человек видит картинку целиком. Поэтому добавление, например, коротких ломаных линий рядом с отдельными символами усложнит читабельность и для человека, и для ПРОС. Но вставка ломаных линий, проходящих через несколько символов или весь их набор, позволит человеческому зрению отнести линию к шуму, а символы, с ней пересекающиеся, к отдельным объектам. Однако, здесь тоже есть подводные камни. Продолжая пример с ломанными, они не должны выходить далеко за границы набора символов, иначе запрограммированная специальным образом ППП сможет отталкиваться от этого признака при очистке изображения от шума.

Выше была сформулирована главная задача ППП - это сегментация изображения. Т.е. выделение на изображении отдельных символов для передачи каждого в ПРОС. Поэтому наложение символов друг на друга представляется одним из наиболее эффективных способов усложнения реализации систем автоматического распознавания CAPTCHA. Однако и здесь есть свои нюансы. Например, должно быть случайное количество символов в изображаемом наборе, иначе сегментация может быть проведена выделением фиксированного числа наибольших областей скопления выделенных пикселей или заранее заданными фиксированными рамками. Также необходимо наличие в наборе символов, занимающих примерно в 2 раза больше места, чем большинство других. Это связано с тем, что ППП, выделив широкую область, может разделить наложенные друг на друга символы, например, пополам (или подбором), вместо того, чтобы счесть её одним широким символом (соблюдение рекомендации может быть легко достигнуто использованием специфических шрифтов или использованием изменения размера символа с помощью непропорционального масштабирования).

2.1.2 Методика разработки алгоритмов символьно-графического теста CAPTCHA

На основе сформулированных правил, рекомендаций и некоторых ошибок в реализациях алгоритмов CAPTCHA, сформулированных в предыдущем пункте, предлагается следующая методика разработки алгоритмов символьно-графического CAPTCHA:

Выбор множества шрифтов. Рекомендуется выбрать множество контурных шрифтов Под термином "контурные шрифты" подразумеваются такие, в которых начертания символов представляют собой границы привычных образов. , преимущества которых проявляются при наложении символов друг на друга. Так как ПРОС обрабатывает каждый символ отдельно, то частички других, попавшие на его изображение, послужат труднофильтруемым шумом.

Определение используемого алфавита и других параметров применения шрифтов. Лучше предпочесть алфавит, состоящий только из цифр, так как арабская нумерация всемирно распространена и корректно понимается подавляющим большинством человечества. Так же возможно применять различные шрифты для каждого символа, один шрифт для всего набора или, например, один шрифт для первых символов, другой для последующих. Использование одного шрифта для всего набора символов (но для каждого набора шрифт выбирать случайным образом) существенно повысит читаемость человеком, хотя и упростить задачу ПРОС, если её разработчики учтут такую особенность. Так же можно создать собственные шрифты с набором изображений для выбранного алфавита.

Исключение шрифтов, символы выбранного алфавита в которых трудночитаемы. Данный шаг осуществляется либо эмпирическим путем, либо с использованием фокус-группы Подобный анализ пригодности шрифтов для использования в CAPTCHA можно осуществить, собрав для этого несколько человек, чтобы демонстрировать каждому из них предварительную версию программы (без сильных искажений и шума) для сбора и сопоставления статистики по введенным вариантам и правильным. . На нем можно не отсеивать отдельные шрифты полностью, а создавать для них правила-исключения (например, исключая вероятность вывода цифр "2,3,5,6,9" в шрифте "Atari 1" в связи с возможными проблемами их интерпретации, рисунок 2.3).

Рисунок 2.3 Цифры, нарисованные шрифтом "Atari 1".

Составлено автором.

Определение минимальной и максимальной длины слова. Здесь важно не сделать длину слишком большой, т.к. это сильно затруднит прохождение теста человеком, и не слишком маленькой, т.к. иначе станет возможным подбор правильного ответа. Так же стоит рассчитать вероятность появления разных длин. Так как с одной стороны, можно реализовать равновероятное появление наборов разных длин, а с другой, можно отталкиваться от количества уникальных вариантов для каждой длины. Например, для слов длиной в 3 символа из одних цифр, получим 10³ вариантов (1 тыс. слов), а при длине в 4 символа уже 10 тыс. слов. Поэтому вероятность выпадения 3-х и 4-хзначных (p₃ и p₄) сочетаний можно задать таким образом, которым это представлено в формулах (2.1) и (2.2) ниже.

(2) (3)

Это предотвратит возможность подбора по самому короткому набору.

Выбор применяемых искажений и шума. В качестве обязательных выступают изменение положения символов относительно друг друга, их размеров, а также поворот отдельных символов. Наложение шума целесообразно только если есть возможность пожертвовать читаемостью CAPTCHA для человека Зачастую это экономически необоснованно, т. к. клиент может отказаться от желания контактировать, встретившись с препятствием в виде сложночитаемой им CAPTCHA. . Здесь рекомендуется использовать разные его виды попеременно. Например, геометрические фигуры в стиле применяемого шрифта (например, для "Atari 1", рис.2.3, подошли бы незаполненные прямоугольники с шириной границы в 1 пиксель) или ломаные вертикальные и горизонтальные линии.

Определение интервалов для задания параметров нелинейных искажений символов и шума. В этот шаг входит определение рамок изменения размера символов, их положения относительно друг друга (разумеется, с учетом ширины самих символов рисуемых с использованием конкретного шрифта), интервал поворота символов и границы других искажений (например, определение алгоритмов наложения маски искажений и его параметров).

Проверка результатов с помощью фокус-группы и корректировка полученного алгоритма. Сюда входит необходимость учесть следующие возможные проблемы. Во-первых, сочетание различных настроек (выбранных искажений, шума, алфавита, шрифтов) друг с другом может привести к серьёзным проблемам с читаемостью каптчи человеком, даже если по-отдельности такие искажения выглядели приемлемыми. Например, как показала практика, перевёрнутую на 180 градусов букву "П", написанную шрифтом "Times New Roman", человек склонен распознать как букву "Ц" Или цифру "1" написанную курсивным шрифтом "Arial" человек может принять за цифру "7", подвергшуюся искажению. Такое происходит и без курсивного начертания, если единица повёрнута на 20-40 градусов по часовой стрелке. Другой проблемой, с которой может столкнуться создатель алгоритма генерации изображений для символьно-графического CAPTCHA может быть проблема схожести цифры "3" (три) и буквы "З" ("Заяц"), цифры "0" (ноль) и буквы "О" ("Окулист").

Следуя описанным выше шагам, сформулируем основные характеристики разрабатываемого в качестве примера алгоритма:

Выбраны 30 контурных шрифтов, доступных в интернете для безвозмездного использования, и конвертированы в формат TrueType;

В качестве алфавита взяты только цифры, в виду их универсальности для различных языковых групп общества;

Эмпирическим путем отсеяно 10 шрифтов, показавшихся автору трудночитаемыми с первого взгляда, а также решено использовать один шрифт для всех символов из изображаемого на рисунке набора, дабы облегчить человеку задачу;

В качестве минимальной длины слова выбрано 3 символа, а максимальной 5, при этом вероятности выпадения рассчитаны, исходя из количества различных комбинаций по формуле (2.3).

(2.3)

В качестве искажений использовано: изменение размера символов и их положения относительно друг друга (по координате x от 20% до 40% от ширины предыдущего символа, по координате y от 1 до 3 пикселей в ту или иную сторону), поворот (в интервале от 7 до 15 градусов в ту или иную сторону); все это на белом фоне черными символами в поле 200 на 50 пикселей.

Таким образом, все используемые искажения являются нелинейными, так как заданы на фиксированных отрезках вещественных значений. Например, наложение символов друг на друга выражается в пикселях, но это не мешает взять дробное значение и положиться на алгоритм сглаживания при формировании конечного растрового изображения. Заданным на фиксированном множестве значений остаётся только шрифт. Кроме того, беспокойство может вызывать небольшое количество символов в алфавите. В связи с этим, стоит немного углубиться в тонкости разработки программ автоматического распознавания каптчи.

Для эффективной работы ПРОС, разработчик должен составить алфавит, в рамках которого действует алгоритм CAPTCHA. Обычно это латинские буквы и цифры, т.к. чем шире алфавит, тем сложнее должна быть ПРОС и тем больше ресурсов ей понадобится для работы. Однако в экстенсивном расширении алфавита (за счет использования большего количества разнообразных символов) есть и оборотная сторона - это рост сложности распознавания символов человеком. Более того, используя латинский алфавит, разработчики CAPTCHA создают языковой барьер, хотя его значимость не так велика, если использовать заглавные символы латиницы. Это утверждение основано на том факте, что клавиатура любого компьютера размечена, в первую очередь, заглавными символами латиницы, а значит человек, даже не являясь носителем английского языка, сможет ввести увиденное слово. Хотя это и станет для него большим испытанием.

Однако рекомендуется применять интенсивный способ расширения алфавита, путем использования в алгоритмах CAPTCHA различных шрифтов. Особенно хорошо усложняют работу ПРОС контурные шрифты. Благодаря этому, становится возможным упростить процесс прохождения CAPTCHA человеком, используя, например, только цифры, которые знакомы носителям любого языка. Тем не менее, если на изображении присутствуют символы разных шрифтов, человеку становится очень сложно их распознать. Поэтому для отдельных наборов символов рекомендуется использовать только один случайный шрифт из доступного их множества.