Рисунок 26. Процесс построения ядра разбора

Данная схема реализуется в процессе работы шаблонопостроителя, которая продемонстрирована ниже. Стартовый экран шаблонопостроителя показан на рисунке 27.

Рисунок 27. Начальный экран шаблонопостроителя

На начальном этапе производится загрузка сообщений о событиях из файла в формате JSON при помощи пункта "Open JSON data file" меню "File". После выбора файла с данными, загруженные сообщения будут отображены в основной области (рисунок 28). Пункт "Open flat data file" меню "File" используется для аналогичной загрузки данных, но из текстового файла, сформированного во время предшествовавшего запуска шаблонопостроителя. Пункт "Add Templates From File" позволяет дополнительно подгрузить к сообщениям шаблоны, сформированные во время предшествующего запуска шаблонопостроителя. Эти два пункта меню используются во время обучения разборщика и их работа будет более подробно рассмотрена далее.

Рисунок 28. Загруженные в шаблонопостроитель сообщения

По нажатию на кнопу "Next step" из загруженных сообщений будут удалены дубли и будет осуществлён переход к окну анализа похожих сообщений (рисунок 29).

Рисунок 29. Окно анализа похожих сообщений

В данном окне в основной области отображаются текущая группа похожих сообщений. Для смены группы сообщений используется кнопка "Change Group" Для каждой такой группы автоматически шаблонопостроитель строит шаблон, отображаемый в поле "Offered template". Аналитику следует изучить предложенный шаблон и доработать его, заменив нумерованные местозаполнители на местозаполнители именованные в соответствии с семантикой сообщения. Допускается оставлять нумерованные местозаполнители в случае, когда аналитик не уверен в корректности или уместности замены части строки на местозаполнитель.

Для упрощения работы аналитика введённые в систему местозаполнители отображаются в области справа вместе со своими значениями; выбрав любой местозаполнитель, его можно вставить в указанное место пользовательского шаблона с помощью кнопки "Insert Placeholder"

На начальном этапе область с перечнем местозаполнителей является пустой. Чтобы загрузить информацию о местозаполнителях и их значениях, выгруженную с помощью пункта меню "Save placeholders" при предшествующих запусках, следует выбрать пункт меню Load placeholders и указать путь к файлу с данными. Пример окна анализа похожих сообщений с загруженными местозаполнителями показан на рисунке 30.

Рисунок 30. Окно анализа похожих сообщений с загруженными местозаполнителями

Когда один шаблон достаточно точно сформирован, нажатие на кнопку "Next step" откроет окно редактирования ядра разбора (рисунок 31), в котором можно вручную добавить, удалить или отредактировать отдельные шаблоны, используемые при разборе на текущей итерации.

Рисунок 31. Окно редактирования ядра разбора

Пункт меню "Save templates to file" используется для выгрузки текущего ядра разбора, отображённого в основной области, в текстовый файл. При следующей итерации обучения выгруженные шаблоны загружаются в шаблонопостроитель с помощью пункта "Add Templates From File", рассмотренного ранее.

После нажатия на кнопку "Next step" будет произведён разбор загруженных сообщений с помощью текущих шаблонов. Результаты разбора будут отражены в окне, показанном на рисунке 32.

Рисунок 32. Окно результатов разбора

Данное окно отображает все разобранные сообщения, шаблон, при помощи которого было разобрано сообщения, а также именованные местозаполнители и их значения. Кроме этого в верхней части окна отображается общее число обработанных сообщений, количество разобранных и неразобранных сообщений.

Нажатие на кнопку "Next step" запустит формирование шаблонов-кандидатов, построенных путём замены разобранных сообщений на их шаблон, а в неразобранных сообщениях путём замены части сообщения на именованный шаблон, после чего откроет окно обучения и корректировки (рисунок 33).

Рисунок 33. Окно обучения и корректировки. Основная вкладка

В данном окне производится одобрение шаблонизации сообщений на основе информации, полученной в результате разбора. Аналитик должен отметить те сообщения и их шаблоны-кандидаты, которые были составлены верно. Для того, чтобы отметить все сообщения или наоборот, снять все отметки, можно использовать кнопки "Check All" и "Uncheck All".

Для просмотра подстрок, которые планируется заменить на именованные местозаполнители следует переключиться на вкладку "Inverse Map", на которой отражены соответствия <значение - список местозаполнителей> (рисунок 34).

Рисунок 34. Окно обучения и корректировки. Вкладка Inverse Map

После того как все верно шаблонизированные сообщения отмечены нажатие на кнопку "Next Step" запустит процесс замены отмеченных сообщений на их шаблонизированные варианты и добавления данных в перечень местозаполнителей, по завершении которого откроет начальное окно шаблонопостроителя с шаблонизированными сообщениями, завершив тем самым одну итерацию по формированию ядра разбора.

Описанный выше процесс следует повторять до тех пор, пока нельзя будет сформировать новый шаблон или доработать существующий. Данное состояние достигается, когда аналитик отследил, что в окне анализа похожих сообщений все сообщения во всех группах похожих сообщений соответствуют разным типам событий в ИТ-инфраструктуре. В этом случае в основной области будет отображено сообщение "No more similar groups." (рисунок 35).

Рисунок 35. Окно анализа похожих сообщений. Все группы сообщений проанализированы

В этой ситуации аналитику следует перейти нажатием на кнопку "Next step" на следующее окно (окно редактирования ядра разбора) и выгрузить сформированные шаблоны в файл, завершив тем самым одну итерацию по обучению парсера (разборщика).

Разборщик, используемый в обучении, представляет собой простое однооконное приложение (рисунок 36).

Рисунок 36. Интерфейс приложения-разборщика

Для своей работы разборщик требует указания 4х файлов:

1. Исходный файл, содержащий массив JSON-объектов с информацией о событиях.

2. Файл, содержащий ядро разбора, полученный в результате работы шаблонопостроителя.

3. Файл, в который сохранятся информационные части (значения по ключу msg в JSON-объектах) сообщений о событиях, которые не удалось разобрать текущим ядром разбора.

4. Файл, в который сохранятся 100 первых сообщений из файла неразобранных сообщений.

После указания всех файлов (рисунок 37) необходимо запустить разбор кнопкой "Run parsing" и дождаться окончания работы (рисунок 38).

Рисунок 37. Интерфейс приложения-разборщика до запуска разбора

Рисунок 38. Интерфейс приложения-разборщика после окончания разбора

Разбор сообщений является первым шагом в каждой итерации дообучения парсера. После выполнения разбора файл, содержащий первые 100 неразобранных сообщений следует использовать в шаблонопостроителе вместо файла сообщений в формате JSON, загружая данные из него с помощью пункта "Open flat data file" меню "File", как упоминалось ранее. После этого необходимо подгрузить существующие шаблоны с помощью пункта "Add Templates From File" и выполнить шаги дообучения, с целью дополнить и улучшить список шаблонов новыми данными.

Размер дополнительной выборки сообщений выбран равным 100 сообщениям так как данное число с одной стороны достаточно велико, чтобы в него попали несколько групп похожих сообщений, а с другой не слишком велико для проверки аналитиком на многократно повторяемом шаге корректировки шаблонизации.

3.3.3 Аналитическая модель в WEKA

Перед анализом данных средствами WEKA данные надо подготовить, преобразовав их к "родному" формату WEKA - ARFF (Attribute-Relation File Format). Заголовок файла, описывающий структуру анализируемых средствами WEKA данных представлен ниже:

@RELATION messages

@ATTRIBUTE timegenerated-rfc-3339 DATE "yyyy-MM-dd'T'HH: mm: ss. SSSXXX"

@ATTRIBUTE timereported-rfc-3339 DATE "yyyy-MM-dd'T'HH: mm: ss. SSSXXX"

@ATTRIBUTE hostname string

@ATTRIBUTE fromhost string

@ATTRIBUTE fromhost-ip string

@ATTRIBUTE syslogtag string

@ATTRIBUTE programname string

@ATTRIBUTE procid string

@ATTRIBUTE app-name string

@ATTRIBUTE pri-text string

@ATTRIBUTE pri NUMERIC

@ATTRIBUTE uuid string

@ATTRIBUTE msgid string

@ATTRIBUTE msg string

@ATTRIBUTE template string

@ATTRIBUTE prev-template string

@DATA

Данные, размещаемые после ключевого слова "@DATA" генерирует программа-преобразователь из данных, полученных в результате разбора. Интерфейс программы-преобразователя показан на рисунке 39.

Рисунок 39. Интерфейс программы-преобразователя

Дальнейшие операции выполняются через командный интерфейс WEKA CLI, но для наглядности в данной работе показаны в графическом интерфейса WEKA Explorer.

Ввиду того, что аналитические модели поиска ассоциативных правил WEKA не работают со строковыми данными и числовыми данными, к ним применяются фильтры, преобразования строковых/числовых типов в перечисления (рисунок 40).

Рисунок 40. Предварительная подготовка данных в WEKA

Теперь данные готовы к анализу. Для максимальной наполненности и повышения точности одновременно задействуются модели "Apriori" [33], "PredictiveApriori" [34] и "Tertius" [35] (рисунки 41,42,43 соответственно).

Рисунок 41. Правила, полученные с моделью "Apriori"

Рисунок 42. Правила, полученные с моделью "Predictive Apriori"

Рисунок 43. Правила, полученные с моделью "Tertius"

Полученные правила объединяются и формируют ядро логического вывода, напоминающее продукционную систему.

3.3.4 Пользовательский компонент инженера

Пользовательский компонент инженера предназначен для просмотра инженером технической поддержки информации о сообщениях и сведений о возможных предшествующих событиях. Интерфейс пользовательского компонента инженера состоит из трёх частей (рисунок 44).

Рисунок 44. Пользовательский интерфейс

Слева изображен список сообщений журналов, в котором инженер может выбрать любое зарегистрированное событие. Детальная информация по выбранному событию отобразится в области свойств в нижней правой части окна. Верхняя правая часть содержит графическое представление причинно-следственных связей между событиями, рассчитанными с помощью ядра логического вывода, полученного в результате работы WEKA. Стрелка показывает направление от события-причины к событию следствию, т.е. на основе ядра для выбранного события ищутся события причины и отражаются на диаграмме, и так далее по цепочке.

3.4 Выводы по главе 3

В третьей главе была описана разработанная информационно-аналитическая система: её архитектура, основные компоненты, алгоритмы, структуры данных и средства реализации.

Архитектурно ИАС сервера Rsyslog, обучаемого разборщика, аналитической модели вида "поиск правил ассоциации" и компоненты пользовательского интерфейса инженера.

Были показаны настройки, которые необходимо выполнить на сервере Rsyslog, чтобы сформировать записи в формате JSON.

Была продемонстрирована работа обучаемого парсера, показаны циклы его обучения.

При помощи графического интерфейса WEKA продемонстрирована работа алгоритмов ассоциативного поиска "Apriori", "Predictive Apriori" и "Tertius".

Продемонстрирована работа пользовательской компоненты инженера.

Все задействованные средства реализации являются открытыми и доступными бесплатно.

Получившаяся информационно-аналитическая система работает и выполняет своё назначение - придавать поискам инженеров направление.

Глава 4. Опытная эксплуатация информационно-аналитической системы выявления причинно-следственных связей между событиями

Апробация разработанной системы выполнялась в Отделе сетевых и системных средств Дирекции ИТ НИУ ВШЭ.

4.1 Апробация централизованного журналирования

В качестве центрального сервера была создана виртуальная машина с вычислительными ресурсами: 2 ядра процессора Intel Xeon с тактовой частотой 2.1 ГГц, 2 Гбайт оперативной памяти, скорость доступа в локальную сеть 1 Гбит/с.

На данной машине был установлен дистрибутив CentOS Linux 6.7, а входящий в дистрибутив Syslog-сервер Rsyslog был настроен в соответствии с разделом 3.3.1.

На данный сервер собирались системные журналы сетевого оборудования главного корпуса ВШЭ и системы антиспам. Во избежание заполнения дискового пространства собранная информация ежедневно архивировалась. За всё время работы системы - с 15.12.2015 по настоящее время было собрано 13 Гбайт архивов журналов, ежедневно размер архивов журналов увеличивался 70 до 200 Мбайт (рисунок 45), что с учётом 10-краного сжатия давало до 2 Гбайт информации о событиях (рисунок 46).

На протяжении всего времени функционирования сервер никогда не был перегружен входящими сообщениями и прекрасно справлялся с возложенной на него частью работы.

Рисунок 45. Накопленные архивы системных журналов

Рисунок 46. Размер самого большого файла журналов без сжатия

4.2 Апробация обучаемого парсера

Разработанное ПО обучаемого парера было использовано для автоматизированного выявления шаблонов сообщений, собранных с части объектов ИТ-инфраструктуры в течение одного дня. Использоанный файл содержит 218 587 сообщений в формате JSON (раздел 3.3.1) и имеет размер 144 Мбайт.

Разобранные шаблонопостроитель и парсер были использованы в соответствии с приведённой в разделе 3.3.2 методикой использования. В результате выполнения 10ти итераций "формирование шаблонов + разбор" получилось ядро разбора, включающее в себя 127 шаблонов. На ПК с 2х-ядерным процессором Intel Pentium G2140 и тактовой частотой 3,3 ГГц разбор исходного файла сообщений данным ядром разбора занял 122,378 секунд, т.е. около 2х минут. При этом неразобранными остались около 1,08 % сообщений (рисунок 12).

Данные по каждой итерации приведены в таблице 1.

Таблица 1. Данные по итерациям обучения

№	Шаблонов	Разобрано сообщений	Не разобрано сообщений
0	37	166072	52515
1	41	203895	14692
2	61	208797	9790
3	67	210632	7955
4	75	214916	3671
5	91	215299	3288
6	91	215759	2828
7	106	216116	2471
8	110	216152	2435
9	113	216166	2421
10	127	216234	2353

В виде графика эти данные представлены на рисунке 47.

Рисунок 47. Изменение количества разобранных сообщений по итерациям

Как можно заметить большую часть сообщений удалось разобрать с помощью шаблонов полученных за первые 3 итерации, что соответствует принципу Парето.

Также при помощи полученного ядра разбора были разобраны сообщения собранные в другой день. Разобранный файл содержит 1 052 127 сообщений в формате JSON и имеет размер 736,4 Мбайт. На его разбор потребовалось 800 секунд на процессоре Intel Core i5 и около 7 Гбайт оперативной памяти. Разобрано было 1027204 сообщения, не разобрано 24923, что составляет 2,42%.

4.3 Апробация ядра логического вывода в пользовательском компоненте инженера

Полученное в процессе работы аналитических моделей ядро логического вывода содержит в себе 221 правило:

· 100 правил сгенерировала модель "Apriori";

· 100 правил сгенерировала модель "Predictive Apriori";

· 21 правило сгенерировала модель "Tertius".

Среди цепочек были обнаружены:

· это запуск и остановка задач по распорядку (cron) - рисунок 48.

· сообщения о включении/выключении сетевых интерфейсов на коммутаторе Cisco разных уровней (3й и 5й) - рисунок 44;

· самая длинная цепочка из 5 сообщений принадлежит системе антиспам - рисунок 49.

Рисунок 48. События запуска/остановки задач CRON

Рисунок 49. Самая длинная обнаруженная цепочка событий

4.4 Выводы по главе 4

Апробация показала, что разработанная информационно-аналитическая система может быть использована в реальной работе на реальных данных, а не только тестовых наборах.

Производительность критической компоненты - сервера Rsyslog - позволяет перевести журналирование всех сетевых устройств на существующий сервер без необходимости в дополнительных вычислительных ресурсах.

Как одно из направлений развития данной работы - проект по подключению других типов систем - СУБД, СХД, системы виртуализации и пр. - к существующей архитектуре централизованного журналирования. Как следствие необходимо будет провести дообучение парсера и аналитической модели.

Эксперименты с обучаемым парсерм показали, что для разбора 218 587 сообщений жуналов понадобилось всего 127 шаблонов сообщений, что составляет порядка 0,05% от всего начального набора сообщений, при этом лишь 1,08% сообщений было не разобрано.

В целом факт работоспособност всей концепции системы был проверен и успешно подтврждён в реальных условиях Дирекции ИТ НИУ ВШЭ. Дальнейшие работы предполагается нацелить на закрепление этих результатов.

Заключение

В рамках исследовательской работы была разработана и апробирована информационно-аналитическая система выявления причинно-следственных отношений между событиями в ИТ-инфраструктуре. Все поставленные во введении задачи были выполнены, а цель достигнута.

В процессе работы был выполнен анализ процессов мониторинга и журналирования событий, их место и роль в ИТ-инфраструктуре. Также был выполнен поиск существующих решений, который показал, что существующие системы анализа событий нацелены в основном на формирование отчётности и построение панелей индикаторов. По этой причине было принято решение разработать собственную информационно-аналитическую систему, нацеленную именно на выявление отношения причинности между событиями.

Был выполнен анализ подходов к организации централизованных систем хранения и обработки информации о событиях, по результатам которого основным протоколом передачи информации стал протокол Syslog. Были рассмотрены его сильные и слабые стороны. Существенную роль в работе сыграл тот факт, что протокол Syslog никак не специфицирует передаваемые информационные сообщения, что привело к необходимости найти гибкий, легко адаптирующийся к изменению передаваемого содержимого подхода к разбору сообщений журналов.

Ввиду поступления на обработку объёмов данных, а также символьного характера передаваемых данных было вдвинуто предположение, что с обозначенными проблемами эффективно справятся подходы машинного обучения. Из того факта, что информационно-аналитическая система была разработана и апробирована, следует, что выдвинутое предположение было верным.

Несмотря на достигнутый успех, созданная система нуждается в доработке и развитии. Наиболее важными направлениями, в которых следует двигаться дальше, представляются следующие:

1. Переход от набора компонент к цельному интегрированному продукту, от проверки идеи (proof of concept) к полноценной системе.

2. Интеграция или полный переход на технологии Apache Hadoop, Apache Lucene и Apache Spark, чтобы получить легко расширяемую аппаратно инфраструктуру, заточенную под обработку больших массивов нестуктурированных данных, коими и являются сообщения о событиях.

3. Создание базы экспертных знаний по устройству ИТ-архитектур, её компонентов и особенностей взаимодействия между ними. На основе такой базы знаний следует разработать специализированную аналитическую модель выявления отношения причинности.

4. Использование информации о пользовательском вводе и определении связей между действиями пользователей и возникающими событиями.

Литература

1. Словарь терминов ITIL® на русском языке, версия 2.0, 29 июля 2011 г. на основе английской версии 1.0, 29 июля 2011.

2. Business Process Model and Notation (BPMN). Version 2.0.2 [Электронный ресурс] / Object Management Group, 2013. URL: http://www.omg.org/spec/BPMN // 2.0.2/PDF

3. RFC 3411 An Architecture for Describing Simple Network Management Protocol (SNMP) Management Frameworks [Электронный ресурс] / Internet Engineering Task Force, December 2002. URL: https: // www.ietf.org/rfc/rfc3411. txt

4. RFC 5424 The Syslog Protocol [Электронный ресурс] / Internet Engineering Task Force, March 2009. URL: https: // tools. ietf.org/html/rfc5424

5. Adiscon LogAnalyzer - syslog web viewer, analysis and reporting tool [Электронный ресурс] / Adiscon GmbH. URL: http://loganalyzer. adiscon.com

6. MonitorWare Knowledge Base [Электронный ресурс] / Adiscon GmbH. URL: http://kb. monitorware.com/

7. Операционная аналитика, управление журналами, управление приложениями, обеспечение безопасности предприятия и соответствия требованиям | Splunk [Электронный ресурс] / Splunk Inc. URL: http://www.splunk.com/ru_ru

8. IBM BigInsights for Apache Hadoop [Электронный ресурс] / IBM Corporation. URL: http://www-03. ibm.com/software/products/ru/ibm-biginsights-for-apache-hadoop

9. Welcome to Apache™ Hadoop®! [Электронный ресурс] / The Apache Software Foundation, последнее обновление 13.02.2016 10: 31: 55. URL: http://hadoop. apache.org/

10. Fluentd | Open Source Data Collector [Электронный ресурс] / Fluentd Project, Treasure Data, Inc. URL: http://www.fluentd.org/

11. Logstash | Collect, Enrich & Transport Data [Электронный ресурс] / Elasticsearch BV. URL: https: // www.elastic. co/products/logstash

12. Elasticsearch | Search & Analyze Data in Real Time [Электронный ресурс] / Elasticsearch BV. URL: https: // www.elastic. co/products/elasticsearch

13. Welcome to Apache Lucene [Электронный ресурс] / The Apache Software Foundation. URL: https: // lucene. apache.org/

14. Kibana | Explore & Visualize Your Data

15. System Logging and Log Analysis (AKA: Everything we know and hate about system logging) [Электронный ресурс] / Marcus J. Ranum / URL: http://www.ranum.com/security/computer_security/archives/logging-notes. pdf

16. Regular-Expressions. info - Regex Tutorial, Examples and Reference - Regexp Patterns [Электронный ресурс] / Jan Goyvaerts, последнее обновление 16.10.2015. URL: http://www.regular-expressions. info/

17. Li, Weixi Automatic Log Analysis using Machine Learning: Awesome Automatic Log Analysis version 2.0 [Электронный ресурс] / Uppsala University / 2013/URL:

18. http://uu. diva-portal.org/smash/get/diva2: 667650/FULLTEXT01. pdf

19. Category: String similarity measures [Электронный ресурс] / Wikipedia The Free Encyclopedia. Wikimedia Foundation. URL:

20. https: // en. wikipedia.org/wiki/Category: String_similarity_measures

21. Levenshtein distance [Электронный ресурс] / Wikipedia The Free Encyclopedia. Wikimedia Foundation. URL: https: // en. wikipedia.org/wiki/Levenshtein_distance

22. Overlap_coefficient [Электронный ресурс] / Wikipedia The Free Encyclopedia. Wikimedia Foundation. URL: https: // en. wikipedia.org/wiki/Overlap_coefficient

23. Longest common subsequence problem / Wikipedia The Free Encyclopedia. Wikimedia Foundation. URL:

24. https: // en. wikipedia.org/wiki/Longest_common_subsequence_problem

25. Машинное обучение [Электронный ресурс] / MachineLearning.ru, Последнее обновление 17: 18 7.05.2014. URL:

26. http://www.machinelearning.ru/wiki/index. php? title=%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5

27. Карасёв А.А. Математическое и программное обеспечение базы экспертных знаний для поддерэки принятия решения при разрешении инцидентов в информационных системах: дисс… канд тех. наук: 05.13.11/Москва, МИРЭА 2014 - 243 с

28. RFC 5675 Mapping Simple Network Management Protocol (SNMP) Notifications to SYSLOG Messages [Электронный ресурс] / Internet Engineering Task Force, October 2009. URL: https: // tools. ietf.org/html/rfc5675

29. Rsyslog. The rocket-fast system for log processing [Электронный ресурс] / Adiscon GmbH. URL: http://www.rsyslog.com/

30. Java Standard Edition [Электронный ресурс] / Oracle Corporation URL: http://www.oracle.com/technetwork/java/javase/overview/index.html

31. SWT: The Standard Widget Toolkit [Электронный ресурс] / Eclipse Foundation. URL: https: // www.eclipse.org/swt/

32. JSON. simple - A simple Java toolkit for JSON [Электронный ресурс] / Yidong Fang. URL: https: // code. google.com/archive/p/json-simple/

33. Сравниваем Java-библиотеки для работы с JSON: JSON. simple, GSON, Jackson и JSONP. [Электронный ресурс] / Сайт сообщества "Tproger" соц. сети "Вконтаке". URL: https: // tproger.ru/translations/java-json-library-comparison/

34. RFC 7159 The JavaScript Object Notation (JSON) Data Interchange Format [Электронный ресурс] / Internet Engineering Task Force, March 2014. URL: https: // tools. ietf.org/html/rfc7159

35. Weka 3: Data Mining Software in Java [Электронный ресурс] / Machine Learning Group at the University of Waikato. URL: http://www.cs. waikato. ac. nz/~ml/weka/

36. IBM SPSS Statistics Standard [Электронный ресурс] / IBM Corporation. URL: http://www-03. ibm.com/software/products/ru/spss-stats-standard

37. R. Agrawal, R. Srikant: Fast Algorithms for Mining Association Rules in Large Databases. In: 20th International Conference on Very Large Data Bases, 478-499, 1994

38. Tobias Scheffer: Finding Association Rules That Trade Support Optimally against Confidence. In: 5th European Conference on Principles of Data Mining and Knowledge Discovery, 424-435, 2001

39. P.A. Flach, N. Lachiche (1999). Confirmation-Guided Discovery of first-order rules with Tertius. Machine Learning.42: 61-95

Размещено на Allbest.ru