Разработка методов оптимального проектирования ГРИД-систем

Digipede Network представляет собой распределенную вычислительную систему, которая обеспечивает значительное улучшение производительности в реальных бизнес-приложений. Построенная полностью на платформе Microsoft NET, она гораздо проще в установке и использовании, чем другие решения. Digipede Network предоставляет библиотеку Digipede Framework SDK, которая дает разработчикам мощные Grid-дополнения для их приложений [10].

Virtual Vertex Muster - система, позволяющая создавать кластер, состоящий из нескольких настольных компьютеров, объединенных в одну локальную сеть. Данный кластер предназначен для ускорения рендеринга видео и обработки различных визуальных эффектов в программах Maya, 3dMax, LightWave, Softimage и Adobe After Effects [11].

CLAVIRE (CLoud Application VIRtual Environment) - это многопрофильная инструментально-технологическая платформа, которая обеспечивает создание, разработку и эксплуатацию распределенных неоднородных вычислительных инфраструктур, предоставляя доступ к вычислительным ресурсам, и прикладным пакетам. Также одной из возможностей CLAVIRE является построение корпоративных облачных инфраструктур, публичных инфраструктур с использованием ресурсов Grid-сред [12].

Сравнительная характеристика описанных выше Enterprise Grid-систем показана в таблице 1.

Таблица 2.1. Сравнительная характеристика Enterprise Grid-систем

Grid-система	Характеристика
SETI@Home Grid System	1. Одна из крупнейших распределенных систем, 2. Разработана для анализа данных радиотелескопов. 3. Имеет открытый исходный код.
Aneka	1. Создана на платформе.NET 2. Максимально упрощает процесс развертывания и эксплуатации системы. 3. Вычислительный узел - это точка доступа ко всей сети.
Oracle Enterprise Manager	1. Ориентирована работу с продуктами компании Oracle. 2. Позволяет автоматизировать задачи управления: создание, модифицирование, мониторинг и удаление компонентов системы.
NVIDIA GRID	1. Использует вычислительные ресурсы GPU. 2. Гарантирует совместимость приложений. 3. Возможность тонкой настройки каждого клиента.
SAS Grid Manager	1. Позволяет производить модернизацию системы без сбоев в работе компьютеров пользователей. 2. Предоставляет большую гибкость и возможность наращивания вычислительной инфраструктуры. 3. Отлично поддерживает распараллеливание задач.
Techila	1. Решает проблемы, связанные с развертыванием и работой приложений для параллельных вычислений. 2. Создает самоуправляемую и масштабируемую вычислительную среду для доступа и управления ИТ-ресурсами.
Digipede Network	1. Создана на платформе.NET. 2. Предоставляет удобные средства для создания, мониторинга и предоставления рабочих мест.
Virtual Vertex Muster	1. Позволяет создать кластер для обработки видео и визуальных эффектов. 2. Поддерживает работу с несколькими ОС. 3. Позволяет обрабатывать несколько параллельных задач одновременно.
CLAVIRE	1. Обеспечивает создание, разработку и эксплуатацию распределенных неоднородных вычислительных инфраструктур. 2. Платформа обеспечивает разработку как облачных систем, так и Grid-систем.

Концепция Enterprise Grid успешно решает проблемы крупных компаний и научно-исследовательских центров, связанные с нехваткой вычислительных ресурсов при решении требовательных к вычислительным ресурсам задач. Благодаря возрастанию мощностей современных компьютеров и развитию глобальной сети Интернет, концепция Enterprise Grid позволяет создавать надежные и распределенные на значительной территории высокопроизводительные кластеры. Enterprise Grid-системы имеют большой потенциал, но на данный момент не получили достаточного развития, т.к. при работе возникают проблемы, например, связанные с обеспечением безопасности передачи данных. Из этого следует, что данное направление исследований считается очень перспективным и заслуживающим особого внимания.



2.2 Описание параметров и признаков наблюдения за состояниями ГРИД-системы

Распределенной системой автоматизированного проектирования будем называть САПР, отличительной особенностью которой является наличие компонент с отдельных структурных узлов, отвечающих за конкретную функциональность и работающих относительно автономно. При этом в распределенной САПР можно выделить логическую и физическую распределенность.

В наиболее общем представлении основными компонентами САПР являются [8]:

- рабочие станции инженеров (с различными аппаратными платформами и операционными системами);

- распределенные вычислительные модули (компьютеры, предоставляющие вычислительные ресурсы);

- распределенные базы данных и знаний;

- среды коллективной разработки (предоставляют возможности коллективной работы на одним проектом командам инженеров, географически расположенным в различным точках земного шара, например, совместное редактирование файлов проекта, телеконференции, различного рода коммуникационные средства, порталы новостей, событий с механизмами уведомлений, организация доступа к полученным результатам, их публикация, обсуждение);

- промышленное оборудование для изготовления спроектированных объектов.

В распределенных САПР все компоненты могут быть физически и географически распределенными и связаны между собой посредством Интернет или интранет.

Рассмотрим основные требования к реализации различных уровней распределенной САПР, а также оценим степень удовлетворения этим требованиям технологий Грид, используемых в для построения инфраструктуры сервисов (middleware).

a) Объединение разнообразных аппаратных средств САПР в единую инфраструктуру. Исходя из определения Грид, ее инфраструктура и технологии создавались именно для создания единого распределенного окружения для совместного использования ресурсов в динамических виртуальных организациях с целью эффективного использования имеющихся ресурсов в процессе решения любых сложных задач. Однако, ключевым условием является наличие скоростных и надежных коммуникационных каналов.

b) Масштабируемость, позвоялющая динамическое предоставление вычислительных мощностей для решения поставленной задачи с учетом граничных условий. Возможность динамической конфигурации виртуального компьютерного элемента позволяет использовать ровно столько ресурсов, сколько необходимо для решения конкретной задачи с учетом дополнительных условий, а также динамически перераспределять ресурсы, освобождать или задействовать дополнительные вычислительные мощности при необходимости.

d) Обеспечение надежности и отказоустойчивости. Технологии Грид поддерживают создание динамического окружения и могут отслеживать состояние задачи таким образом, что в случае выхода из строя одного или нескольких узлов в вычислительном пуле, возможно достаточное быстрое восполнения его структуры за счет реконфигурации и включения дополнительных узлов или перемещения задачи на другой вычислительный ресурс.

e) Обеспечение безопасности и конфиденциальности данных. Технология Грид была разработана с учетом обеспечения безопасной среды для выполнения различных по требованиям безопасности задач, включая как обеспечение безопасности пользовательских данных так и самого процесса обработки данных.

Однако система безопасности Грид-систем дожна строится на прочном фундаменте традиционной безопасности информационных и телекоммуникационных систем и сетей. Инфраструктура безопасности Грид потребовала разработки новой концепции обеспечения безопасности выполнения задач в распределенной вычислительной среде и в среде, ориентированной на услуги [9, 10].

Ее отличие от сетевой системы безопасности, которая в основном обеспечивает безопасные каналы передачи данными между общающимися сетевыми узлами или компьютерами, в том, что в Грид безопасности должна быть обеспечена для задачи и данных, которые могут обрабатываться на многих компьютерных узлах и перемещаться от одного компьютера к другому в процессе выполнения.

В сетевой безопасности контекст безопасности (идентификация пользоватедя, его мандаты (credentials)) обеспечиваются между двумья узлами в сети (host-to-host), в Грид безопасности контекст безопасти должен быть привязан к самой задаче или данным и обеспечивать для них такие сервисы безопасности как целостность, конфиденциальности, аутентификация и авторизация.

Все эти сервисы и контекст безопасности не должны нарушаться при перемещении данных или задач от одной вычислительной системы к другой. Грид безопасность неизбежно требует всего спектра возможностей XML Security and Web Services Security [9, 10].

f) Хранение и обработка больших объемов информации Развитие Грид привело к появлению специального типа Грид Данных (Data Grid), которые специализируются именно на хранении, предоставлении доступа и обработке огромных обьемов информации, во многих приложениях без их физического перемещения между вычислительными ресурсами.

g) Гетерогенность, стандартное представление данных вычислительных ресурсов Грид-технологии поддерживают использование гетерогенных ресурсов и на сегодня позволяют создание вычислительных сред с использованием различных аппаратных платформ и операционных систем за счет стандартного описания конкретной системы как Грид-ресурса с использованием новогоо стандарта Веб-сервисов WSRF (Web Services Resource Framework) [5].

Со стороны ресурса это должно поддерживаться предоставлением соответствующего интерфейса в формате WSDL (Web Services Description Language) [4], при этом внутренняя реализация сервисов ресурса (например, операционная система или аппаратная платформа) скрывается от пользователя стандартным представлением WSDL. Современные средства Java/J2EE и.NET позволяют осуществлять автоматическую генерацию программных модулей и интерфейсов WSDL для конкретной системы [11, 12].

Обмен данными между различными компонентами системы, построенной на основе Грид, проиизводится с использованием стандартных протоколов Веб-сервисов, построенных на основе XML - протокола или SOAP (Simple Object Access Protocol) [8].

Использование XML-технологий также позволяет эффективно управлять семантическим пространством имен и типов данных, которые также могут быть привязаны к стандартному описанию в формате WSDL. Привенный выше анализ позволяет сделать заключение, что архитектура Грид предоставляет все необходимые технологичесикие компоненты для построения распределенных, масштабируемых, гетерогенных, надежных САПР, охватывающих не только вычислительный уровень, но и уровни обеспечивающие совместное проектирование географически удаленных команд инженеров, покрывающее все виды обеспечения САПР. Более того, использование стандартных протоколов и технологий Веб-сервисов (XML Web Services) позволит интегрировать компоненты САПР в другие системы, которые поддерживают данные технологии.

Рассмотрим структуру ГРИД-системы на уровне виртуальных организаций (Рис. 2.2). ГРИД состоит из совокупности ресурсов (сетевых, вычислительных и т.д.) объединенных в виртуальные организации. Виртуальная организация (Virtual Organization - VO) является динамическим сообществом людей и / или учреждений, которые совместно используют вычислительные ресурсы в соответствии с согласованными между ними правилами. Эти правила регулируют доступ ко всем типам средств, включая компьютеры, программное обеспечение и данные [3].

Рис. 2.2. Структура ГРИД

Таким образом, для доступа к распределенной системе вне зависимости от роли участника (пользователь или вычислительный узел, «производитель / потребитель») необходимым условием является принадлежность к той или иной виртуальной организации. На Рис. 2 пользователь userA и вычислительный узел hostA не могут получить доступ к системе, не являясь членами ВО, поэтому необходимо присоединиться (зарегистрироваться) к одной из существующих ВО (например, ВО А и ВО Б) или создать свою собственную, регламентировав отношения с ВО А и ВО Б.

2.3 Описание образов состояний в пространстве признаков

На основании структуры системы (Рис. 2.2) необходимо выделить три основных позиции, которые влияют на методы оценки финансовых показателей ГРИД:

Виртуальные организации не обозначают владение ресурсами, определенными в рамках их функционирования, они лишь устанавливают правила взаимодействия. Т.е. в рамках ВО ресурсы могут принадлежать разным финансовым учреждениям.

Виртуальная организация владеет полной информацией о количестве ресурсов и пользователей, зарегистрированных в ней, однако не гарантирует их доступность и актуальность.

Один и тот же GRID-ресурс может использоваться несколькими виртуальными организациями.

Таким образом, финансовые отношения, которые могут быть определены в рамках виртуальной организации, возможно описать только статическими моделями, что в свою очередь не позволяет определить динамику развития как системы в целом, так и ее отдельных частей.

2.4 Выбор математической модели динамики показателей отказоустойчивости, надежности и эффективности ГРИД-системы

Исследования и методики, приведенные в [12-16], не учитывают стохастическую природу как потоков задач в ГРИД, так и обслуживающих сервисов. Очень часто решение о выделении ресурсов на выполнение той или иной задачи формируется на этапе ее постановки, в то время как эти ресурсы уже были распределены между другими задачами, имеющими более низкий приоритет. Кроме того, возникают ситуации, когда для решения задач выделено больше ресурсов, чем можно было бы для поддержания соответствующего уровня сервиса, в результате чего уменьшается прибыль вследствие сдачи «лишних» узлов.

На основе структуры (Рис. 2.2) и горизонтальной архитектуры (уровень приложений) ГРИД-системы разработана модель ГРИД с использованием математического аппарата теории массового обслуживания (ТМО), которая учитывает характер потока заявок, поступающих в систему и интенсивность обработки задач.

Данная модель позволяет рассчитать оптимальный по стоимости ГРИД-кластер, удовлетворяющий требованиям входящего потока задач. Для наглядной демонстрации предложенного подхода построим упрощенную модель ГРИД-окружения и механизм денежного потока (Рис. 2.3).

Рис. 2.3. Механизм денежного обращения

Согласно приведенной модели, в рамках финансовых отношений существует три субъекта: заказчик (пользователи, реализующие свои задачи); арендатор (субъект, содержащий ГРИД-кластер, состоящий из m вычислительных узлов); арендодатель (субъект, располагающий некоторым количеством ресурсов, сдаваемых в аренду).

Пусть количество вычислительных узлов m и в среднем в систему поступает l=8 заявок в день, при этом поток заявок носит пуассоновский характер [17, 18].

Среднее значение количества задач в рамках заявки Sz=5 (при норме обслуживания узлом 7 задач в день) следовательно, интенсивность обслуживания одного узла составит m=7/5=1,4 заявок в день.

Для того чтобы исключить невыполнение обработки заявок в срок, система не принимает новые задачи, если ее очередь уже составляет n=6 заявок. За каждую выполненную задачу арендодатель получает 2 ден. ед., а также 100 ден. ед. ежемесячно с каждого узла, сданного в аренду (техническая поддержка, оплата электроэнергии и т.д.).

При этом заказчик платит за каждую выполненную задачу по 4 ден. ед. (входные параметры предложенной модели для наглядности взяты из примерав [17]).

Необходимо вычислить основные характеристики ГРИД-кластера (пропускная способность, производительность и т.д.), определить наиболее оптимальное количество вычислительных узлов, необходимых для получения максимальной прибыли арендатором от выполнения потока задач с заданной характеристикой.

Наиболее удобно и целесообразно рассмотреть описанную выше модель в виде многоканальной системы массового обслуживания (СМО) с ограниченной очередью [18].

Рис. 2.4. Граф функционирования СМО типа M/M/m/n

Пусть на вход СМО, состоящей из m каналов обслуживания, поступает пуассоновский поток заявок с интенсивностью l. Интенсивность обслуживания заявки каждым каналом равняется m, а максимальное число мест в очереди равняется n. Граф состояний и переходов такой системы представлен на Рис. 2.4.

В СМО такого типа в очереди может находиться не более n заявок, т.е. n+1 заявка отклоняется.

2.5 Анализ динамики показателей ГРИД-системы и выбор метода обеспечения отказоустойчивости, надежности и эффективности

С расширением сферы применения ГРИД-технологий до e-Commerce и e-Business достаточно актуальной стала идея продажи ресурсов, сдачи их в аренду или получения прибыли от вычислений, проводимых третьей стороной. Существует довольно большое количество публикаций и исследований, направленных на разработку и анализ распределения ресурсов в ГРИД-системах, с использованием экономического подхода [12-16] или получение прибыли от предоставления ресурсов.

Рис. 2.5. Формализация процесса торговли ресурсами

При экономическом подходе благодаря интероперабельности и масштабируемости ГРИД не изменяет свою структуру, а наоборот расширяет ее за счет введения дополнительных сервисов, отвечающих за так называемую торговлю ресурсами. Расширение производится на уровне информационных сервисов и сервисов мониторинга, а также за счет введения дополнительных механизмов описания стоимостных показателей (Рис. 7).

При формировании требований, предъявляемых к решению задач, могут использоваться более сложные условные формы, чем стоимость и время обслуживания (Рис. 2.5). В частности, могут вводиться требования к надежности и достоверности полученных результатов, тогда в ГРИД-окружении принимаются решения о привлечении дополнительных ресурсов (дублирующих) для повышения надежности и диверсности полученных результатов и их последующий анализ. Все эти характеристики могут формировать (увеличивать или снижать) стоимость выполнения задачи ГРИД.



3. Оценка отказоустойчивости, надежности и эффективности

3.1 Анализ методов оценки параметров отказоустойчивости, надежности и эффективности ГРИД-системы

Согласно принятым допущениям, поток заявок - пуассоновский, время обработки - случайная величина, распределенная по экспоненциальному закону, поэтому, согласно нотации Кендалла [18], ГРИД-системы можно рассматривать как СМО типа M/M/m/n (где M - экспоненциальное распределение, m - количество обслуживающих устройств, n - длина очереди ожидания).

Таким образом, мы имеем СМО типа M/M/4/6, где l=8 и m,=1,4 заявок в день, по условию.

Следовательно, для такого типа СМО нагрузка на ГРИД-систему вычисляется по формуле (1)

где ?- интенсивность потока заявок,

- интенсивность обслуживания потока одним узлом,

m - количество узлов.

Вероятность простоя такой системы вычисляется по формуле (2) [18]:

а вероятность отказа в обслуживании [18] в нашем случае (3):

где m - количество каналов обслуживания,

n - размер очереди.

Достаточно важным показателем, который необходим при анализе системы, является средняя длина очереди, вычисляемая по формуле (4) [18]:

3.2 Формирование критериев оценки параметров отказоустойчивости, надежности и эффективности ГРИД-системы

Производить расчет прибыли M на основе полученных характеристик ГРИД-системы, который будет составлять разницу между выручкой (доходом) Mv и выплатами за аренду(расходами) Ma:

Средняя выручка за месяц составит:

где gm - среднее количество выполняемых задач в день gm=l*Pобсл для количества узлов m.

Sz - среднее количество задач в заявке (по условию Sz=5);

Mdv - цена за выполнение одной задачи для заказчика Mdv=4 ден. ед. по условию.

Т - количество рассчитываемых дней Т=30.

Средние издержки, выплачиваемые за аренду узлов в месяц, составят:



где параметры аналогичны (6),

Mda - арендная стоимость за задачу,

Mda=2 по условию.

Также необходимо учесть ежемесячные отчисления в размере 100 ден. ед., выплачиваемые каждым узлом, тогда:

3.3 Формирование алгоритма оценки динамики критериев

Общий алгоритм взаимодействия пользователей и сервисов в рамках ГРИД (Рис. 2.3) следующий (подробная информация приведена в документации к программному обеспечению, например [9, 11]):

Рис. 3.1. Общий алгоритм решения задачи в рамках ГРИД

Аутентификация пользователя с помощью механизма сертификатов.

Пользователь формирует задачу, которая состоит из исполнительных файлов и данных для обработки.

Пользователь отправляет задачу на выполнение, используя сервисы среды исполнения.

Среда исполнения в свою очередь определяет и находит, с помощью информационных сервисов, вычислительные ресурсы, необходимые для решения задачи.

После определения подходящего узла (или совокупности узлов) сервисы исполнения дают указание службам управления данными поместить необходимые файлы для обработки на найденный узел.

После выполнения расчетов результат возвращается пользователю.

Следует также понимать, что все сервисы, необходимые для реализации ГРИД-системы, можно физически разместить на одном компьютере (на одном процессоре) или, например, часть реализовать на одном компьютере, а остальные - на другом.

Такой подход абсолютно не приемлем, так как производительность узла падает пропорционально количеству реализуемых им сервисов (ролей), поэтому в реальных ГРИД один и тот же сервис, может быть продублирован на нескольких физически раздельных компьютерах.

Очевидно, что с увеличением количества узлов, выполняющих одну и ту же роль, повышается производительность как отдельных частей ГРИД-системы, так и всего окружения в целом. Однако с увеличением ресурсов увеличиваются и финансовые затраты на введение новой единицы техники, связанные с ее обслуживанием и дальнейшим сопровождением.

Таким образом, возникает актуальная задача оптимального развития ГРИД, заключающаяся в минимизации затрат на сопровождение инфраструктуры, с одной стороны, и повышения производительности - с другой.

Предложенная нами упрощенная модель оценки стоимости и производительности ГРИД-системы позволяет: выбрать оптимальное количество узлов для получения наибольшей прибыли; рассчитать эксплуатационные затраты, связанные с необходимостью поддержки требуемого уровня пропускной способности; рассчитать производительность ГРИД-системы, которую можно обеспечить на основе имеющихся денежных средств.

3.4 Модель и алгоритм принятия решения по управлению отказоустойчивостью, надежностью и эффективностью ГРИД-системы

На рис. 3 изображена схема алгоритма работы грид-диспетчера, а на рис. 4 - схема алгоритма работы диспетчера кластера.

Рис. 3.2. Архитектура платформы облачных вычислений в гриде

Рис. 3.3 Схема алгоритма запуска и работы менеджера кластеров



Рис. 3.4 Схема алгоритма работы грид-диспетчера

Рис. 3.5 Схема алгоритма работы диспетчера кластера

Разработанные алгоритмы функционирования математической модели вычислительного узла грид-системы полностью отражают специфику сорвеменных облачных систем, включая OpenStack [2] и Windows Azure [3], а также современных диспетчеров грид-систем и их алгоритмов планирования.



3.5 Общий алгоритм функционирования предметной области

Для более четкого понимания структуры ГРИД-системы и построения ее детальной модели необходимо рассмотреть архитектуру ГРИД, обозначить ее отличие от высокопроизводительного кластера, суперкомпьютера или массива параллельных процессоров.

Для того чтобы определить функциональные и структурные отличия, целесообразно произвести декомпозицию ГРИД-системы в двух «плоскостях»: вертикальная архитектура; горизонтальная архитектура.

Рис. 3.6 Вертикальная архитектура ГРИД и Интернет

С точки зрения вертикальной архитектуры, ГРИД представляет собой стек протоколов, основанных на Интернете (Рис. 3.6) [4], поэтому необходимым условием присоединения ресурса является поддержка этих протоколов.

На сегодня практически любой вычислительный ресурс может быть подключен к глобальной сети, поэтому при построении модели ГРИД-системы считаем это условие выполненным и не будем учитывать нижележащие протоколы. Более подробно о назначении каждого уровня можно ознакомиться в [4].

Под горизонтальной архитектурой будем понимать совокупность сервисов, размещенных на уровне приложений (Application) (Рис. 3.7).

Рис. 3.7. Вертикальная и горизонтальная архитектура ГРИД

Для организации взаимодействия в рамках ГРИД-системы на этом уровне реализованы сервисы удаленного доступа: запуска заданий; пересылки файлов; мониторинга задач; авторизации и аутентификации; и т.д.

По мере развития сети Интернет с появлением технологии веб-сервисов [5] для достижения универсальности и повышения интероперабельности компонентов большинство функций в ГРИД-системе реализовано в виде сервисов (Рис. 3.7).

Основным стандартом, описывающим сервис-ориентированную архитектуру ГРИД-системы, является Open Grid Services Architecture (OGSA) [6], которая определяет основные службы, функционирующие на уровне приложений и необходимые для построения ГРИД:

- Execution Management services (исполнительная подсистема);

- Data services (службы для работы с данными);

- Resource Management services (службы управления ресурсами);

- Security services (службы обеспечения безопасности);

- Information services (службы мониторинга и информации);

- Self-management services (службы самоуправления).

Зачастую последняя группа служб (Self-mangement) интегрируется в оставшиеся пять и в явном виде стандарт не требует ее отдельной реализации в ГРИД.

Рис. 3.8. ГРИДслужбы:

а) в Globus;

б) в gLite

Чтобы понять, как отмеченные выше сервисы повлияют на предложенную ниже модель ГРИД-системы, необходимо рассмотреть их роль и функциональную зависимость на примере конкретных программных комплексов.

Существует большое количество проектов и решений в области ГРИД, реализующих методы и разрабатывающих инструментальные средства имплементации ГРИД-систем.

Рассмотрим два программных продукта - Globus [7], который стал стандартом де-факто и признан [8] многими мировыми производителями компьютерной индустрии: IBM, SGI, Sun Microsystems, Fujitsu, Hitachi, NEC, Veridian, Entropia, Platform Computing Inc, Microsoft, Compaq и gLite [9], распространение которого начато в рамках европейского проекта EGEE (Enabling Grids for E-Science) [10].

На Рис. 3.8 приведены рассмотренные выше группы служб, формирующие ядро ГРИД, которые в свою очередь состоят из набора отдельных сервисов, реализующих функциональность своей группы (на примере Globus и gLite).

Таким образом, любая вычислительная единица или ресурс (кластер, отдельный компьютер, сервер баз данных и т.д.), подключающийся к ГРИД, должен: поддерживать вертикальную и горизонтальную архитектуру ГРИД; принадлежать к одной или более группам служб (стандарт не оговаривает и неустанавливает ограничения на количество служб, установленных на одном компьютере, единственное ограничение - это снижение производительности); зарегистрироваться в ВО, в рамках которых он будет функционировать (узел может функционировать в рамках нескольких виртуальных организаций, зачастую используется именно такой подход).



4. Моделирование процессов и процедур

4.1 Испытание модели динамики показателей отказоустойчивости, надежности и эффективности ГРИД-системы

Проведем вычисления согласно формулам (2) - (4), когда в системе изменяется количество вычислительных узлов (ГРИД-узлов для обработки задач), т.е. m=1:12.

Полученные расчеты занесем в таблицу для дальнейшего анализа (Табл. 1).

Рис. 4.1. Основные характеристики ГРИД-системы для различного количества обслуживающих узлов

Основные вычислительные параметры в таблице следующие:

r - нагрузка на кластер,

P0 - вероятность простоя системы,

Pотк - вероятность отказа в обслуживании,

Pобсл - вероятность обслуживания,

q - среднее количество заявок, ожидающих выполнения,

U - коэффициент загрузки,

S - среднее число занятых каналов,

k - среднее число заявок в СМО,

g - пропускная способность,

w - среднее время пребывания заявки в очереди,

t - среднее время пребывания заявки в СМО.

Для наглядности построим график зависимостей вероятности обслуживания Робсл и Ротк от количества эксплуатируемых узлов (Рис. 4.2).

Рис. 4.2. График зависимости вероятностей Робсл и Ротк от количества узлов m

Нетрудно заметить, что с увеличением количества узлов вероятность получения отказа в обслуживании падает, однако с вводом в эксплуатацию дополнительного компьютера увеличиваются расходы на техническое сопровождение.

Таким образом, согласно (5), (6) и (8), для m=4 имеем:

4.2 Испытание алгоритма оценки динамики критериев

Определим количество узлов, при котором прибыль M будет максимальной, для этого выполним вычисления согласно (5), (6), (8) для m=1:12.

Динамику изменения прибыли в зависимости от количества арендованных узлов отобразим на графике (Рис. 4.3).

Рис. 4.3. Динамика изменения прибыли от количества узлов

Анализ результатов расчетов показывает, что наибольшая прибыль составляет 1622 ден. ед. при m=7, однако следует отметить, что при увеличении количества узлов, прибыль, получаемая арендодателем с каждого сданного узла по отдельности уменьшается (см. (8) параметр m и gm) и составляет:

4.3 Испытание модели и алгоритма принятия решения по управлению отказоустойчивостью, надежностью и эффективностью ГРИД-системы

Динамика изменения прибыли на один узел Mu с увеличением узлов m (рис. 4.4) приведена на Рис. 4.5.



Рис. 4.4. Изменение прибыли при увеличении количества обслуживающих узлов

Рис. 4.5. Прибыль арендодателя на каждый узел с увеличением m

Очевидно, что такой порядок дел не устраивает арендодателя, когда при сдаче очередного узла, доход на каждый отдельный узел уменьшается.

Поэтому арендатор вынужден удерживать уровень выплат на отметке 520 ден. ед. за каждый новый узел, вводимый в эксплуатацию.

С учетом внесенных замечаний сделаем перерасчет прибыли M при Mconst=520 для m=1:12, тогда:



4.4 Испытание общего алгоритма функционирования предметной области

На основании полученных результатов (10) построим график зависимости прибыли арендатора от количества узлов и с учетом поддержки выплат на уровне 520 ден. ед. (Рис. 4.6).

Рис. 4.6. График зависимости прибыли арендатора от количества узлов и с учетом поддержки выплат науровне 520 ден. ед.

Таким образом, при увеличении количества узлов увеличивается прибыль, которая достигается за счет уменьшения отказов и повышения пропускной способности.

Еще одним преимуществом является снижение времени выполнения задачи, например при m=4; t=1,46 дня, а при m=6; t=0,967 дня.

Негативной стороной увеличения количества узлов является потеря арендодателем прибыли при сдаче очередного узла в аренду, при m=1 он получает 520 ден. ед. за узел, а при m=7 получает 431,75 ден. ед. с каждого узла.

С учетом поддержания выплат на уровне 520 ден. ед. был сделан перерасчет, поэтому наиболее выгодным соотношением «цена / производительность» является m=5 узлов, при этом прибыль арендатора составит 1362,35 ден. ед.



Выводы

Современный этап развития в области высокопроизводительных суперкомпьютерных систем и вычислений в настоящее время представлен не только классическими специализированными электронно-вычислительными машинами, значительно превосходящими по своим техническим характеристикам большинство существующих в мире компьютеров. Но и довольно специфичной технологией высокопроизводительных вычислений, основанной на базе независимых персональных компьютеров объединённых с помощью сети в один кластер.

Существует множество определений Грид-систем, однако все они смогут быть сведены в три контрольные точки, которым должны удовлетворять Грид-системы.

Грид-система это такая система, которая

1) координирует использование ресурсов, которые не являются объектом централизованного управления;

2) использует стандартные, открытые и универсальные протоколы и интерфейсы на основе XML Web Services (Веб-сервисы), Web Services Resource Framework (WSRF) и Open Grid Services Architecture (OGSA);

3) используется для предоставления нетривиального качества сервисов в сервис - ориентированной среде (SOA с Service Oriented Architecture).

Технология GRID - это набор независимых, разнородных компьютеров, объединенных с помощью сети в одну вычислительную систему, предназначенную для решения трудоемких вычислений и обработки данных. С одновременным привлечением к работе огромного числа вычислительных ресурсов в виде персональных компьютеров, работающих одновременно над разными частями задачи.

Система GRID характеризуется различными производительностями вычислительных узлов, а полученные задания могут существенно различаться по объему операций. Эффективное выполнение различных программ на неоднородных распределенных системах в большой степени зависит от правильного размещения задач по процессорам, учитывающим как специфику вычислительной системы (количество процессоров, их производительность, латентность и пропускная способность коммуникационных каналов), так и конкретного программного приложения (объем кода, длительность исполнения программ).

Концепция Enterprise Grid успешно решает проблемы крупных компаний и научно-исследовательских центров, связанные с нехваткой вычислительных ресурсов при решении требовательных к вычислительным ресурсам задач. Благодаря возрастанию мощностей современных компьютеров и развитию глобальной сети Интернет, концепция Enterprise Grid позволяет создавать надежные и распределенные на значительной территории высокопроизводительные кластеры. Enterprise Grid-системы имеют большой потенциал, но на данный момент не получили достаточного развития, т.к. при работе возникают проблемы, например, связанные с обеспечением безопасности передачи данных. Из этого следует, что данное направление исследований считается очень перспективным и заслуживающим особого внимания.

Приведенная в работе модель ГРИД-системы имеет довольно большое количество допущений, поэтому использовать такой подход можно на ограниченных наборах GRID-компонентов или отдельных вычислительных кластерах, входящих в состав системы.

В рассмотренном примере для наглядности расчета финансовых показателей были взяты достаточно простые входные данные для построения модели СМО, на самом деле поток заявок в ГРИД носит сложный характер, причем в разных частях системы он может быть неоднороден.

Количество узлов для обработки задач также может динамически изменяться как во времени, так и в пространстве (мы же рассматривали бесперебойное функционирование узлов на протяжении 30 дней).

Еще одним немаловажным фактом является то, что нами не была учтена последовательность прохождения заявок в системе (авторизация, отправка задачи в среду исполнения, перемещение данных, необходимых для обработки, возвращение результата и т.д.).

Для устранения рассмотренных недостатков нами было выделено два основных направления дальнейшего исследования:

Разработка модели ГРИД на основе сетей Петри с очередями (Queueing Petri Nets - QPN), учитывающей качественные и количественные показатели оценки функционирования сетей такого рода.

Использование данного подхода позволяет существенно упростить модель ГРИД-системы за счет уменьшения количества используемых вершин и переходов при формализации модели ГРИД в терминах сетей Петри, а также провести количественный анализ (производительность, отказоустойчивость, время простоя и т.д.) отдельных компонентов.

Анализ потоков задач в ГРИД-системе, как на входе в систему, так и на уровне отдельных компонентов. Анализ публикаций по исследованию сетевого трафика в глобальной сети Интернет показал, что применение моделей на основе пуассоновского распределения не подходит для описания сетевых потоков.



Список источников информации

1. Алпатов А.Л. Развитие распределенных технологий и систем // Перспективы Науки и Образования, 2015. - №2 (14)

2. Бурцев С.А., Самойлов М.Ю., Симаков М.В. Анализ экологических аспектов применения перспективных схем силовых установок ближне- и среднемагистральных самолетов // Безопасность в техносфере. М.: НИЦ ИНФРА-М. 2015. Т. 4. №2. С. 67-72. DOI: 10.12737/11335

3. Григоренко Д.В., Ручкин В.Н. Повышение восстанавливаемости кластерных нейропроцессорных систем обработки данных. // Цифровая обработка сигналов, No3-2012 - c. 67-72.

4. Гуревич В.И. Интеллектуальные сети: новые перспективы или новые проблемы? Ч. 2. // Электротехнический рынок. 2011. №1-2 (37-38). C. 90-97.

5. Демичев А., Ильин В., Крюков А. Введение в грид-технологии. - М. - 2007. - 87 с. (Препринт / НИИЯФ МГУ).

6. Дорошенко А.Е., Розенблат А.П., Рухлис К.А., Тырчак Ю.М. Модели и средства программирования Грид-систем, Институт программных систем НАН Украины, Киев, 2005. http://usachov1987.narod.ru/Doroshenko_1.doc

7. Кирьянов А.К., Рябов Ю.Ф. Введение в технологию Грид: Учебное пособие. - Гатчина: ПИЯФ РАН, 2006. - 39 с.

8. Кобец Б.Б., Волкова И.О. Инновационное развитие электроэнергетики на базе концепции SmartGrid. М.: ИАЦ Энергия. 2010. 208 с.

9. Коваленко В.Н. Комплексное программное обеспечение грида вычислительного типа. - М. - 2007. - 39 с. (Препринт / ИПМ им. М.В. Келдыша

10. Коваленко В.Н., Корягин Д.А. Организация ресурсов ГРИД. - М. - 2004. - 25 с. (Препринт / ИПМ им. М.В. Келдыша РАН. №63).

11. Кулагин В.П. Формирование информационных ресурсов на основе параллельных вычислений // Перспективы науки и образования, 2013. - №6.

12. Куфтов А.Ф., Кузьмина Ю.С. Перспективы применения твердых топлив из биомассы // Наука и образование: научное издание МГТУ им. Н.Э. Баумана. 2011. №8. 6 c. Режим доступа: http://technomag.bmstu.ru/doc/216747.html

13. Мухин В.Е. Средства защиты GRID-систем на основе дифференцирования уровня доверия к узлам системы // Искусственный интеллект, Донецк. - 2003. - №3. - С. 187-196.

14. Полежаев П.Н. Экспериментальное исследование алгоритмов планирования задач для вычислительной грид - системы [Электронный ресурс] // Системы управления и информационные технологии, No3.2 (45), 2011. - с. 266-270.

15. Радченко Г.И. Распределенные вычислительные системы. Челябинск: Фотохудожник. 2012. C. 9.

16. Распределенные системы. Принципы и парадигмы Э. Таненбаум, М. Bан Стеен. СПб.: Питер, 2003.

17. Ручкин В.Н., Фулин В.А., Романчук В.А. Когнитология и искусственный интеллект[Текст]. // Изд. «Узорочье», Рязань, 2012 г.

18. Семёнов В. Технология Smartgrid и будущее мировой электроэнергетики // Электрик. Международный электротехнический журнал. 2013. №12. С. 16-20.

19. Суперкомпьютерные технологии в науке, образовании и промышленности / Под редакцией: академика В.А. Садовничего, академика Г.И. Савина. - М.: Изд-во МГУ, 2009.

20. Топорков В.В. Модели распределенных вычислений. - М.: ФИЗМАТЛИТ, 2004. - 320 с.

21. Филиппенко П.Н., Шашелов А.А., Сеитова С.В. Построение систем, обрабатывающих большие вычисления: проблемы и тенденции

22. Фостер Я., Кессельман К., Тьюке С. Анатомия Грид. Создание масштабируемых Виртуальных Организаций // Технологии грид. Т. 2. М.: ИПМ им. М.В. Келдыша, 2006.

23. Цветков В.Я., Алпатов А.Н. Проблемы распределенных систем // Перспективы Науки и Образования, 2014. - №6 (12)

24. Aneka technical overview. URL: http://www.manjrasoft.com /AnekaFlyer.pdf

25. CLAVIRE - облачные решения. URL: http://clavire.ru/content/22

26. David Anderson, Jeff Cobb, Eric Korpela, Matt Lebofsky, Dan Werthimer, eds, 2002 «SETI@home: An

27. Digipede Network Overview. URL: http://www.digipede.net/products/digipede-network.html

28. Enterprise Manager Cloud Control.00

29. Experiment in Public-Resource Computing, Communications of the ACM,» Vol. 45 No. 11, ACM Press, USA, November 2002.

30. Foster I., Kesselman C. The History of the Grid. IOS Press, Amsterdam, 2013. P. 37.

31. Foster I., Kesselman C., Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations // Intern. J. of High Performance Computing Applications. - 2001. - V. 15, №3. - P. 200-222.

32. NVIDIA GRID. URL: http://www.nvidia.ru/object/nvidia-grid-ru.html

33. SAS Grid Manager.

34. Techila. Documents and guides. URL: http://www.techilatechnologies.com/technology-docs

35. URL: http://www.oracle.com/ru/products/ enterprise-manager/index.html

36. URL: https://www.sas.com/content/dam/SAS/ en_us/doc/factsheet/sas-grid-manager-102295.pdf

37. Virtual Vertex Muster. URL: http://www.vvertex.com/muster-details.php

Размещено на Allbest.ru