Системная интеграция КИТ

Метакомпьютерные среды, как правило, создаются в следующей последовательности.

Сначала обеспечивается дистанционный доступ к крупным корпоративным вычислительным центрам (настольный суперкомпьютер). Затем создается единая вычислительная среда в тех же центрах с помощью локальных сетей (сетевой суперкомпьютер). И уже по мере развития аппаратной инфраструктуры осуществляется агрегация вычислительных центров в региональном и далее в национальном масштабе (интеллектуальные инструменты и сетевой суперкомпьютер).

Оценивая задачи разработки ПО метакомпьютинга, можно увидеть, что предстоит переход от операционных сред, рассчитанных на обслуживание автономных установок и нескольких пользователей, к интегрированной программно-аппаратной инфраструктуре коллективного пользования. Ясно, что метафора метакомпьютинга затрагивает все базовые подсистемы современных ОС: управление памятью, процессами и файлами, ввод / вывод, безопасность. На современном уровне оказываются затронутыми и общераспространенная модель программирования, и традиционные интерфейсы.

Масштабируемое ПО метакомпьютера должно сделать доступным все ресурсы сети и при этом полностью скрыть наличие сетевых коммуникаций, включая и присущие им недостатки: нестабильность, высокую вероятность аварий, ограничения по производительности.

Особого внимания заслуживает проблема информационной безопасности в метакомпьютерной среде, где каждый пользователь может претендовать на «чужие» ресурсы. В такой ситуации нужен принципиально иной подход, сохраняющий за каждым административным доменом право проводить собственную политику безопасности и гарантирующий необходимую надежность.

Реальное положение дел приводит к необходимости реализации соответствующих механизмов управления метакомпьютером, которые должны отслеживать вычислительные сложности каждого процесса и возможности сетевого канала между узлами. Поэтому стремятся упростить процедуру управления. Для этого в области высокопроизводительных приложений применяется «промежуточное» решение - кластерные системы пакетной обработки заданий для управления вычислительным процессом в многоузловых системах, объединяющих локальной сетью многопроцессорные установки и рабочие станции.

Пользователи могут запускать задания не на конкретную машину, а на кластер в целом. Задания оформляются обычным образом с добавлением паспорта требуемых ресурсов: времени счета, объема памяти и дискового пространства, количества процессоров и т.д. Система пакетной обработки ведет очереди заданий и выполняет их распределение по наличным ресурсам, оптимально балансируя нагрузку на узлы.

Помогая пользователям, кластерные системы сильно облегчают администраторам управление ресурсами вычислительной техники, упорядочивая их взаимоотношения с пользователями. Например, простаивающие по ночам персональные машины могут загружаться долговременными расчетами в пакетном режиме.

Примерно такая же идеология управления ресурсами, но уже на уровне глобальных сетей типа Internet поддерживается программной метакомпьютерной средой Globus [16], развиваемой в рамках проекта РАС! Здесь пул ресурсов формируется из крупных сайтов, разбросанных по всему миру. Информация об их состоянии динамически собирается на выделенном сервере, к которому могут обращаться все сертифицированные пользователи. Уже сегодня Globus (http://www.globus.org/) представляет собой развитую среду, в которую входят средства управления сетевой передачей, дистанционного доступа к файлам, обеспечения безопасности и т.д.

В рамках проекта Globus разработан ряд программных средств:

- GlobusResourceAllocationManager - единообразный интерфейс к различным «локальным» системам распределения нагрузки (LSF, NQE, LoadLeveler); для описания требований приложения к ресурсам разработан специальный язык RSL (ResourceSpecificationLanguage);

- GlobusSecurityInfrastructure - система аутентификации на базе открытого ключа и Х.09-сертификатов;

- MetacomputingDirectoryService (MDS) - репозиторий информации о вычислительных ресурсах, входящих в метакомпьютер;

- Nexus - коммуникационная библиотека;

- HeartbeatMonitor (НВМ) - средство мониторинга, позволяющее определить сбой некоторых машин и процессов, входящих в метакомпьютер;

- GlobusAccesstoSecondaryStorage (GASS) - средство доступа к удаленным данным через URL.

Оценивая общее состояние проблемы создания метакомпьютер-ного ПО, можно предложить вариант двухуровневой архитектуры: первый уровень (локальный) включает систему управления пакетной обработкой, распределенную файловую систему и систему эмуляции распределенной общей памяти и второй (глобальный), на роль которого претендует проект Globus, интегрирующий функции управления ресурсами, запуска заданий, глобальной файловой системы и безопасности.

Таким образом, доминирующими направлениями в создании вычислительных структур высокой производительности стали [17]:

- многопроцессорные комплексы с массовым параллелизмом, объединенные высокоскоростной внутренней сетью (в том числе, высокопроизводительные вычислительные кластеры и суперкомпьютеры);

- сетевая структура общего пользования, которую представляют Internet и сети нового поколения.

Механизмы и инструментальные средства их реализации в задачах, постановка которых связана с распределенной обработкой больших объемов данных и манипулированием ими, должны эффективно отображаться на возможности, предоставляемые для этого Internet. Подходом, обеспечивающим такое отображение и является метакомпьютинг.

3. Технология управления ресурсами распределенных систем - GRID

Технология управления ресурсами распределенных систем получила название Grid (по аналогии с сетью электропитания - powergrid), когда каждый пользователь может легко подключиться (как через розетку) и взять столько ресурсов сети (как электричества), сколько ему требуется. Пользователь просто потребляет определенное количество виртуальной процессорной мощности, имеющейся в сети.

Согласно [18] «Grid - это согласованная, открытая и стандартизованная среда, обеспечивающая гибкое, безопасное, скоординированное разделение ресурсов в рамках виртуальной организации - динамически формирующейся совокупности независимых пользователей, учреждений и ресурсов».

Технология Grid обеспечивает возможности виртуализации вычислительных узлов, которая делает вычислительную сеть «одним большим компьютером».

Grid-системы гармонично дополняют ряд вычислительных архитектур, используемых в настоящее время: серверы с симметричной многопроцессорной архитектурой (общая память, сильные связи между процессорами, центральный коммутатор с низкой латентностью); вычислительные кластеры, состоящие из нескольких узлов (чаще всего многопроцессорных), связанных внешним коммутатором; наконец, системы, которые ориентированы на решение пакетных заданий, когда каждая отдельная задача выполняется целиком на одном узле, а система управления вычислительной сетью занимается диспетчеризацией отдельных заданий, а не взаимосвязью между отдельными блоками одной задачи.

В SunMicrosystems [19] рассматривают технологию Grid как конкретное дополнение к существующему ряду продуктов, который включает в себя мощные SMP-серверы с масштабируемой операционной системой Solaris, средства для построения вычислительных кластеров НРС ClusterTools и пакет управления вычислительными ресурсами SolarisResourceManager. При этом SunMicrosystems различает три основных категории grid-сетей:

- ClusterGrid - относительно простая вычислительная сеть, предоставляющая ресурсы пользователям одной рабочей группы, одного департамента, одного проекта.

- Campus (Enterprise) Grid - вычислительная сеть корпоративного уровня, охватывающая несколько групп, работающих над различными проектами.

- GlobalGrid - сеть, в которой участвуют несколько независимых организаций, предоставляющих друг другу свои ресурсы.

Международное сообщество занято выработкой интерфейсов для управления распределенными ресурсами (DistributedResourceManagementApplication API). Наличие стандартизованных интерфейсов позволит в будущем строить гетерогенные сети прикладных систем с гибким распределением ресурсов.

Базовым программным обеспечением Grid и международным стандартом де-факто является Globus. Поэтому большая часть новых исследований и разработок в области Grid ориентируется именно на Globus. Проект Globus направлен на разработку технологий, которые могут быть использованы при создании вычислительных сетей, представляющих собой вычислительную среду. Эта среда позволяет программному приложению объединить компьютеры, интеллектуальные инструменты, информационные ресурсы независимо от их географического расположения. Важным моментом является то, что Globus имеет конкретные результаты в виде комплекта разработанных программ, которые были отмечены выше (GRAM, GASS и др.).

Следует отметить также и другие актуальные проекты по распределенным вычислениям [20]:

- Legion (http://www.cs.virginia.edu/~legion) нацелен на разработку объектно-ориентированной программной среды, объединяющей до нескольких тысяч различных компьютеров в сети для решения конкретной проблемы.

- GriPhyN, или GridPhysicsNetwork (http://www.cs.virginia.edu/~legion) ориентирован на создание

вычислительной инфраструктуры для научных исследований, где приходится иметь дело с большим объемом данных.

- ParticlePhysicsDataGrid (http://www.cacr.caltech.edii/ppdg/) нацелен на реализацию высокопроизводительных каналов связи с пропускной способностью порядка 100 Мбайт/с.

- DATAGRID (http://grid.web.cern.ch/grid/proposal/ august/DataGridAnnexIVI.8.doc) для разработки программных компонентов для архитектур GRID, ориентированных на данные, с целью создания в Европе компьютерной инфраструктуры XXI столетия и др.

Корпорация IBM объявила о разработке серии grid-проектов в рамках своей программы grid-вычислений [21] для научно-исследовательских и коммерческих приложений.

Заключение

компьютерный программируемый управление архитектурный

В ближайшее время следует ожидать продолжения научного прорыва в области программного обеспечения. Этому способствует, с одной стороны, интенсивное возрастание вычислительных возможностей PC, и, с другой стороны, стремительное развитие программных технологий.

Список литературы

1. Берд Киви. SUPERKомпьютеры завтра и сегодня. По направлению к петафлопсам. - http://www.computeiTa.rn/otiline/2002/429/15655/

2. Список 500 самых мощных компьютеров мира. 21-я редакция. http://parallel.ra/computers/top500.list.html

3. Рейтинг суперкомпьютеров. - http:// 4vww.osp.rn/cw/2003/37/000 14.htm

4. Корнеев В. Будущее высокопроизводительных вычислительных

систем // Открытые системы. - 2011. ~ №5. - С. 10-17.

5. Палагин А.В., Кургаев А.Ф. Проблемная ориентация в развитии компьютерных архитектур // Кибернетика и системный анализ. -2003. - №4.-С. 167 - 180.

6. Левин. И.И. Модульно-наращиваемая многопроцессорная вычисли-

тельная система со структурно-процедурной организацией вычислений на основе ПЛИС-технологии // Искусств, интеллект. - 2010. - №4.-С. 446-453.

7. Опанасенко В.Н., Сахарин В.Г. Реконфигурируемые системы на современной элементной базе // Комп'ютерні засоби, мережі та системи: 36. наук, праць. - Київ:Ін-т кібернетики ім. В.М. Глушкова НАН України, 2003. - №2..-С. 25 - 32.

Размещено на Allbest.ru