Аналіз характеристик та напрямків застосування GRID-порталу у Львівському центрі GRID

Дослідження вимог та характеристик Grid-порталу

Grid-портал забезпечує доступ користувачів до ресурсів, що є основними поняттями Grid-систем, та повинен відповідати таким вимогам [5]:

1. Доступність. Доступ до Grid-порталу повинен здійснюватись з будь-якого місця та не залежати від типу обладнання користувача;

2. Доступ до різних служб повинен здійснюватись, використовуючи один той самий інтерфейс користувача;

3. Безпека. Необхідною умовою роботи в Grid є безпека інформації на всіх рівнях взаємодії користувача із системою, зокрема:

- захищена передача даних по Web;

- захищеність параметрів доступу користувача;

- аутентифікація користувача;

- захищеність на рівні віртуальної організації;

4. Інтерфейс користувача має бути достатньо простим та зрозумілим.

По суті будь-який Grid-портал являє собою графічний Web-інтерфейс, основними функціями якого є:

1. Навчання користувачів технології Grid-обчислень;

2. Забезпечення доступу до ресурсів Grid-систем через Інтернет;

3. Ефективний моніторинг біжучого стану Grid-системи.

Тобто Grid-портал дозволяє здійснювати управління завданнями та даними в Grid-системі безпосередньо з браузера.

Доступ користувачів до ресурсів Grid-систем, зокрема до ресурсів Центру Суперкомп'ютерних Обчислень НТУУ «КПІ» здійснюється шляхом авторизації користувача за допомогою цифрових сертифікатів. Для надання сертифікатів в Україні відкрито Сертифікаційний центр відкритих ключів, який обслуговує всю національну Grid-інфраструктуру.

Отримання сертифікату є головним та необхідним кроком для отримання доступу до Grid-системи. Цифровий сертифікат є аналогом паспорту та дозволяє однозначно ідентифікувати користувача. Доступ до Grid-системи може бути здійснений з будь-якої точки (терміналу), в якій наявне відповідне програмне забезпечення (ПЗ).

При доступі до ресурсів Центру Суперкомп'ютерних Обчислень НТУУ «КПІ» користувач має можливість:

· Користуватись віддаленим доступом до кластеру по захищеному каналу для завантаження своїх прикладних програм чи їх вихідних кодів, призначених для запуску на системі кластерного типу;

· Створювати прикладні програми з вихідних кодів за допомогою компіляторів, встановлених в системі;

· Використовувати наявні стандартні прикладні програми та бібліотеки;

· Отримувати перелік прикладних програм, компіляторів та бібліотек, встановлених в системі;

· Виконувати програми на кластері; отримувати та зберігати результати їх роботи в межах виділеного дискового простору.

Сьогодні для користувачів надаються такі програмні засоби, дуже поширені серед наукової спільноти:

- MPI - OpenMPI (бібліотека для паралельного програмування)

- Компілятори GCC (C/C++, Fortran-77, Fortran-95, інш.)

- Паралельні пакети лінійної алгебри:

Інші пакети:

FFTW - C програма дискретного перетворення Фур'є http://www.fftw.org

Розробка та дослідження заходів по створенню системи збереження даних Львівського Grid-центру

У 2008 р. за кошти Львівської політехніки в рамках програми інформатизації університету для його потреб, а також, враховуючи результати науково-технічної роботи з розробки структури Львівського ресурсно-операційного Grid-центру, була придбана система збереження даних для забезпечення інформаційних, файлових, обчислювальних та інших ресурсів Університету, що являє собою апаратно-програмний комплекс у складі системи збереження даних IBM System Storage DS3400 з підтримкою технології Fibre Channel, серверної системи для забезпечення спільного користування централізованими та розподіленими комп'ютерними та інформаційними ресурсами на базі блейд-шасі ІBM eServer BladeCenter H Chassis та системи резервного копіювання даних на основі бібліотеки на магнітних стрічках IBM System Storage TS3100 Tape Library.

Це програмно-апаратне рішення вибране таким чином, щоб воно могло в перспективі інтегруватися з програмно-апаратною платформою Grid-центру, для якого була запланована система IBM BladeCenter QS21, що складається з 14 обчислювальних блейд-серверів на базі процесорів Cell та одного координуючого вузла.

Система збереження даних для забезпечення інформаційних, файлових, обчислювальних та інших ресурсів Університету укомплектована 4 блейд-серверами типу HS21XM:

Таблиця 9. Конфігурація блейд-сервера типу HS21XM

Таблиця 10. Конфігурація блейд-сервера типу QS21

Ці 5 блейд-серверів, кількість яких в перспективі збільшиться до 14 штук, призначаються як для використання в складі системи збереження даних проектованого Grid-центру в Львівській політехніці, так і для потреб Університету для створення центру збереження даних рівня університету. Центр збереження даних забезпечить консолідовану ІТ-інфраструктуру, що, в свою чергу, дозволить здійснити:

- покращення якості ІТ-сервісів, потрібних для навчання та науки через реорганізацію надання інформаційних, обчислювальних, файлових та інших послуг і сервісів на рівні Університету з використанням методики відсутності єдиної точки відмови на основі використання традиційних відмовостійких схем, що передбачають кластеризацію і резервування пристроїв;

- використання концепції серверних обчислень, яка об'єднує управління ресурсами, зменшує витрати і покращує доступ до прикладних задач;

- віртуалізацію ресурсів та сервісів, що дозволить забезпечити загальний доступ до інформації, агрегацію, розширення та прозору зміну ресурсів з доступом через веб консоль. Забезпечення віртуалізації сервісів дає наступні можливості: консолідацію серверних ресурсів, динамічне забезпечення даними, зокрема реконфігуровані кластери, віртуальний хостинг, надійність, доступність, зручність експлуатації та обслуговування, управління робочими навантаженнями на сервери, тощо;

- обчислювальні потужності Університету на основі використання багатопроцесорних систем - блейд-серверів, багатомашинних систем - кластерів, а також створення GRID-центру для потреб Університету, зовнішніх споживачів.

Запуск даної системи фактично передбачав створення університетської SAN-мережі і визначальним фактором при цьому був вибір платформ, на яких вона буде збудована. Як відомо, система збереження даних DS3400 може підтримувати досить велику кількість серверів, але для цього є необхідне використання SAN-комутатора. На рис. 17 наведений приклад використання системи DS3400 з двома контролерами при підключенні до 4 серверів. Як видно з рис. 17, кожен сервер має 2 Fibre Channels HBA-адаптери для забезпечення функцій надлишковості для забезпечення обміну інформацією.

Було прийняте рішення не закуповувати окремий SAN-комутатор, оскільки існувала можливість використати Nortel Networks SAN-комутатор в складі блейд-шасі ІBM eServer BladeCenter H, який обслуговуватиме доступ до системи збереження даних DS3400. Це дозволило не лише оптимізувати витрати (вартість блейд-шасі в складі з усіма необхідними модулями та комутаторами згідно таблиці 3 є порівнювана з вартістю одного окремого SAN-комутатора), але і добитись рішення, в якому і блейд-сервери, і елементи SAN-мережі є повністю сумісні між собою.

Рис. 17. Приклад використання системи збереження даних ІВМ DS3400 при підключенні до 4 серверів.

Таблиця 11. Конфігурація блейд-шасі ІBM eServer BladeCenter H

Остаточна схема розгортання комплексу в складі системи збереження даних, блейд-серверів, які забезпечують доступ до неї та SAN-мережі.

архітектура протокол грід інтернет

Рис. 18. Схема розгортання комплексу в складі системи збереження даних, блейд-серверів, які забезпечують доступ до неї та SAN-мережі без використання окремого SAN-комутатора

Після запуску цього комплексу разом із системою резервного копіювання даних на основі бібліотеки на магнітних стрічках IBM System Storage TS3100 Tape Library планується перенесення сюди загальноуніверситетських сервісів, в тому числі і обчислювальних, які на даний момент виконуються на серверах типу HP, ІВМ, Intel та SuperMicro.

Рис. 19. Схема зображенням з'єднань між блейд-серверами та системою збереження даних

Литература

1. I. Foster, C. Kesselman. The Grid: Blueprint for a New Computing Infrastructure. - Morgan Kaufmann Publishers, 1998.

2. I. Foster, C. Kesselman, S. Tuecke. The Anatomy of the Grid: Enabling Scalable Virtual Organizations. - International J. Supercomputer Applications, 15(3), 2001, http://www.globus.org/research/papers/anatomy.pdf

3. I. Foster, C. Kesselman, S. Tuecke, J.M. Nick. The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration. - Morgan Kaufmann Publishers, 2002.

4. I. Foster, H. Kishimoto, A. Savva, D. Berry et al. The Open Grid Services Architecture. - Global Grid Forum, 2005

5. А.К. Кирьянов, Ю.Ф. Рябов Введение в технологию Грид // Петербургский институт ядерной физики им. Б.П. Константинова РАН. - 2006. - 39 с.

6. Петренко А.І. Національна Grid - інфраструктура для забезпечення наукових досліджень і освіти // Системні дослідження і інформаційні технології. - Київ. - №1 - 2008. - C.79-92.

7. M. Z. Zgurovsky. Development of Educational and Research Segment of Information Society in Ukraine. - //Proc. WSIS.-Tunis.- 2004.-P.103-107.

8. M. Z. Zgurovsky. Development of Educational and Research Segment of Information Society in Ukraine. - //Системні дослідження та інформаційні технології. - Київ. - 2006. - №1. - С.7-17.

9. Petrenko A.I. Development of Grid -infrastructure\for Educational and Research segment of Information Society in Ukraine with focus on Ecological monitoring and Telemedicine. - // Data Science Journal.- Volume 6.- Supplement, 14 April 2007. - P.583-590.

Размещено на Allbest.ru