Архитектура и технология Grid

 

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И  НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное государственное бюджетное образовательное  учреждение

высшего профессионального образования

НАЦИОНАЛЬНЫЙ  ИССЛЕДОВАТЕЛЬСКИЙ

ТОМСКИЙ ПОЛИТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

 

 

Институт/ 

Факультет     –  __Институт кибернетики________________

Направление – __Информатика и вычислительная техника ___

      Кафедра        –    Оптимизация систем управления

 

 

Архитектура и технология Grid_______ __

 

Аналитический обзор

 

по курсу «Современные проблемы информатики и   

                             вычислительной техники»

 

 

 

Выполнил студент гр. 8ВМ33                       К.С.Арышева

 

 

Проверил доцент каф. ВТ                              А.Д.Чередов

 

 

 

 

 

 

Томск – 2013

Оглавление

Терминология и понятие grid. 3

История развития grid-технологий 4

Общие задачи технологии grid. 6

Типы grid-систем с точки зрения решаемых задач. 8

Общность и различия с суперкомпьютерами. 9

Структура grid. 11

Аппаратный уровень. 13

Связывающий уровень. 13

Ресурсный уровень. 13

Коллективный уровень. 14

Прикладной уровень. 14

Сервисы распределенных сетей. 15

Сервисно-ориентированная архитектура. 15

Взаимодействие сервисов в SOA-среде. 17

Принцип слабой связи. 17

Веб-сервисы и SOA. 18

Сервисно-ориентированный grid и OpenGrid. 20

Grid-сервисы в OGSA. 23

Базовые подсистемы. 25

Базовые подсистемы grid-инфраструктуры. 27

Реализация grid-технологий в проекте EGEE 29

Физика высоких энергий: проект LCG 30

Приложения в области ядерного синтеза 31

Список литературы 33

Терминология  и понятие grid.

Grid-технологии – естественный и современный продукт развития информационно-вычислительных инфраструктур в виде распределенной модели.

Исторически распределенные системы строились как естественное расширение тех методов, которые  применялись для традиционных архитектур с последовательным выполнением  операций, что привело к использованию  модели распределенных объектов. Такая  модель оказалась неадекватна. Она  плохо масштабировалась - распределенные объекты были слишком сильно связаны  друг с другом, а объектные технологии были слишком сложны.

В результате объектно-ориентированный  подход был заменен на «сервисно-ориентированный». На смену объектам пришли «сервисы», которые взаимодействуют посредством асинхронных «сообщений» - в отличие от прежнего механизма взаимодействия объектов в режиме «запрос-ответ». Таким образом, распределенные системы стали слабо связанными, накладные расходы на взаимодействие снизились, а масштабируемость улучшилась.

Сервис — это логическое и программное описание функциональности некоторого логического или физического ресурса (например, прикладной или системной программы, устройства, людей, вычислительных, информационных, сетевых средств). Ресурсы публикуют сервисы в распределенной среде посредством своих интерфейсов. Таким образом, в сервисно-ориентированной системе все ресурсы выступают как провайдеры сервисов. А сервисно-ориентированная архитектура (СОА) определяет общий план, согласно которому функциональности сервисов и их интерфейсы можно организовывать в системные процессы.

История развития grid-технологий

Интернет, Всемирная паутина (World Wide Web (WWW), веб) и grid – связанные между собой, но различные технологии. Интернет это глобальная система сетей, соединяющая множество компьютеров и локальных (сравнительно небольших) сетей и позволяющая им взаимодействовать друг с другом. Веб это способ доступа к информации находящейся на удаленном, но включенном в Интернет компьютере. Grid – способ совместного использования ресурсов, распределенных по разным, географически удаленным друг от друга, точкам планеты.

Однако сейчас многие веб-сайты  предоставляют динамические веб-страницы: содержание таких страниц может  меняться в зависимости от запросов, которые делают пользователи (например, через веб-формы). Это уже несколько ближе к grid - удаленные компьютеры предоставляют некоторые услуги (например, перевод фрагмента текста с одного языка на другой: это не что иное, как частный случай обработки данных – прямая аналогия с задачами gird). Намного интереснее и ближе к grid-технологиям то,  что зачастую происходит «позади» динамических веб-страниц. Например, вы делаете заказ какого-либо товара на (динамической) странице интернет-магазина. После этого начинается обработка заказа: информация о заказе и клиенте заносятся в базу данных, через банковскую систему проверяется действительность кредитной карты клиента, запрос на товар передается на склад магазина или поставщику, и так далее. Если в компьютерном отношении этот магазин достаточно «продвинутый», эти действия выполняются не людьми, а специальными компонентами программного обеспечения – веб-сервисами, которые взаимодействуют друг с другом по стандартизованным протоколам.

Веб-страницы служат для обмена информацией между людьми, веб-сервисы  – для взаимодействия компьютеров (точнее – прикладных программ на различных  компьютерах) друг с другом. Отсюда – один шаг до создания системы  grid-служб для запуска заданий на удаленных ресурсах, обработки и передачи данных, их мониторинга и сбора результатов. С общей функциональной точки зрения, от веб-сервисов grid отличается только тем, что каждая система веб-сервисов настроена на решение узкого набора конкретных задач, а grid – на решение широкого круга вычислительных задач и задач обработки и передачи данных на удаленных ресурсах. Но программные компоненты grid-среды, которые обеспечивают распределение вычислительных заданий, контроль их выполнения, передачу данных и т.д., могут быть созданы на основе веб-сервисных технологий – правда, с некоторыми расширениями и дополнительными стандартами.

Основной теоретической  предшественницей современных grid-проектов считается инициатива Metacomputing, предложенная в середине 80-х годов исследователями из Национального центра суперкомпьютерных приложений США. Ее главная идея состояла в объединении нескольких суперкомпьютеров для достижения большей производительности. Одной из первых инфраструктур, реализующих эту идею, стала в 1995 году Wide Area Year (I-WAY). Йан Фостер и Карл Кессельман, участвовавшие в разработке проекта, в том же году опубликовали первые материалы, а в 1997 году провели первый семинар на эту тему (Построение вычислительного grid-a - Building a Computational Grid). Это и было рождением концепции grid. Позднее они стали редакторами книг, заложивших основы построения grid-систем. Необходимо отметить, однако, что Metacomputing была не единственной инициативой такого рода. Среди схожих по концепции проектов конца 80-х – начала 90-х можно отметить:

• Condor (университета штата Висконсин, США);
• CODINE (Computing for Distributed Network Environments, немецкая компания Genias Software - позднее переименована в Gridware, в 1992 году куплена корпорацией Sun Microsystems);
• Legion (университет штата Вирджиния, позднее рабочая группа проекта выделилась в компанию Avaki).

В 1998-2002 годах были разработаны  общие основы создания сетевых структур для использования географически  разнесенных и находящихся в  разном подчинении вычислительных мощностей. Эти результаты были суммированы, а  термин «grid» стал общепринятым. Вскоре группа исследователей из Чикагского университета, возглавляемая Йаном Фостером, поддерживаемая IBM и Национальной арагонской лабораторией, разработала Открытую архитектуру grid-сервисов (Open Grid Services Architecture, OGSA), основанную на специализированных grid-сервисах.

Общие задачи технологии grid.

Концепция grid появилась как ответ на потребность в крупных информационно-вычислительных ресурсах, динамически выделяемых для решения громоздких задач в научной, индустриальной, административной и коммерческой областях деятельности.  Создание grid-среды подразумевает распределение вычислительных ресурсов по территориально разделенным сайтам, на которых установлено специализированное программное обеспечение для того, чтобы распределять задания по сайтам и принимать их там, возвращать результаты пользователю, контролировать права пользователей на доступ к тем или иным ресурсам, осуществлять мониторинг ресурсов, и так далее. Общедоступные ресурсы на основе сайта могут включать вычислительные узлы и/или узлы хранения и передачи данных, собственно данные, прикладное программное обеспечение.

Вычислительные ресурсы  предоставляют пользователю grid-системы (точнее говоря, задаче пользователя) процессорные мощности. Вычислительными ресурсами могут быть как кластеры, так и отдельные рабочие станции. При всем разнообразии архитектур любая вычислительная система может рассматриваться как потенциальный вычислительный ресурс grid-системы. Необходимым условием для этого является наличие ППО (промежуточное программное обеспечение), реализующего стандартный внешний интерфейс с ресурсом и позволяющего сделать ресурс доступным для grid-системы. Основной характеристикой вычислительного ресурса является производительность.

Ресурсы хранения также используют ППО, реализующее унифицированный  интерфейс управления и передачи данных. Как и в случае вычислительных ресурсов, физическая архитектура ресурса  памяти не принципиальна для grid-системы, будь то жесткий диск на рабочей станции или система массового хранения данных на сотни терабайт. Основной характеристикой ресурсов хранения данных является их объем. В настоящее время характерный объем ресурсов хранения измеряется в Терабайтах (Тб).

Информационные ресурсы  и каталоги являются особым видом  ресурсов хранения данных. Они служат для хранения и предоставления метаданных и информации о других ресурсах grid-системы. Информационные ресурсы позволяют структурировано хранить огромный объем информации о текущем состоянии grid-системы и эффективно выполнять задачи поиска ресурсов.

Сетевой ресурс является связующим  звеном между распределенными ресурсами  grid-системы. Основной характеристикой сетевого ресурса является скорость передачи данных. Важнейшим является междисциплинарный характер работ по развитию grid-вычислений – уже сегодня эти технологии применяются в самых разных прикладных областях.

Основными общими задачами grid являются:

• создание из серийно выпускаемого оборудования широкомасштабных распределенных вычислительных систем и систем обработки, комплексного анализа и мониторинга данных, источники которых также могут быть (глобально) распределены;
• повышение эффективности вычислительной техники путем предоставления в grid временно простаивающих ресурсов.

Типы grid-систем с точки зрения решаемых задач.

Grid-системы подразделяются на следующие типы:

• вычислительный grid (Computational Grid),
• grid для интенсивной обработки данных(Data Grid),
• семантический grid для оперирования данными из различных баз данных (Semantic Grid).

Целью первого направления  является достижение максимальной скорости вычислений за счет глобального распределения  этих вычислений между тысячами компьютеров, а также, возможно, серверами и  суперкомпьютерами.

 Целью второго направления  является обработка огромных  объемов данных относительно  несложными программами. Поэтому  вычислительные ресурсы grid-инфраструктуры в этом случае зачастую представляют собой кластеры персональных компьютеров. А вот доставка данных для обработки и пересылка результатов в этом случае представляют собой достаточно сложную задачу. Одним из крупнейших проектов, целью которого является создание grid-системы для обработки научных данных, является проект EGEE (Enabling Grids for E-sciencE).

Grid-системы третьего направления - семантические - предоставляют инфраструктуру для выполнения вычислительных задач на основе распределенного мета-информационного окружения, позволяющего оперировать данными из разнотипных баз, различных форматов, представляя результат в формате, определяемом приложением.

Общность и  различия с суперкомпьютерами.

Не все проблемы лучше  всего решать, используя распределенные кластеры на основе grid-технологий. Суперкомпьютеры незаменимы для некоторых научных проблем, типа составления прогноза погоды, когда множество процессоров должны часто общаться друг с другом. Очевидно, что такое частое общение невозможно обеспечит для географически распределенных и, возможно, аппаратно-неоднородных ресурсов в grid-среде. Другими словами, grid не слишком подходит для параллельных вычислений с интенсивным межпроцессорным обменом. Основными препятствиями для осуществления нетривиальных параллельных вычислений в grid-среде является нестабильность, плохая предсказуемость времени отклика на запрос. Причем это связано не только с тем, что в компьютерных сетях информационные пакеты проходят через множество сетевых устройств, но и с различиями в протоколах связи используемых во внешних компьютерных сетях и для межпроцессорного обмена внутри суперкомпьютеров. Это не позволяет эффективно организовать параллельные вычисления с интенсивным обменом информацией между процессорами, выполняющими отдельные подзадачи, в grid-среде.

Grid-технология не является технологией параллельных вычислений, она предназначена для удаленного запуска отдельных задач на территориально распределенные ресурсы. Поэтому если громоздкая задача, которую необходимо решить, может быть разбита на большое количество маленьких, независимых (не обменивающихся никакими данными) частей, - grid-технология оказывается особенно эффективным и относительно дешевым решением. Напротив, суперкомпьютеры оказываются для таких вычислений неоправданно дорогим и неэффективным решением. В англоязычной литературе такие прикладные задачи иногда называют «bag-of-tasks» - сумка/мешок задач: вычисления для каждой выполняются независимо, а в конце пользователь или программное обеспечение просто должны соединить результаты индивидуальных вычислений. Типичными примерами таких задач являются:

• массовая обработка потоков экспериментальных данных большого объема (зачастую изучаемое явление можно разделить на отдельные независимые события и экспериментальные результаты по каждому событию обрабатывать независимо от других);
• визуализация больших наборов данных (отдельные области визуального представления обрабатываются независимо, а потом «склеиваются»);
• сложные бизнес-приложения с большими объемами вычислений (разбиение на части зависит от конкретного характера задачи).