Архитектура и технология Grid

На рисунке схематично представлен простой сервисно-ориентированный  grid, в котором сервисы используется и для виртуализации ресурсов, и для обеспечения других функциональных возможностей grid.

Рис.  4 Схема сервисно-ориентированного grid-a

На схеме Рис.  4 показана единая консоль и для запуска заданий в grid-среду, и для управления grid-ресурсами. Программное обеспечение интерфейса пользователя (консоли) обращается к сервису регистрации, чтобы получить информацию о существующих grid-ресурсах. Затем пользователь посредством консоли входит в контакт с сервисами, «представляющими» (виртуализующими) каждый ресурс, чтобы запросить периодическое получение данных о работе ресурсов и получение извещений о существенных изменениях в их состоянии (например, если ресурс становится недоступным или сильно загруженным).

Пользователь направляет запрос на запуск задания в службу запуска, которая передает запрос службе распределения заданий (часто называемой планировщиком). Служба распределения  контактирует со службой, представляющей приложение, и запрашивает информацию о требованиях к ресурсам для  выполнения задания. Затем служба распределения  запрашивает у службы регистрации  информацию обо всех подходящих ресурсах в гриде и напрямую контактирует с ними, чтобы убедиться в их доступности. Если подходящие ресурсы доступны, планировщик выбирает наилучшую доступную совокупность ресурсов и передает информацию об их сервису приложения с запросом на начало выполнения. В противном случае планировщик ставит задание в очередь и выполняет его, когда необходимые ресурсы становятся доступными. Когда выполнение задания заканчивается, сервис приложения сообщает о результате планировщику, который извещает об этом сервис запуска заданий. Сервис запуска заданий, в свою очередь, уведомляет пользователя.

Конвергенция SOA и вычислительных grid-систем воплощена Глобальным grid-форумом (Global Grid Forum, GGF) в Открытой архитектуре grid-сервисов (Open Grid services Architecture, OGSA). Основной документ, фиксирующий архитектуру OGSA, описывает общие принципы построения сервисно-ориентированного grid-a в терминах необходимых функциональных возможностей, например, выполнение заданий, управление ресурсами и данными, обеспечение безопасности. Основной целью этого и других документов, посвященных OGSA, является стандартизация интерфейсов и поведения основного (базового) набора grid-сервисов, чтобы они могли взаимодействовать как друг с другом, так и с grid-приложениями независимо от конкретных реализаций таких grid-сервисов. OGSA, в частности:

• определяет стандартные механизмы для создания, именования и обнаружения постоянных и временных экземпляров сервисов;
• обеспечивает прозрачность местонахождения и взаимодействия по различным протоколам для экземпляров сервисов;
• описывает общую модель ресурсов, которая представляет собой абстрактное представление как физических ресурсов (таких как процессоры, процессы, диски и файловые системы), так и логических (экземпляров сервисов).

При разработке OGSA учитывался ряд требований, полученных в результате анализа различных сценариев  использования grid-систем, в том числе:

• интероперабельность (виртуализация ресурсов, общие способы управления и обнаружение ресурсов, стандартизация протоколов);
• разделяемый доступ к ресурсам;
• оптимизация выделения ресурсов;
• возможность запуска заданий на удаленных вычислителях;
• возможность манипуляции данными;
• снижение стоимости администрирования больших гетерогенных систем;
• безопасность (аутентификация и авторизация, возможность интеграции с различными системами безопасности, делегирование прав)
• надежность;
• гарантии качества обслуживания;
• простота использования и расширяемость (возможность расширения спектра применения);
• масштабируемость (отсутствие узких мест, препятствующих наращиванию объема ресурсов).

Grid-сервисы в OGSA.

OGSA определяет grid-сервис как веб-сервис, который предоставляет набор корректно определенных интерфейсов, определенных на языке WSDL, и следует специфическим конвенциям для их создания и композиции сложных распределенных систем. Интерфейсы определяют способы обнаружения, динамического создания службы, управления жизненным циклом, уведомления, управляемости.

Конвенции определяют способ именования и возможность модернизации grid-служб. OGSA также определяет механизмы обновления «знаний» клиента о службе, в том числе, о поддерживаемых ею операциях и сетевых протоколах, которые клиент может использовать для связи с этой службой. В отличие от традиционных веб-сервисов, которые позволяют обнаруживать и инициировать только постоянные (persistent) службы, OGSA также предусматривает поддержку временных (transient) экземпляров сервисов, инициируемых и завершаемых динамически (например, временный экземпляр службы может быть создан для обращения к хранилищу данных, для резервирования сетевых или процессорных ресурсов).

Таким образом, grid-сервис — это (возможно временная) служба на базе grid-протоколов, описанная посредством WSDL. Каждый интерфейс grid-службы определяет набор операций, которые инициируются путем передачи соответствующей последовательности сообщений. OGSA описывает, как создается grid-служба, как называется, как определено ее время жизни и т.д. OGSA предписывает базовое поведение, но не определяет конфигурацию службы и ее развертывание в grid-инфраструктуре. Другими словами, OGSA не касается вопросов реализации, парадигмы программирования, конкретных языков, механизмов и инструментальных средств реализации или операционной среды. Это позволяет модели grid-служб абстрагироваться от особенностей программного и аппаратного обеспечения, предлагая лишь набор стандартных интерфейсов высокого уровня.

В частности, согласно OGSA, любой  grid-сервис должен реализовывать тип GridService, служащий основным определением интерфейсов в OGSA. Он аналогичен базовому классу Object в объектно-ориентированных языках в том, что он инкапсулирует базовое поведение компонентной модели. В качестве базовых средств коммуникации GridService предусматривает передачу сообщений, ориентированных на документы, а также механизм RPC (remote procedure call — «удаленный вызов процедур»). При передаче сообщений входными и выходными объектами являются XML-документы, в то время как RPC использует более строго определенные API, но зато обеспечивает более высокую производительность.

Базовые подсистемы.

Grid-система включает в себя следующие основные структурные компоненты:

• совокупность компьютеров с установленными на них интерфейсами  пользователя;
• совокупность Ресурсных центров, включающих в себя
• вычислительные ресурсы;
• ресурсы хранения данных;
• набор базовых grid-сервисов.

Интерфейс пользователя (User Interface, UI) предназначен для обеспечения  доступа пользователя к ресурсам grid-a (в общем случае произвольных распределенных систем иногда также употребляется термин "консоль управления"). Через UI пользователь

• осуществляет запуск заданий на выполнение;
• пересылает данные с одного ресурса хранения данных на другой;
• контролирует процесс выполнения задания;
• получает результат выполнения задания.

Ресурсный центр может  включать два типа ресурсов (или  один из них):

• Вычислительный ресурс, на котором выполняется обработка данных; служба, представляющая вычислительный ресурс в grid, называется Вычислительный элемент (Computing Element, CE).
• Ресурс хранения данных (Storage Element, SE), который обеспечивает хранение и транспортировку данных между аналогичными ресурсами и/или данным ресурсом и пользователем.

Базовые grid-службы обеспечивают работу всей grid-системы в целом; они подразделяются на следующие подсистемы:

• подсистема управления загрузкой (Workload Management System, WMS),
• центральной является служба распределения заданий - брокер ресурсов (Resource Broker, RB);
• подсистема управления данными (Data Management System, DM)
• к базовым службам этой подсистемы относятся службы каталогов:
• служба файлового каталога,
• служба каталога метаданных;
• подсистема информационного обслуживания и мониторинга grid-системы (Information System, IS)
• служба регистрации и учета ресурсов grid-a,
• подсистема безопасности и контроля прав доступа (Grid Security Infrastructure, GSI)
• служба выдачи и поддержки сертификатов (Certificate Authority, CA),
• служба регистрации виртуальных организаций и пользователей,
• служба управления виртуальными организациями и выдачи проксисертификатов (Virtual Organization Membership Service, VOMS),
• служба продления действия прокси-сертификата (MyProxy Service, MP);
• подсистема протоколирования (Logging and Bookkeeping, LB)
• служба отслеживания статуса выполняемых заданий,
• подсистема учета (Accounting Subsystem, AS)
• служба учета использования grid-ресурсов.

Благодаря ППО множество  географически распределенных компьютерных ресурсов представляется пользователям  единым ресурсом. Его роль в гриде  может быть сравнена с ролью операционной системы в обычном персональном компьютере. Разумеется, для запуска  прикладных задач в grid пользователь должен знать основы работы (команды, утилиты, форматы ввода/вывода) с этим ППО.

Базовые подсистемы grid-инфраструктуры.

Подсистема управления загрузкой. Задачей подсистемы управления загрузкой (WMS) является принятие запросов на запуск заданий, поиск соответствующих ресурсов и контроль их выполнения. Благодаря работе WMS, сложность управления приложениями и ресурсами в гриде скрыта от пользователей. Их взаимодействие с WMS ограничено описанием характеристик и требований запроса через ориентированный на пользователя язык спецификации высокого уровня - Язык описания заданий (Job Description Language, JDL), и к направлению такого запроса через предоставленные интерфейсы.

Подсистема управления данными. Прикладное задание должно быть в  состоянии обратиться к своим данным, независимо от фактического местоположения вычислительного ресурса. Необходимо обеспечить доступ к системам хранения разного типа, существующим в ресурсных центрах – от простых файловых систем до устройств массового хранения данных. Чтобы не иметь дело с особенностями каждого индивидуального устройства хранения данных, каждый включенный в grid-инфраструктуру ресурс хранения должен реализовывать стандартный интерфейс. В настоящее время, наиболее распространенным таким интерфейсом является Менеджер ресурсов хранения данных (Storage Resource Manager, SRM). Хранение данных в виде файлов является типичным в научных исследованиях и является удобным во многих других случаях, когда надо обрабатывать очень большие объемы данных (например, визуальную информацию).

Подсистема информационного  обслуживания и мониторинга grid-системы решает задачу сбора и управления данными о состоянии grid-a, получая информацию от множества распределенных источников – поставщиков. Подсистема предназначена для постоянного контроля функционирования grid-a и обеспечения своевременного реагирования на возникающие проблемы.

Подсистема безопасности и контроля прав доступа. Чтобы grid был эффективной структурой для распределенных вычислений, пользователи, пользовательские процессы и службы grid-a должны работать в безопасной среде. Для этого:

• взаимодействия между компонентами grid-a должны быть взаимно аутентифицированы (аутентификация - процесс подтверждения заявленных свойств объекта, на основании удостоверяющих его документов);
• любое действие должно совершаться только после соответствующей авторизации – сопоставления объекта, совершающего действие, и набора прав, предоставленных этому объекту для работы в grid-среде.

Подсистема протоколирования. Подсистема протоколирования отслеживает  процесс выполнения заданий, осуществляемый под управлением WMS. Она собирает извещения о событиях от различных  компонентов WMS и обрабатывает их, чтобы  представить обобщенное текущее  состояние (статус) задания.

Подсистема учета. Эта подсистема предназначена для учета использования вычислительных ресурсов (таких как процессорное время, использование оперативной памяти и так далее), и, в частности, может использоваться для формирования информации о стоимости использования данного grid-ресурса данным пользователем, если взаимоотношения пользователей и провайдеров ресурсов основаны на экономической модели.

Реализация grid-технологий в проекте EGEE

Главной целью проекта EGEE (Enabling Grids for E-sciencE - Развёртывание grid-систем для развития е-науки) является создание глобальной grid-инфраструктуры. В результате его осуществления, ученые, работающие как в академических институтах, так и в промышленности, получат доступ к значительным географически распределенным ресурсам вычислительной техники вне зависимости от того, где они находятся. По аналогии с аналогичными бизнес-приложениями (е-бизнес - бизнес в сети Интернет) исследования с использованием распределенных систем назвали «е-наукой». Более детально, задачами проекта являются:

• развертывание унифицированной, надежной, масштабируемой grid-системы и соответствующей инфраструктуры,
• наращивание ресурсов вычислительной техники и хранения данных, объединенных этой grid-инфраструктурой;
• совершенствование промежуточного программного обеспечения;
• привлечение новых пользователей как из различных научных, так и из производственных областей;
• обеспечение высокого уровня их обучения и поддержки при использовании grid- инфраструктуры проекта.

Проект финансируется  Европейским Сообществом и странами-участниками. Его первый двухлетний этап закончился в марте 2006 года, после чего начался второй, тоже двухлетний, этап – EGEE-II. Цель EGEE-II – на основе результатов проекта EGEE создать полнофункциональную, постоянно работающую глобальную grid-инфраструктуру «производственного» уровня, взаимодействующую с другими grid во всем мире. В результате появится исключительно высокопроизводительная всемирная инфраструктура, намного превосходящая по своим возможностям локальные кластеры и отдельные центры.

В настоящее время исследователи  из целого ряда научных и производственных областей используют grid-инфраструктуру EGEE для решения своих задач. В их числе биомедицина, физика высоких энергий, физика термоядерного синтеза, астрофизика, науки о Земле, материаловедение, мультимедийные технологии, моделирование процессов на финансовых рынках и другие.