Технологии
Грид-технологии
Появление грид-технологий обусловлено потребностью в надёжном хранении, передаче, обработке и анализе беспрецедентно огромного объёма данных (десятки и даже сотни петабайт), что в те времена не представлялось возможных сделать силами одного и даже нескольких центров. Требовалось разработать технологию, которая бы позволила объединить ресурсы сотен организаций по всему миру в единую среду (платформу) с предоставлением к ней одновременного доступа большому количеству пользователей (несколько тысяч человек), чтобы использовать последнюю как некий универсальный инструмент для решения аналогичных задач в различных областях науки.
На сегодняшний день существует достаточно много программных реализаций концепции Грид. Такое ПО в англоязычной литературе называют термином «middleware», русским эквивалентом которого, например, может выступать «промежуточное программное обеспечение» (ППО). Промежуточным оно называется потому, что занимает условно промежуточное место между операционной системой (ОС), установленной на серверах, и прикладным ПО пользователей. Грид-сервисы на базе того или иного ППО устанавливаются в организациях-участниках грид-инфраструктуры. Совокупность вычислительных ресурсов и хранилищ данных ресурсного центра (РЦ) вместе с набором установленных в данном РЦ грид-сервисов принято называть термином «грид-сайт». Грид-инфраструктура состоит из грид-сайтов, связанных между собой высокоскоростными каналами связи.
Все вычислительные ресурсы и хранилища данных, входящие в состав той или иной грид-инфраструктуры, используются в рамках т.н. виртуальных организаций (ВО). ВО — это объединение пользователей, организаций и ресурсов в новый административный домен в рамках грид-инфраструктуры в соответствии с согласованными между ними правилами. Эти правила регулируют доступ ко всем типам средств, включая компьютеры, программное обеспечение и данные.
Таким образом, грид-технологии позволяют создавать территориально распределённые среды разного масштаба (корпоративные, национальные и глобальные) с колоссальной совокупной вычислительной мощью и огромным суммарным пространством для хранения данных, а также обеспечивать к этой инфраструктуре удалённый доступ тысячам пользователей одновременно.
В качестве вычислительных ресурсов грид-сайтов могут выступать:
- суперкомпьютеры – высокопроизводительные вычислительные комплексы (в английском языке их обозначают термином «high performance computing», HPC) для решения сильносвязанных параллельных задач, т. е. таких задач, части которых обмениваются между собой данными;
- кластеры – вычислительные системы для обработки независимых последовательных задач (high throughput computing, HTC);
- гетерогенные среды, задачи в которых считаются на персональных компьютерах (т. н. добровольные вычисления или DesktopGrid).
В последнее время всё активнее в качестве ещё одного типа вычислительного ресурса грид-инфраструктур используются облака, о чём более подробное изложено ниже.
С аппаратной точки зрения данные на грид-сайтах хранятся на дисковых и/или ленточных хранилищах.
Облачные технологии
Если появление грид-технологий было обусловлено потребностью в проведении масштабных научных исследований, то облачные технологии пришли из коммерческого сектора.
Облачные технологии обеспечивают сетевой доступ к вычислительным, программным и информационным ресурсам (сетям передачи данных, серверам, устройствам хранения, сервисам и приложениям), конфигурируемым в соответствии с оперативными запросами. Они позволяют значительно сократить расходы на ИТ-инфраструктуру, удовлетворять динамически меняющиеся потребности в ресурсах и т. д.
В данной области выделяют несколько основных парадигм:
- инфраструктура как сервис (Infrastructure as a Service, IaaS);
- платформа как сервис (Platform as a Service, PaaS);
- программное обеспечение как сервис (Software as a Service, SaaS).
IaaS основана на использовании технологии виртуализации, позволяющей делить оборудование на части, которые соответствуют текущим потребностям. Как правило, пользователь получает доступ к виртуальной машине (ВМ) с уже установленной ОС и имеет свободу в установке необходимых ему пакетов.
В случае PaaS пользователю, как правило, предоставляется доступ к платформе с набором некого уже предустановленного ПО, которое, однако, выполняет не прикладную функцию, а всё ещё сервисную (например, платформы для разработки, тестирования, развертывания и поддержки веб-приложений).
SaaS — модель развертывания приложения, которая подразумевает предоставление приложения конечному пользователю как услуги по требованию. Доступ к такому приложению осуществляется посредством сети и чаще всего с использованием Интернет-браузера.
Облака vs грид
Облако представляет собой совокупность компьютерных ресурсов, находящихся в распоряжении одного владельца. Эти ресурсы связаны между собой таким образом, что пользователи могут получить доступ к какой-то части этих объединённых ресурсов (примеры поставщиков облачных ресурсов — Elastic Сompute cloud от Amazon, App Engine от Google, Enterprise Data Center от IBM).
Общим между облаками и Гридом является то, что оба подхода:
1) предполагают удалённый доступ к ресурсам,
2) предоставляют это в виде некого сервиса.
Грид подразумевает бОльшую концентрацию на открытости, сотрудничестве и совместном взаимодействии грид-сайтов между собой в течение довольно продолжительного периода времени, в то время как облачные вычисления предназначены больше для краткосрочного использовании ресурсов, предоставляемых заказчику по требованию. Данное отличие обусловлено изначальной разницей в парадигмах этих двух подходов: облака основываются на виртуализации ресурсов, тогда как Грид — на их совместном «трансграничном» использовании.
Применение облачных и грид-технологий
В ресурсных научных центрах сейчас имеет место тенденция совместного использования облачных и грид-технологий по нескольким сценариям:
- облачные ресурсы используются в дополнение к грид-ресурсам (например, во время пиковых нагрузок для обеспечения необходимого качества обслуживания);
- грид-сервисы размещаются на виртуальных машинах в облачной среде;
- грид-сервисы размещаются на виртуальных машинах в облачной среде и дефицит ресурсов удовлетворяется за счёт облака (т. е. комбинация двух предыдущих вариантов).
Помимо обработки и анализа больших объёмов данных, одним из применений технологий распределённых вычислений, к которым относятся облачные и грид-технологии, является моделирование сложных систем и явлений. Например, изучение реакции системы, описываемое большим количеством взаимосвязанных между собой параметров, на изменения одного или нескольких из них. Или наоборот, определение значения какого-то параметра, который бы позволил достичь системе заданного состояния. Как правило, подобные задачи требуют большого количества циклов выполнения (итераций), что в совокупности с большим количеством параметров системы и их сложной взаимосвязью межу собой обуславливает высокую вычислительную ресурсоёмкость.