Ведущие производители кластеров и массивно-параллельных систем Compaq, Hewlett-Packard, Sun Microsystems, IBM, Microsoft и Novell

Компании Compaq, Hewlett-Packard, Sun Microsystems, IBM, Microsoft и Novell едины в своем мнении: на смену отдельным независимым суперкомпьютерам должны прийти группы высокопроизводительных серверов, объединяемых в кластер.

Различают два основных вида логической организации работы приложений внутри кластера — для повышения доступности приложения (повышение производительности по сравнению с решением на основе одиночного сервера) и для повышения готовности приложений (предотвращение выхода службы из строя из-за поломки любого компонента системы).

Существует два вида кластера для надежности — симметричный и асимметричный. В симметричном кластере все его серверы работают с различными приложениями и в случае выхода из строя любого из серверов оставшиеся перераспределяют между собой его нагрузку по заранее описанным правилам. В асимметричном кластере существует специальный сервер (standby), который не выполняет работы по обслуживанию клиентов, а только отслеживает состояние основных серверов в кластере и при сбое одного из них начинает выполнять его задачи.

С точки зрения такой классификации понятен и следующий подход. В кластерных решениях, ориентированных на надежность, чаще всего используется не более двух компьютеров, поскольку их одновременный выход из строя маловероятен.

Ниже рассмотрим производителей кластеров и массивно-параллельных систем и их кластерные решения, предназначенные в основном для повышения готовности серверов (приложение 1). Следует отметить, что в приложении 1 включены далеко не все кластерные решения, предлагаемые отобранными компаниями, а только некоторые. Во всех этих решениях для обмена данными с устройствами хранения используются технологии SCSI и Fiber Channel.

Компания Compaq.

Важным преимуществом кластерных решений Compaq является то, что они разработаны в тесном сотрудничестве с ведущими поставщиками кластерного ПО, гарантирует совместимость и надежность. Сompaq поставляет только протестированные и надежно работающие конфигурации. Для большинства популярных ОС сертифицировано по нескольку конфигураций, что предоставляет заказчику возможность выбрать решение, наиболее полно отвечающее его потребностям и бюджету. Для каждой из таких конфигураций дополнительно поставляется кластерный набор, включающий в себя руководство по установке, настройке и администрированию данного конкретного решения. В него также может входить ПО управления, кабели и специализированные драйверы.

Особое место среди продуктов кластеризации Compaq занимает ПО TruCluster, работающее под ОС Compaq Tru64 UNIX. Оно представляет собой семейство продуктов, которое позволяет распространить на кластеры методы управления, обычно применяемые для систем с одним компьютером. Достигается это тем, что в рамках кластера для всех его членов используется единое пространство имен файлов и каталогов и единая корневая файловая система. Точно так же клиенты сети «видят» кластер как одну систему при использовании стека протоколов TCP/IP.

Особо следует подчеркнуть, что это семейство продуктов характеризуется независимостью от архитектур или протоколов, предназначенных для межсоединений элементов кластера или устройств хранения данных, вследствие чего упрощается решение задачи расширения или изменения состава аппаратных средств в кластере.

Компания Hewlett-Packard (НР).

Кластерные решения HP строятся на основе MC/ServiceGuard (MC/SG) — ПО высоконадежных кластерных конфигураций. Специальные системные процессы MC/ServiceGuard осуществляют постоянный контроль состояния всех узлов кластерной системы. Как только один из узлов по какой-либо причине прекращает работу, оставшиеся узлы реформируют кластер, изолируя недоступный узел, и запускают прикладные задачи, которые работали на данном сервере.

Это ПО решает следующие задачи:

• — Защита от сбоев вычислительных систем. MC/SG содержит специальные процессы ClusterManager, которые запускаются на каждом узле в составе кластерной системы. Данные процессы, общаясь между собой по выделенному сетевому соединению с задаваемой временной периодичностью, контролируют как состояние тех узлов, на которых они работают, так и соседних. Как только один из узлов по какой-либо причине перестает отвечать на служебные запросы остальных систем, MC/SG реформирует кластер и автоматически запускает прикладные процессы системы.
• — Защита прикладных процессов от ошибок в работе адаптеров дискового и сетевого оборудования. Если один из адаптеров выходит из строя, то ClusterManager автоматически и прозрачно для системных и прикладных процессов переключает поток данных на запасной контроллер.
• — Определение сбоев программных систем. Как только в работе контролируемых программных процессов возникает проблема, PackageManager может выполнить либо заданное количество попыток запуска данных процессов локально, либо запуск этих процессов на одной из систем в составе кластера.
• — Использование концепции виртуального IP-адреса, позволяющее представить кластерную систему как единый вычислительный ресурс.

Время устранения неисправности сетевого адаптера, обеспечиваемое MC/ServiceGuard, чрезвычайно мало и обычно составляет несколько секунд. Время устранения сбоев, требующих переключения приложения на альтернативный узел, зависит от ПО и используемых приложений. На определение сбоя сервера, реконфигурацию кластера и начало выполнения сценария перезапуска для прикладного пакета на альтернативном сервере от 30 секунд до 1 минуты.

MC/ServiceGuard предоставляет также расширенные возможности по защите прикладных процессов от сбоев в работе дисковых каналов ввода/вывода с помощью использования нескольких запасных контроллеров. При этом в случае сбоя весь информационный поток, проходивший по неисправному каналу, автоматически и прозрачно для приложений переключается на запасной канал.

Компания Sun Microsystems.

Кластерное решение Sun Cluster 3.0 расширяет возможности операционной системы Solaris, предоставляя доступ к основным компонентам ОС (файловой системе, устройствам и сети) со всех узлов кластера одновременно. SC 3.0 работает на уровне ядра ОС и поддерживает встроенную балансировку нагрузки.

SC 3.0 предоставляет как масштабируемые службы, так и службы высокой готовности. Масштабируемые службы позволяют одновременно запустить по отдельному экземпляру приложения на каждом из узлов кластера, при этом запросы клиентов обрабатываются на всех узлах одновременно. Масштабируемые службы обеспечивают постоянную готовность приложений заказчика, так что даже при сбое одного из узлов кластера обслуживание запросов не прекращается. В случае служб высокой готовности при выходе из строя узла работающее на нем приложение будет перенесено на резервный узел и обслуживание запросов возобновится.

Встроенная в SC3.0 интеллектуальная балансировка нагрузки позволяет эффективно использовать имеющиеся ресурсы, а управляемость — повысить уровень обслуживания информационной системы при снижении стоимости эксплуатации кластера.

SC 3.0 предоставляет API и средства для создания агентов. Агенты HA-NFS и HA-DNS поставляются бесплатно, как и ПО «Cool Stuff CD», в котором содержатся дополнительные инструменты, облегчающие управление кластером. Используя один из этих инструментов (RT Wizard), заказчик может в графическом интерфейсе за три шага создать агент высокой готовности для любого приложения.

Компания IBM.

Подход компании IBM к кластерным решениям характеризуется двумя особенностями:

• — компания выпускает кластерные решения разных классов, на разных платформах и для разных ОС;
• — компания реализует программы совместимости для приложений, охватываемых общим названием IBM ClusterProven. В частности, существуют такие программы для серверов серии iSeries и xSeries (Netfinity).

Продукты, входящие в состав кластерных решений и относящиеся к кластерному промежуточному ПО, предназначены для выполнения функций управления кластером и восстановления данных после сбоев. Такое ПО имеет единый интерфейс, с помощью которого производится управление следующими факторами:

• — внешними условиями, включая создание и ликвидацию кластера, добавление, запуск и останов кластерного узла, добавление и удаление приложения (в том числе автоматическую установку приложений класса ClusterProven), инициирование переключения приложения и соответствующих данных на резервный кластерный узел;
• — восстановлением данных, включая запуск и останов реплицирования данных для конкретного приложения и координирование переключений между приложениями и данными;
• — восстановлением приложения, включая его запуск и останов.

Указанным требованиям удовлетворяет следующее кластерное промежуточное ПО бизнес-партнеров IBM: Vision Suite 7.0 от Vision Solutions, iCluster от DataMirror и MIMIX Cluster Server от Lakeview Technology.

Microsoft и Novell выпускают ПО кластеризации, оптимизированное под их ОС, которое используют другие компании при формировании своих кластерных решений.

Кластеры под Linux.

Примечателен тот факт, что все эти установки работают под различными разновидностями Linux. Вообще, использование ОС Linux при построении мощных кластерных решений, ориентированных на высокую производительность параллельных вычислений, — всеобщая тенденция, а не просто следствие относительно низкой цены такой ОС. Об этом свидетельствует, в частности, тот факт, что в 2001 году IBM установит для Министерства обороны США в Суперкомпьютерном центре Мауи на Гавайях 512-процессорный Linux-кластер вычислительной мощностью 478 млрд. операций в секунду. Система будет состоять из 256 тонких серверов IBM eServer x330, содержащих каждый по два процессора Pentium III. Серверы будут связаны друг с другом при помощи ПО кластеризации Myricom и высокоскоростного сетевого оборудования. Стоимость системы составит около $ 10 млн. Предполагается, что в течение ближайших нескольких лет Linux-кластеры станут преобладающей суперкомпьютерной технологией в вычислительных центрах Минобороны США.

Сведения о кластерных установках в России, которые были сформированы в интересах повышения производительности можно найти на сайте. В приложении 3 рассмотрены самые крупные кластерные установки России.

Кластерные проекты в России.

В России всегда была высока потребность в высокопроизводительных вычислительных ресурсах, и относительно низкая стоимость кластерных проектов послужила серьезным толчком к широкому распространению подобных решений в нашей стране.

Одним из первых появился кластер «Паритет», собранный в ИВВиБД и состоящий из восьми процессоров Pentium II, связанных сетью Myrinet. В 1999 году вариант кластерного решения на основе сети SCI был апробирован в НИЦЭВТ, который, по сути дела, и был пионером использования технологии SCI для построения параллельных систем в России.

Высокопроизводительный кластер на базе коммуникационной сети SCI, установлен в Научно-исследовательском вычислительном центре Московского государственного университета. Кластер НИВЦ включает 12 двухпроцессорных серверов «Эксимер» на базе Intel Pentium III/500 МГц, в общей сложности 24 процессора с суммарной пиковой производительностью 12 млрд. операций в секунду. Общая стоимость системы — около 40 тыс. долл. или примерно 3,33 тыс. за 1 GFLOPS.

Вычислительные узлы кластера соединены однонаправленными каналами сети SCI в двумерный тор 3×4 и одновременно подключены к центральному серверу через вспомогательную сеть Fast Ethernet и коммутатор 3Com Superstack.

Сеть SCI — это ядро кластера, делающее данную систему уникальной вычислительной установкой суперкомпьютерного класса, ориентированной на широкий класс задач. Максимальная скорость обмена данными по сети SCI в приложениях пользователя составляет более 80 Мбайт/с, а время латентности около 5,6 мкс. При построении данного вычислительного кластера использовалось интегрированное решение Wulfkit, разработанное компаниями Dolphin Interconnect Solutions и Scali Computer (Норвегия).

Основным средством параллельного программирования на кластере является MPI (Message Passing Interface) версии ScaMPI 1.9.1. На тесте LINPACK при решении системы линейных уравнений с матрицей размера 16 000×16 000 реально полученная производительность составила более 5,7 GFLOPS. На тестах пакета NPB производительность кластера сравнима, а иногда и превосходит производительность суперкомпьютеров семейства Cray T3E с тем же самым числом процессоров. Основная область применения вычислительного кластера НИВЦ МГУ это поддержка фундаментальных научных исследований и учебного процесса.

Из других интересных проектов следует отметить решение, реализованное в Санкт-Петербургском университете на базе технологии Fast Ethernet: собранные кластеры могут использоваться и как полноценные независимые учебные классы, и как единая вычислительная установка, решающая единую задачу. В Самарском научном центре пошли по пути создания неоднородного вычислительного кластера, в составе которого работают компьютеры на базе процессоров Alpha и Pentium III. В Санкт-Петербургском техническом университете собирается установка на основе процессоров Alpha и сети Myrinet без использования локальных дисков на вычислительных узлах.