Разработка сетевой кластерной системы с динамическим распределением ресурсов для SPMD-задач и ее исследование при моделировании точечных вихрей

Актуальность. Параллельные высокопроизводительные суперкомпьютерные системы (ПВСС) широко используются для решения фундаментальных научных и практических задач, требующих большого количества вычислений при ограничении на время исполнения. К задачам такого типа относятся, например, задачи из области ядерной физики, построения тренажеров и виртуальной реальности, аэрои гидродинамики, в т. ч. связанные с моделированием турбулентности и вихревых явлений типа торнадо и смерчей.

ПВСС дороги и труднодоступны. Альтернативой ПВСС являются сетевые кластерные системы (СКС) или сетевые кластеры (CK) -совокупность машин, объединенных сетью и имеющих общее управление. СКС сравнительно недороги, относительно просты в построении и при достаточном количестве задействованных машин обеспечивают производительность, сопоставимую с ПВСС. Так, СКС Avalon (1998, JIoc-Аламосская национальная лаборатория, США) состоял из 68 процессоров, связанных сетью стандарта Fast Ethernet, и при стоимости в 313 тыс. долларов обеспечивал производительность порядка 47.7 ГФлопс. Стоимость аналогичной по производительности 64-процессорной системы SGI Origin2000/195MHz на тот момент превышала 1 млн. долларов.

Для реализации общего управления СКС требуют кластерного программного обеспечения (КПО), например: MPI, PVM, mpC, Linda, Т-system, Condor. КПО определяет архитектурные особенности СКС, как мощного вычислительного комплекса (под архитектурой здесь понимается организация СКС с точки зрения пользователя). Операционная система (ОС), на базе которой функционирует КПО, является несущей ОС СКС.

Большинство СКС базируется на SPMD-технологии (Single ProgramMultiple Data, одна программа — множественные данные). Идея SPMD в том, чтобы поделить большой массив информации между одинаковыми процессами, которые будут вести обработку своей части данных. В 5 большинстве случаев существующие подходы не позволяют наглядно описать схему распределения информации перед началом вычислений и сбора информации после ее обработки, схему взаимодействия между частями SPMD-задачи в процессе ее работы. Кроме того, в современных СКС затруднительна параметризация параллельной программы для варьирования числа SPMD-процессов и структуры параллельной программы в зависимости от потребностей решаемой задачи.

Ряд СКС позволяет задать структуру задачи в наглядном виде информационно-управляющих графов (HeNCE, Code), однако они ориентированы только на несущую ОС Unix и используют специализированный язык.

Большинство СКС ориентировано на статическое расположение частей задачи по машинам. В то же время, динамика в организации параллельных вычислений позволяет оптимизировать использование системных ресурсов, обеспечивает высокий уровень надежности и виртуально бесконечные ресурсы на обладающей конечными возможностями аппаратуре, дополнительную безопасность в сети. СКС (PVM, Т-система), обладающие поддержкой динамического распределения ресурсов кластера, не позволяют описывать структуру задачи в явном виде, кроме того, для них нет подробного описания заложенных принципов планирования задач.

Ориентация подавляющего числа СКС на Unix-совместимые ОС при широком распространении ОС на базе Win32 заметно ограничивает сферу их применения.

Часто на прикладные программы для СКС накладываются ограничения, т.к. они должны быть реализованы либо с использованием специализированные языков (HeNCE, Code), либо модификаций Си (C-DVM, шрС) или Фортрана (DVM-Fortran). Это создает препятствия для интеграции, повторного использования, адаптации под кластер программ, реализованных с использованием отличных от штатных средств разработки. 6.

В известных СКС уделяется мало внимания вопросам безопасности виртуальной машины в сети, многопользовательского доступа к ресурсам кластера. Как правило, в них отсутствует возможность идентификации и аутентификации пользователей кластера, отслеживания запущенных ими задач и затребованных ресурсов. В имеющейся документации на СКС почти не описаны механизмы защиты распределенных систем от несанкционированного доступа. В то же время отсутствие механизмов безопасности затрудняет доступ широкой пользовательской аудитории к мощным вычислительным ресурсам, его приходится лимитировать путем выделения кластера в отдельную подсеть, к машинам которой физически допускается только строго определенный круг пользователей.

Следовательно, актуальна разработка СКС с динамическим распределением ресурсов, поддерживающей наглядное представление БРМО-задач в виде графов информационно-управляющих воздействий, многозадачный и многопользовательский режимы работы, обеспечивающей безопасность в сети, независимый от средства разработки программ интерфейс с прикладными программами, работающей под Win32.

Исследование созданной СКС необходимо провести на важной задаче гидро-аэродинамики — моделировании динамики точечных вихрей (ТВ), т.к. в настоящее время остаются во многом нерешенными актуальные проблемы гидро-аэродинамики, связанные с динамическим взаимодействием и коллапсом в больших ансамблях локализованных вихрей. В частности, коллапс вихрей может оказаться тем механизмом, который отвечает за образование как крупных атмосферный вихрей — циклонов и антициклонов, так и мезомасштабных вихрей типа торнадо и смерчей. Изучение динамики локализованных вихрей ведется с использованием модели ТВ. Такая модель оказывается тем ближе к реальным атмосферным явлениям, чем большее число ТВ участвует в ансамбле.

Из-за высокой трудоемкости расчетов на данный момент исследованы коллапс и устойчивость сравнительно небольших систем ТВ (порядка нескольких сотен). Созданная в данной работе СКС значительно уменьшает время счета и ее применении может способствовать решению отмеченных проблем вихревой динамики, т.к. появилась возможность исследования динамики тысяч (и более) вихрей при разумных временных затратах.

Объект исследования.

Архитектура СКС и реализующее ее КПО, прикладное программное обеспечение для решения важной задачи моделирования динамики ТВ.

Цель и задачи работы.

Целью настоящей диссертационной работы является разработка СКС для организации параллельных вычислений в сети с динамическим распределением ресурсов для представленных в виде графа 8РМО-задач и ее исследование при моделировании вихревой динамики.

Поставленная цель достигается на основе решения следующих задач:

1. Выполнить критический анализ современных СКС, выявить их преимущества и недостатки.

2. Разработать архитектуру СКС с поддержкой динамического распределения ресурсов кластера.

3. Разработать методы и средства графового представления задач в СКС на основе современных сетевых технологий и архитектурных особенностей кластера.

4. Разработать не зависящий от реализации программ интерфейс взаимодействия между прикладными программами и СКС, базирующийся на разработанной архитектуре с использованием динамических библиотек Win32.

5. Разработать параллельный алгоритм (ПА) численного моделирования динамики точечных вихрей с адаптацией к реализованной СКС и выполнить оценки его сложности и эффективности.

6. Выполнить оценки сложности и эффективности ПА для метода Рунге-Кутта 4-го порядка и связанных по данным задач.

7. Исследовать созданную СКС применительно к моделированию вихревой динамики.

Основные научные результаты работы :

1. Разработана архитектура СКС, отличающаяся от известных систем сочетанием динамического распределения ресурсов кластера, многозадачного и многопользовательского режимов работы, графового представления прикладной задачи, защиты от вторжения по сети извне, независимого от реализации программы интерфейса с системой.

2. Разработаны способы динамического распределения ресурсов СКС.

3. Предложен ПА моделирования динамики ТВ, адаптированный под разработанную СКС.

4. Предложены методы свертки кластеров (устойчивых ансамблей) вихрей и масштабирования модельного времени по значениям интенсивностей вихрей.

5. Разработаны формулы для теоретической оценки оптимального по времени счета количества машин кластера для моделирования вихрей в зависимости от их числа.

6. Разработаны формулы для оценки оптимального по времени счета количества машин для метода Рунге-Кутта 4-го порядка и связанных по данным задач.

Основные положения, выносимые на защиту:

1. Архитектура СКС, основанная на динамике при распределении ресурсов машин кластера, графовом представлении задач и ЭРМБ-технологиях.

2. Способы динамического распределения ресурсов СКС.

3. ПА моделирования динамики ТВ.

4. Методы свертки кластеров вихрей и масштабирования модельного времени по значениям интенсивностей вихрей. 9.

5. Формулы для оценки сложности и эффективности ПА моделирования динамики ТВ, а также ПА решения систем дифференциальных уравнений методом Рунге-Кутта и связанных по данным задач.

6. Результаты исследования производительности созданной СКС.

Практическая ценность.

Практическую ценность работы представляют:

1. СКС, позволяющая объединять вычислительные ресурсы сетевых станций в одну виртуальную многопроцессорную машину для решения трудоемких задач. Особенности СКС дают возможность достигнуть высокой наглядности представления многопроцессорных задач, доступности широкой пользовательской аудитории, защиты от вторжений по сети извне, эффективной загруженности машин кластера за счет динамики в распределении его ресурсов.

2. Средства динамического распределения ресурсов СКС, позволяющие эффективно использовать вычислительные ресурсы кластера.

3. Средства описания задачи, позволяющие наглядно представлять ее структуру в виде графа информационных и управляющих воздействий и базирующиеся на архитектуре СКС.

4. ПА моделирования динамики ТВ, дающий возможность получить близкий к линейному рост производительности с увеличение числа машин для большого количества вихрей;

5. Методы свертки кластеров вихрей и масштабирования модельного времени по значениям интенсивностей вихрей, повышающие производительности алгоритма.

6. Оценки сложности и эффективности полученного ПА моделирования динамики ТВ, ПА решения систем дифференциальных уравнений методом Рунге-Кутта и связанных по данным задач, дающие возможность задействовать машины кластера наилучшим образом.

Методы проведения исследований.

При выполнении настоящей работы использовались элементы теории графов, теории вычислительных систем, теории параллельных процессов, математической логики, имитационного моделирования, теории механики жидкости и газа, математический аппарат дифференциального и интегрального исчислений.

Апробация результатов работы.

Результаты работы докладывались и обсуждались на научно-технических конференциях: Всероссийская научно-техническая конференция «Новые информационные технологии в научных исследованиях и в образовании», Рязань, 2000 гXXXVIII Международная научная студенческая конференция «Студент и научно-технический прогресс», Новосибирск, 2000 гВсероссийская научная конференция «Высокопроизводительные вычисления и их приложения», Черноголовка,.

2000 г.- 2-й региональный научно-практический семинар «Информационная безопасность — Юг России», Таганрог, 2000 г.- V Всероссийская научная конференция студентов и аспирантов «Техническая кибернетика, s радиоэлектроника и системы управления», Таганрог, 2000 г.- Международная научно-практическая конференция «Компьютерные технологии в науке, производстве, социальных и экономических процессах», Новочеркасск, 2000 г.- 6th International conference «Parallel Computing Technologies», Novosibirsk, 2001; Третья Всероссийская молодежная школа «Суперкомпьютерные вычислительно — информационные технологии в физических и химических исследованиях», Черноголовка, 2001 г.- Международная конференция «Интеллектуальные и многопроцессорные системы», Таганрог — Донецк,.

2001 г.- VI Всероссийская научная конференция студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления», Таганрог, 2002 г. По итогам работы выпущено 12 публикаций [98−109].

Результаты работы использованы при проведении НИР «Исследование новых принципов защиты информации в параллельных системах и сетях Internet/Intranet», при выполнении проектов РФФИ № 01−07−90 211, 02−706 087 «Разработка системного программного обеспечения параллельных.

11 вычислительных систем на основе сетевых Internet-Intranet кластеров для решения задач моделирования распространения примесей и динамики интенсивных атмосферных вихрей" и № 01−05−64 300 (совместно с Институтом физики атмосферы им. A.M. Обухова РАН) «Теоретическое и лабораторное моделирование торнадоподобных вихрей», а также в учебном процессе в курсе «Параллельное программирование», что подтверждено соответствующими актами об использовании.

Достоверность полученных в диссертации результатов подтверждается разработкой действующей СКС с предложенными архитектурными особенностями, осуществляющей поддержку функционирования SPMD-задач с динамическим распределением ресурсов кластераа также параллельной программы, реализующей алгоритм численного моделирования динамики ансамблей ТВ на основе системы команд созданной СКС.

Состав и структура диссертационной работы.

Материал основной части диссертационной работы изложен на 138 страницах машинописного текста. Диссертация состоит из введения, четырех разделов, заключения, списка литературы из 122 наименований, 36 иллюстраций, 15 таблиц и 3 приложений.

4.4. Выводы.

1. Дано описание созданной при работе по грантам № 01−07−90 211, 02−07−6 087 СКС — DRDVM, что дает возможность представить принципы внутреннего устройства конкретной реализации СКС.

2. Для разработки SPMD-программ в систему команд СКС внесены команды определения номера SPMD-подзадачи и общего числа подзадач, что упрощает программирование SPMD-задач.

3. Приведены результаты сравнения MPI и DRDVM, показывающие высокую эффективность разработанной системы, находящейся по производительности на уровне наиболее быстрых СКС.

Заключение

.

Основными научными результатами диссертации являются:

— предложенная на основании анализа существующих СКС архитектура СК, обеспечивающая одновременно динамическое распределение ресурсов для БРМО-задач, наглядное представление задач в виде графа информационно-управляющих воздействий, многопользовательскую и многозадачную работу, защиту от НСД, что делает созданную СКС высокоэффективной и доступной для широкой аудитории пользователей. Архитектура включает в себя:

1. Динамическое планирование ресурсов в СКС, позволяющее эффективно задействовать машины кластера.

2. Язык представления задачи в виде графа информационноуправляющих воздействий, дающий возможность наглядно описать схему взаимодействия частей задачи.

3. Защиту от НСД, делающую систему устойчивой к атакам по сети и позволяющую использовать ее в общей локальной сети, расширяя круг пользователей системы.

4. Система команд и интерфейс с прикладными программами, позволяющие создавать программы на любом известном средстве программирования под Vin32, поддерживающем работу с динамическими библиотеками.

— ПА моделирования динамики ТВ, адаптированный под созданную СКС и позволяющий добиться практически линейного ускорения счета с добавлением в кластер новых машин.

— Оценки оптимального по времени счета количества машин кластера в зависимости от числа ТВ, а также оптимального количества машин для общего случай метода Рунге-Кутта 4-го порядка и для класса связанных по данным задач, что дает возможность задействовать ресурсы СКС наиболее эффективным образом как для частной задачи моделирования вихревой.

138 динамики, так и для широкого круга задач математической физики.

— Предложенные методы свертки кластеров ТВ, масштабирования модельного времени по значениям интенсивностей вихрей, существенно повышающие производительности ПА моделирования динамики ТВ.

Проведенные исследования показали высокую эффективность созданной СКС для решения задачи моделирования вихревой динамики. Высокий коэффициент ускорения позволяет получать картины взаимодействия различных конфигураций ансамблей ТВ в достаточно сжатые сроки и с большей точностью, что крайне важно для исследований в области вихревой динамики.

Очевидным является тот факт, что сфера применения разработанной СКС выходит далеко за пределы задачи моделирования ТВ и СК может быть использован для решения широкого круга как подобных, так и не связанных с методами расчета динамики ТВ задач.

Практические результаты диссертационной работы заключаются в следующем.

— На основании предложенной архитектуры разработана СКС на базе Win32, получившая название: виртуальная машина с динамическим распределением ресурсов (DRDVM);

— На базе системы команд DRDVM создана параллельная программа для высокопроизводительного моделирования динамики ТВ, использующая методы свертки кластеров ТВ и масштабирования модельного времени по значениям интенсивностей ТВ для повышения производительности.

Разработка DRDVM проводилась в рамках работы над проектами РФФИ № 01−07−90 211, 02−07−6 087, 01−05−64 300, а также г/б НИР «Исследование новых принципов защиты информации в параллельных системах и сетях Internet/Intranet».

Результаты диссертационной работы используются в учебном процессе в курсе «Параллельное программирование».