Разработка системы запуска ресурсоемких приложений в облачной гетерогенной среде

Прогресс в развитии современных информационных технологий непосредственно связан с применением ресурсоемких приложений в наукоемких исследованиях, а также в промышленных прикладных задачах в авиастроении, судостроении, биотехнологии, фармацевтике, генетике и других передовых направлениях человеческой деятельности.

Для удовлетворения потребностей практики в существенном увеличении производительности средств обработки информации, создатели информационных технологий разработали и предложили распределенные вычисления в виде Грид-технологий и их дальнейшего развития в так называемых облачных вычислениях.

Облачные вычисления — это вычислительная модель, в которой ресурсы, такие как вычислительные мощности, системы хранения, сети и программное обеспечение абстрагированы и обеспечены как службы в интернете для удаленного пользователя. По его требованию обеспечиваются доступность выделения ресурсов, динамическая и фактически бесконечная масштабируемость при решении конкретных задач.

Преимущества технологии облачных вычислений включают высокую производительность, экономию в расходах, высокую степень доступности, и легкую масштабируемость.

Однако, при ее практической реализации возникает целый ряд еще не решенных научных проблем, препятствующих полноценному использованию всех потенциальных достоинств такого подхода.

Во-первых, стремление создать универсальную облачную систему неизбежно сталкивается с необходимостью работать в гетерогенной среде и соответственно организовывать доступ пользователей с их индивидуальными приложениями без снижения производительности.

Во-вторых, в облачных средах при организации доступа произвольного числа пользователей до сих пор представляет проблему обеспечение высокой степени безопасности и надежности сохранения индивидуальных данных. Поэтому проблема безопасности данных и ресурсов при облачных вычислениях является одной из критических проблем. Безопасность всей системы зависит от безопасности программных интерфейсов для управления ресурсами, виртуальными машинами и сервисами. Начиная от процедуры аутентификации и авторизации и заканчивая шифрованием, программные интерфейсы должны обеспечивать максимальный уровень защиты от несанкционированных атак. При обеспечении безопасности в облаках необходимо предусмотреть проведение удобного и единообразного авторизованного доступа к ресурсам, учета их использования и защиту ресурсов и данных от несанкционированного использования.

В-третьих, для обеспечения возможности практического использования гетерогенной облачной среды в различных областях необходимо организовать универсальную систему запуска индивидуальных приложений.

Принимая во внимание, что перечисленные проблемы до сих пор окончательно не решены, можно полагать тему настоящего диссертационного исследования актуальной и практически значимой.

Цель исследования.

Целью данной диссертационной работы является повышение эффективности распределенных вычислений в облачной системе за счет создания операционного окружения для организации системы безопасного доступа пользователей к вычислительным мощностям и разработка принципов запуска ресурсоемких приложений в распределенной вычислительной среде на основе технологии облачных вычислений.

Для достижения поставленной цели необходимо решение следующих задач.

1. Разработать методологию запуска приложений в облачных средах, позволяющую повысить общую производительность гетерогенных программно-аппаратных комплексов.

2. Разработать подход к построению операционного окружения, обеспечивающий безопасный доступ пользователей ресурсоемких приложений в гетерогенной распределенной облачной вычислительной среде.

3. Исследовать возможность повышения надежности аутентификации и авторизации и разработать методику их применения в гетерогенной облачной среде.

Для успешного выполнения поставленных задач необходимо провести анализ и разработать методику управления ресурсами в распределенной вычислительной среде для запуска конкретных ресурсоемких приложений. В частности, для универсализации системы доступа пользователей к ресурсам и удовлетворения индивидуальным требованиям исследователей вводится понятие «виртуальной машины», которая предоставляется каждому пользователю, а технические характеристики, эргономические параметры и интерфейс адаптированы под него.

Предмет исследования.

Предметом исследования являются методы теоретического анализа и экспериментального исследования организации системы доступа пользователей к распределенной вычислительной среде на основе технологии облачных вычислений, методы авторизации пользователей по принципу одного окна, методы построения облачной инфраструктуры с открытым исходным кодом и эффективной распределенной вычислительной среды на основе технологии облачных вычислений. Методы интеграции и консолидации программных продуктов в распределенной вычислительной среде.

Методы исследований.

Методы исследований базируются на современных принципах параллельной и распределенной обработки информации, передачи данных в компьютерных системах, защиты компьютерных систем, на современных технологиях проектирования программного обеспечения, на теории надежности информационных систем, теории случайных процессов и потоков.

Научная новизна работы.

1. Разработана новая методика организации вычислительной системы, позволяющая ей эффективность за счет динамической балансировки и управления миграции процессов на узлах облачной вычислительной среды.

2. На основе известных методов разработана новая методика повышения степени защиты данных и ресурсов облачного комплекса за счет двухступенчатой системы защиты.

Достоверность научных результатов и выводов подтверждена результатами тестирования алгоритмов и программного обеспечения, а также практическим использованием разработанных алгоритмических и программных методов и средств на действующем программно-аппаратном комплексе факультета ПМПУ СПбГУ. Кроме того, достоверность научных результатов и выводов подтверждена апробацией результатов исследований на ряде научных конференций.

Научные положения, выносимые на защиту.

1. Новый подход и основанный на нем комплекс программ для создания операционного окружения облачных вычислений, позволивший повысить общую производительность гетерогенных программно-аппаратных комплексов в среднем на порядок за счет адаптации архитектуры каждой индивидуальной виртуальной машины под конкретное пользовательское приложение.

2. Методика построения облачной вычислительной системы, позволяющая увеличить общую производительность за счет динамической балансировки и управления миграции процессов, а не данных.

3. Методика повышения степени защищенности данных и ресурсов путем двухступенчатой аутентификации и авторизации пользователей по принципу одного окна, обеспечивающая повышенную степень надежности.

Практическая значимость исследования.

Важное народно-хозяйственное значение данной исследовательской работы состоит в создании и совершенствовании теоретической и технической базы вычислительных комплексов, обладающих высокими качественными и эксплуатационными показателями и обеспечивающих ускорение научно-технического прогресса.

Конкретные практические результаты составляют доработанный до практического применения программный комплекс удаленного доступа к гетерогенным распределенным вычислительным ресурсам, обеспечивающий повышенную производительность и степень безопасности данных при запуске ресурсоемких приложений.

Ниже приведена структура изложения основных результатов.

Апробация работы. Основные результаты работы докладывались и обсуждались на национальных и международных научно-технических конференциях:

1. 4-ая Международная конференция «Distributed Computing and Grid Technologies in Science and Education». Dubna, 2010 r.

2. Международная конференция «Computer Science & Information Technologies», Yerevan, Armenia, 2011 r.

3. XIX Всероссийская научно-методическая конференция «Телематика'2012 Санкт-Петербург, 2012 г. «.

4. 5-ая Международная конференция «Distributed Computing and Grid Technologies in Science and Education». Dubna, 2012 r.

Публикации. Основные теоретические и практические результаты диссертации опубликованы в 7 статьях и докладах, из них по теме диссертации 7, среди которых 2 публикация в ведущем рецензируемом издании, рекомендованном в действующем перечне ВАК. Доклады доложены и получили одобрение на 4 международных, всероссийских и межвузовских научно-практических конференциях.

Структура и объем диссертации

Диссертационная работа состоит из введения, четырех глав с выводами, заключения и списка литературы, включающего 101 наименований. Основная часть работы изложена на 150 страницах машинописного текста. Работа содержит 29 рисунков.

2.5 Выводы.

В данной главе проанализированы и обсуждены проблемы, характеристики, архитектура и приложения нескольких популярных программных продуктов, чтобы пользователи могли более разумно выбрать то, что они хотят и лучше понять различные подходы к построению операционного окружения для доступа пользователей и запуск приложений в распределенной вычислительной среде на основе технологии облачных вычислений.

Предложены методы построения облачной инфраструктуры с открытым исходным кодом и эффективной распределенной вычислительной среды на основе технологии облачных вычислений. Основная идея нашего подходасоздание кластера виртуальных машин с единым образом операционной системы, общей виртуальной памятью и виртуальной файловой системой. Для решения проблем большого времени задержки в облаках реализуется принцип миграции процессов, а не данных при вычислениях.

Реализованы новые методы организации системы доступа пользователей к распределенной вычислительной среде на основе технологии облачных вычислений, методы авторизации пользователей по принципу одного окна.

Поскольку предлагаемые продукты были опробованы на разных платформах и операционных системах, то можно надеяться, что они найдут широкое применение не только в распределенных вычислительных комплексах, но и для кластерных вычислений.

Глава Зо Организация системы доступа пользователей и запуска приложений в облачной среде.

В работе разработан новый подход к построению операционного окружения, обеспечивающий безопасный доступ пользователей ресурсоемких приложений в гетерогенной распределенной облачной вычислительной среде и методологию запуска приложений в облачных средах, позволяющую повысить общую производительность гетерогенных программно-аппаратных комплексов. Для этих целей мы разработан комплекс программных продуктов, которые были исследованы в диссертации.

3.1 Разработка виртуальной кластерной среды с единым образом операционной системы в облаке.

На приведенном рисунке показана предлагаемая нами новая схема распределенной вычислительной системы на основе технологии облачных вычислений. Мы управляем гетерогенными ресурсами, создаем виртуальные вычислительные кластеры под контролем гипервизора и объединяем вычислительные мощности в единую облачную инфраструктуру. Облачные интерфейсы могут управлять виртуальными машинами, но не в силах управлять виртуальными кластерами и вычислительными процессами. Таким образом, в облаке невозможно балансировать нагрузку между узлами кластера для повышения производительности при запуске параллельных и многозадачных приложений. Балансировка может быть статической, до запуска задачи, и динамической, уже во время работы задачи. Очень серьезной проблемой является динамическая балансировка нагрузки.

Для решения этой проблемы мы реализовали новую методику, позволяющую осуществлять динамическую балансировку нагрузки за счет миграции процессов в облачной системе. Для построения виртуальной кластерной среды с единым образом операционной системы в облаке мы делаем несколько шагов (приложение -1):

1. Создание облачной инфраструктуры с открытым исходным кодом в гетерогенной среде.

2. Создание виртуальных машин с библиотеками программирования в облачной вычислительной системе.

3. Компиляция и установка новых ядер ПО виртуальных машин для миграции процессов.

4. Создание виртуального кластера с единым образом операционной системы в облачной системе (Single system Image — SSI).

5. Интеграция системы управления кластерами для выполнения приложений.

Шаги 3 и 4 являются новыми, именно они были реализованы для динамической балансировки в облачной системе. В нашем Облаке помещаются в хранилище образы тех виртуальных машин, которые будут запускаться в облаке. Запрос на запуск виртуальных машин определяет, какие машины из списка возможных, и в каком количестве будут подняты в облаке.

Получив запрос, контроллер кластера решает, куда перенаправить этот запрос.

У пользователя есть возможность указать, в каком кластере, или зоне должны быть запущены машины. Соответствующий контроллер кластера получает запрос и принимает решение, на каких узлах будет выполнено задание. Запрос уходит либо первому из узлов с имеющимися свободными ресурсами до его полного заполнения либо поочередно каждому из них. Получив задание, контроллер узла загружает соответствующий образ из хранилища (или своего локального кэша, если этот образ уже загружался) и запускает машины средствами гипервизора. Пользователям предоставляют доступ к виртуальным машинам, на которых они могут установить и выполнить произвольное.

79 программное обеспечение, включая системы баз данных. Для работы в облачной инфраструктуре реализованы следующие команды.

ЗАКЛЮЧЕНИЕ

.

В настоящей диссертации получены следующие конкретные результаты.

1. Предложен новый подход и разработан соответствующий комплекс программ для создания операционного окружения облачных вычислений, позволивший повысить общую производительность гетерогенных программно-аппаратных комплексов в среднем на порядок за счет адаптации архитектуры каждой индивидуальной виртуальной машины под конкретное пользовательское приложение.

2. Предложена методика организации эффективной вычислительной системы, позволяющая осуществлять динамическую балансировку вычислений на узлах облачной вычислительной среды за счет миграции процессов, а не данных.

3. В созданном операционном окружении для запуска комплексных ресурсоемких приложений реализована методика повышения степени защищенности данных и ресурсов, основанная на аналогичной системе для Грид ресурсов, отличающаяся тем, что путем организации двухступенчатой аутентификации и авторизации пользователей по принципу одного окна, обеспечивается повышенная степень надежности.