Параллельное математическое обеспечение статистических измерений характеристик пространственно-временных полей

Необходимость получения результата измерений с заданной точностью в реальном масштабе времени налагает жесткие требования на производительность вычислительной компоненты информационно-измерительных комплексов и технологий, оперирующих большими объемами статистических данных. Усложнение структуры измеряемой информации в таких областях знания, как физика высоких энергий, гидрометеорология и мониторинг окружающей среды, биология и медицина, обусловленное интересом к вероятностным характеристикам нестационарных случайных процессов и случайных пространственно-временных полей (СПВП), привело к активному внедрению, наряду с технологиями аппаратурного анализа, сложных программно-аппаратных комплексов статистических измерений. На современном уровне развития элементной базы вычислительных систем, основным (и, пожалуй, единственно эволюционным) путем повышения их производительности является использование многопроцессорных архитектур. В свою очередь, это предъявляет качественно новые требования к соответствующему математическому обеспечению (МО) статистических измерений.

Под математическим обеспечением в данной работе понимается совокупность математической модели, метода ее численной реализации, вычислительного алгоритма (и его представления в форме программного кода), рекомендаций по применению и демонстрационных приложений1, наглядно иллюстрирующих его работоспособность и практическую значимость. Применительно к многопроцессорным вычислительным системам, принципиальная сложность проектирования и разработки МО связана с обеспечением его параллельной эффективности. Иными словами, на первый план выходит проблема параллельного представления самих математических моделей и вычислительных алгоритмов, а также их отображения на архитектуру вычислительной системы таким образом, чтобы получить наибольшее ускорение расчетов. В пашей стране технологические основы параллельной обработки данных па многопроцессорных.

1 В иностранной литературе иногда используется еще более емкий термин «killing application» (убойное приложение). системах заложены научной школой Э. В. Евреинова. Важные результаты в этой области получены под руководством И. В. Прангишвили, А. Б. Барского, В. В. Воеводина, В. В. Корнеева и др. Однако при разработке прикладного параллельного МО принципиальную роль играет не только (и не столько) программно-аппаратное обеспечение параллельных вычислений, сколько факторы, обусловленные особенностями применяемых методов и спецификой данных. Например, современные высокопроизводительные технологии статистической обработки данных измерений (например, DataGRID) традиционно ориентируются только на конкретные вычислительные архитектуры и специфические классы задач с очевидным параллельным представлением. В то же время для многомерных СПВП сложной структуры, обладающих многомасштабностыо, пространственно-временной и межэлементной связностью, неоднородностью и нестационарностыо, экстенсивный перенос существующих методов и их реализации для однопроцессорных архитектур не приводит к результату. Это связано с тем, что зачастую их формальное распараллеливание на уровне программного кода в принципе ие может быть выполнено. Потому для создания параллельного МО статистических измерений характеристик СПВП необходим качественно новый подход, что и определяет актуальность проблемы.

Цель диссертационной работы состоит в изучении и обосновании возможностей применения параллельных вычислительных технологий в задачах статистических измерений и разработке соответствующего математического обеспечения, ориентированного на многопроцессорные вычислительные архитектуры. В данной работе впервые предложен принципиально новый подход па основе естественной парадигмы распараллеливания методов и моделей многомерного статистического анализа (МСА) СПВП. В отличие от экстенсивных методов параллельных вычислений, основанных па распараллеливании и оптимизации программных кодов, данная парадигма эксплуатирует внутренние особенности математического аппарата статистических измерений и специфику данных. Это предоставляет возможности не только для параллельной декомпозиции вычислительных алгоритмов, но и для изучения особенностей их отработки на различных многопроцессорных платформах. В том числе, естественная парадигма позволяет сформулировать модели количественного анализа производительности алгоритмов статистических измерений, способы их статической (принцип конкуренции) и динамической (балансировка нагрузки) оптимизации, а также мероприятия по адаптации.

2 Глобальная сеть обработки данных измерений в физике высоких энергий, см. раздел 1.1.

МО к работе в составе конкретных информационно-измерительных комплексов. Таким образом, набор методов и технологий, идеологически объединенных естественной парадигмой распараллеливания, предоставляет мощный инструмент для разработки параллельного МО статистических измерений и моделирования характеристик СПВП.

Первая глава диссертационной работы посвящена анализу факторов, формирующих требования к параллельному МО статистических измерений характеристик СПВП. Во второй, принципиальной главе сформулирована концепция параллельного математического обеспечения на основе естественной парадигмы распараллеливания, совокупно учитывающей особенности методов, специфику данных и архитектуры многопроцессорных систем. Третья глава содержит описание параллельного МО прямых измерений вероятностных характеристик скалярных, евклидовых и аффинновых векторных СПВП, включая собственно методы оценивания, принципы их параллельного представления и способы отображения па многопроцессорную архитектуру. Четвертая глава посвящена параллельному МО стохастического моделирования СПВП в рамках моделей многомерных линейных динамических систем. В пятой главе рассматривается параллельное МО стохастического моделирования пространственно-неоднородных СПВП полей с использованием регрессионных и факторных моделей на основе ортогональных разложений. Шестая глава ориентирована на описание параллельного МО стохастического моделирования процессов и полей с дискретным пространством состояний (марковских и импульсиых систем). В седьмой, заключительной главе описаны примеры использования параллельного МО в информационно-измерительных комплексах и технологиях. В диссертационной работе для иллюстрации возможностей МО используется один из наиболее ярких примеров больших информационных массивов, отражающий различные виды зависимости многомерных данных и традиционно стоящий в области интересов высокопроизводительных вычислений — гидрометеорологические поля (атмосферного давления, ветра, морского волнения, уровня моря и морских течений, и пр.). Кроме того, предлагаемые подходы распространены для обработки некоторых видов медико-биологической и технической информации. На защиту выносятся:

• Формулировка и обоснование концепции параллельного МО статистических измерений характеристик СПВП на основе естественной парадигмы распараллеливания методов и моделей МСА СПВП, которая позволяет л эффективно отображать алгоритмы статистических измерений на архитектуры многопроцессорных систем, эксплуатируя внутренние особенности применяемых методов и специфику данных.

• Создание комплекса вычислительных алгоритмов прямых измерений вероятностных характеристик нескалярных СПВП в стационарном, эволюционно-нестационарном и ПКСП4-приближениях, отображаемых па многопроцессорную архитектуру в рамках параллельной метамодели, основанной на декомпозиции статистического ансамбля.

• Разработка комплекса вычислительных алгоритмов стохастического моделирования нескалярных СПВП в форме линейной динамической системы с учетом управляющих факторов, которые эффективно отображаются па многопроцессорную архитектуру, используя принцип перемешивания5 СПВП.

• Разработка комплекса вычислительных алгоритмов стохастического моделирования пространственно-неоднородных СПВП на основе факторных и компонентных моделей, допускающих распараллеливание путем ортогональных преобразований исходного ансамбля.

• Разработка комплекса вычислительных алгоритмов стохастического моделирования СПВП с дискретным пространством состояний в терминах марковских и импульсных систем, распараллеливаемых на основе принципа перемешивания последовательности их состояний и эффективно отображаемых на архитектуру вычислительной системы с помощью геометрического метода динамической балансировки вычислительной нагрузки.

• Доказательство применимости МО статистических измерений характеристик СПВП в составе различных информационно-измерительных комплексов и технологий (применительно к гидрометеорологической, медико-биологичсской, технической информации).

3 Здесь подразумевается параллельная эффективность, см. раздел 2.4.

4 Периодически коррелированный случайный процесс, см. раздел 2.2.

5 Принцип перемешивания [Rosenblatt, 1956] подразумевает, что значения СПВГ1 в достаточно разнесенных в пространстве (времени) точках становятся независимыми. Подробнее см. раздел 2.4.

7.8. Выводы.

Таким образом, в данной главе представлены результаты применения параллельного математического обеспечения статистических измерений СПВП в составе различных информационно-измерительных комплексов и технологий. Прежде всего, они охватывают ряд задач, непосредственно связанных с морскими исследованиями. К ним относятся технологии ансамблевого усвоения данных измерений в массивах гидрометеорологической информации, статистических измерений экстремальных характеристик волнового климата, статистического описания необычных волн (волп-убийц) и моделирования экстремальной динамики морских объектов и сооружений океанотехники в интеллектуальной системе мониторинга безопасности мореплавания. Помимо этого, параллельное математическое обеспечение адаптировано для моделирования нелинейных воли упругой деформации с целью метрологического анализа процедуры их регистрации в шероховатых (эродированных волноводах), а также для обслуживания потребностей медицинских экспертных систем в области кардиологии и диагностики ВИЧ-инфекции, функционирующих на основе высокопроизводительных вычислительных технологий (суперкомпьютеров семейства «СКИФ» и вычислительной среды GRID).

Заключение

.

Результаты диссертационной работы состоят в следующем:

На основе анализа требований к математическому обеспечению информационно-измерительных комплексов и технологий, и современных тенденций развития многопроцессорных вычислительных систем впервые сформулирована и обоснована концепция параллельного МО статистических измерений характеристик СПВП. В ее основу заложена новая, естественная парадигма распараллеливаиия методов и моделей МСА СПВП, эксплуатирующая внутренние особенности математического аппарата статистических измерений и специфику данных. В рамках естественной парадигмы сформулированы подходы и разработаны технологии отображения параллельного МО на архитектуру многопроцессорной вычислительной системы: модели количественного анализа производительности алгоритмов, способы их статической (принцип конкуренции) и динамической (балансировка нагрузки) оптимизации, а также мероприятия по адаптации МО к работе в составе конкретных информационно-измерительных комплексов.

Разработано параллельное математическое обеспечение прямых измерений вероятностных характеристик СПВП (скалярных, векторных и функциональных) в стационарном, эволюционно-нестациоиарпом и ПКСП-приближепиях. Предложены соответствующие параллельные алгоритмы и сформулированы критерии их оптимизации с точки зрения параллельной производительности, исходя из специфики измеряемой информации и особенностей методов статистического оценивания. Параллельное МО использовано для получения статистических характеристик климатической изменчивости гидрометеорологических СПВП (атмосферного давления, скорости ветра, морского волнения).

Разработано параллельное математическое обеспечение стохастического моделирования СПВП в стационарном и ПКСП-приближепиях, представляемых в форме (нескалярной) линейной динамической системы, управляемой случайными факторами. Предложены параллельные алгоритмы и исследованы количественные зависимости их производительности от особенностей стохастической модели и параллельной вычислительной архитектуры. Параллельное МО использовано для синтеза модельных (гипотетических) ансамблей в целях метрологического анализа (определения интервальных характеристик методической погрешности), косвенных статистических измерений редких (ненаблюдаемых) явлений и статистического прогноза на примере гидрометеорологических полей: морского волнения, вертикального поля солености морской воды, рядов ледовитости, температуры воды и воздуха, уровня моря, речного стока и пр.

4. Разработано параллельное математическое обеспечение стохастического моделирования пространственно-неоднородных СПВП на основе факторных и регрессионных моделей на ортогональных разложениях, в стационарном и ПКСП-приближениях. Предложены параллельные алгоритмы, проведен анализ их производительности и сформулированы рекомендации по применению в зависимости от архитектуры многопроцессорных комплексов и специфики моделируемых данных. Параллельное МО использовано для синтеза модельных (гипотетических) ансамблей для метрологического анализа и косвенных статистических измерений редких (ненаблюдаемых) явлений па примере гидрометеорологических полей атмосферного давления, скорости ветра, ветрового волнения и температуры воздуха.

5. Разработано параллельное математическое обеспечение косвенных измерений характеристик СПВП с дискретным пространством состояний, описываемых марковскими и (или) импульсными системами. Предложены соответствующие параллельные алгоритмы, и сформулирован их принцип конкуренции, исходя из максимизации параллельной производительности для конкретной многопроцессорной архитектуры. Реализована технология балансировки вычислительной нагрузки, основанная на естественных принципах распараллеливания. Параллельное МО использовано для синтеза модельных (гипотетических) ансамблей в целях метрологического анализа и косвенных статистических измерений редких (ненаблюдаемых) явлений на примере гидрометеорологических рядов и СПВП: частотно-направленных спектров и высот морского волнения.

6. Разработанное параллельное математическое обеспечение адаптировано к использованию в составе ряда информационно-измерительных комплексов и технологий для решения следующих задач:

• Ансамблевое усвоение данных измерений в информационной базе полей приводного ветра (па примере Каспийского моря).

• Статистические измерения экстремальных характеристик морского волнового климата (на примере Балтийского, Белого, Азовского, Средиземного, Черного, Каспийского, Северного, Карского и Охотского морей).

• Исследование вероятностных свойств необычных волн («волн-убийц») на основе результатов их инструментальной регистрации и стохастического моделирования.

• Стохастическое моделирование нелинейной динамики судна на трехмерном нерегулярном волнении с целью выбора оптимального сценария действий судоводителя в бортовой интеллектуальной системе мониторинга безопасности мореплавания.

• Статистический анализ погрешности регистрации солитонов упругой деформации в эродированных твердотельных волноводах.

• Стохастическое моделирование электрической активности сердца человека с целью выявления значимой патологической динамики сердечной деятельности в кардиологическом комплексе нового поколения на базе суперкомпьютеров семейства «СКИФ».

• Стохастическое моделирование динамики глобальной популяции вируса иммунодефицита человека (ВИЧ-1) для самомодификации правил логического вывода в медицинской экспертной системе, функционирующей в распределенной вычислительной среде GRID.

Изложенные в диссертации результаты активно обсуждались более чем на 50 международных и российских научных конференциях, семинарах и совещаниях, включая ежегодные Международные конференции по компьютерным наукам ICCS (2001, Сан.

Франциско- 2002, Амстердам- 2003, Санкт-Петербург- 2004, Краков), Всероссийские научно-методические конференции ТЕЛЕМАТИКА (1997, 1999;2004, Санкт-Петербург),.

Международную конференцию по высокопроизводительным вычислениям и сетям HPCN.

1998, Амстердам), Всероссийскую научную конференцию «Управление и информационные технологии» УИТ (2003, Санкт-Петербург), I Всероссийскую научнотехническую конференцию по имитационному моделированию ИММОД (2003, Санкт.

Петербург), Международную научную конференцию «Хаос и суперкомпьютеры» (2000,.

Нор-Амберд), Международную научно-техническую конференцию «Интеллектуальные многопроцессорные системы» (1999, Таганрог), Международную конференцию по мягким вычислениям и измерениям CSM (1998, Санкт-Петербург), научно-практические конференции по морским интеллектуальным технологиям МОРИНТЕХ и МОРИНТЕХ.

ЮНИОР (1997;2003, Санкт-Петербург), Конференцию молодых ученых.

Гидродинамические методы прогноза погоды и исследования климата" (2001, Сапкт.

Петербург), Научно-технические конференции «Проблемы мореходных качеств судов и корабельной гидромеханики» («Крыловские чтения») (2001, 2003, Санкт-Петербург), IV-VI Международные конференции по остойчивости судов и морских объектов (1997, Варна- 2000, Лаунцестон- 2003, Мадрид), Международное совещание Всемирной метеорологической организации «Расчет и инженерно-практические приложения спектров морского волнения (1998, Париж), IV и V Международные конференции по исследованию прибрежной зоны морей Littoral (1998, Барселона- 2000, Дубровник), Международную конференцию «Экспедиционные исследования мирового океана и информационные океанографические ресурсы» ОИР'98 (1998, Обнинск), II Международную конференцию по судостроению ICS'98 (1998, Санкт-Петербург), III-VII Международные конференции по освоению российского Арктического шельфа РАО (1997,1999,2001,2003, Санкт-Петербург), и др.

По теме диссертации опубликовано 120 печатных работ (из них 38 в реферируемых периодических изданиях), в том числе две коллективные монографии.