Использование библиотеки iMPE для анализа процессов взаимодействия ветвей программы

Библиотека МРЕ содержит программу визуализации лог-файлов Jumpshot-4 и набор функций, позволяющих создавать эти лог-файлы и записывать в них «трассу» исполнения параллельной МР1-программы.

Приложение Jumpshot-4 позволяет представить работу параллельной программы в наиболее удобном для восприятия человека виде визуализировать. Другими словами, программа Jumpshot-4 — это средство для визуализации трассы параллельной программы. Трасса — это журнал, содержащий информацию о ходе выполнения программы. Делает это она при помощи так называемых лог-файлов. Лог-файл — это файл трассы отмеченных во времени событий. Формат лог-файла, используемого Jumpshot-4, называется SLOG2.

Основная визуальная компонента Jumpshot-4 — канва с двумя измерениями: по горизонтали откладывается время, а по вертикали — процессы параллельной программы; канву можно масштабировать и прокручивать в горизонтальном и вертикальном направлениях.

Таким образом, каждая точка на канве может быть идентифицирована по двум числам — отметке времени и ID-линии времени.

Графические объекты, которые содержатся в SLOG-2 файле, рисуются на канве этой координатной системы. Эти объекты бывают двух типов: простые и составные. Простые объекты, как правило, являются основными объектами SLOG-2 файла. Есть деление этих объектов, основанное на их топологической структуре.

Формат SLOG-2 поддерживает три вида топологий: состояние, стрелка и событие. Состояние и стрелка определяются двумя точками на канве — это соответственно координаты: отметка времени и идентификатор (ID) линии времени. Начальный ID линии времени для состояния совпадает с конечным ID (т. е. этот объект относится к одному процессу), а для стрелки начальный и конечный ID могут различаться. Событие состоит только из одной точки на канве, т. е. имеет только одну линию времени и одно значение времени. Можно сказать, что состояние — это промежуток времени между двумя событиями.

Составные объекты имеют более сложную структуру и конструируются из набора простых объектов.

Лог-файлы и библиотека МРЕ Исходные данные для программы Jumpshot содержатся в логфайлах, которые можно получить путем включения в параллельную программу вызовов функций библиотеки МРЕ (Multi-Processing Environment). Она содержит процедуры, которые облегчают написание, отладку и оценку эффективности MPI-программ. Рассмотрим структуру этой библиотеки чуть подробнее.

МРЕ-процедуры делятся на несколько категорий.

• • Параллельная графика (Parallel X graphics). Эти процедуры обеспечивают доступ всем процессам к разделяемому Х-дисплею. Они создают удобный вывод для параллельных программ, позволяют чертить текст, прямоугольники, круги, линии и т. д.
• • Регистрация (Logging). Библиотека МРЕ создает возможность легко получить лог-файл в каждом процессе и собрать их вместе по окончанию работы. Она также автоматически обрабатывает рассогласование и дрейф часов на множественных процессорах, если система не обеспечивает синхронизацию часов. Это библиотека для пользователя, который желает создать свои собственные события и программные состояния.
• • Последовательные секции (Sequential Sections). Иногда секция кода, которая выполняется на ряде процессов, должна быть выполнена только по одному процессу за раз в порядке номеров этих процессов. МРЕ имеет функции для такой работы.
• • Обработка ошибок (Error Handling). MPI имеет механизм, который позволяет пользователю управлять реакцией реализации на ошибки времени исполнения, включая возможность создать свой собственный обработчик ошибок.

Далее будут преимущественно рассмотрены средства регистрации (logging) для анализа эффективности параллельных программ. Анализ результатов регистрации производится после выполнения вычислений. Средства регистрации и анализа включают ряд профилирующих библиотек, утилитных программ и ряд графических средств.

Первая группа средств — профилирование. Библиотечные ключи обеспечивают собрание процедур, которые создают лог-файлы. Эти лог-файлы могут быть созданы вручную путем размещения в программе МР1 обращений к МРЕ, или автоматически при установлении связи с соответствующими МРЕ-библиотеками (например, откомпилировав программу с библиотекой mpich2mpe. lib), или комбинацией этих двух методов. В настоящее время МРЕ предлагает следующие три профилирующие библиотеки.

• 1. Tracing Library (библиотека трассирования) — трассирует все MPI-вызовы. Каждый вызов предваряется строкой, которая содержит номер вызывающего процесса в MPI COMM WORLD и сопровождается другой строкой, указывающей, что вызов завершился. Большинство процедур SEND и RECIEVE также указывают значение count, tag и имена процессов, которые посылают или принимают данные.
• 2. Animation Libraries (анимационная библиотека) — простая форма программной анимации в реальном времени, которая требует процедур Х-окна.
• 3. Logging Libraries (библиотека регистрации) — самые полезные и широко используемые профилирующие библиотеки в МРЕ. Они формируют базис для генерации лог-файлов из пользовательских программ. Имеется три различных формата лог-файлов, допустимых в МРЕ. Формат CLOG содержит совокупность событий с единым отметчиком времени. Формат ALOG больше не развивается и поддерживается для обеспечения совместимости с ранними программами. И наиболее мощным является формат SLOG (для Scalable Logfile), который может быть конвертирован из уже имеющегося CLOG-файла или получен прямо из выполняемой программы (для этого необходимо установить переменную среды MPELOGFORMAT в SLOG).

Набор утилитных программ в МРЕ включает конверторы логформатов (например, clog2slog), печать лог-файлов (slog_print), оболочки средств визуализации лог-файлов, которые выбирают корректные графические средства для представления лог-файлов в соответствии с их расширениями.

Далее будут рассмотрены только библиотеки регистрации Logging Libraries. Оценки времени выполнения взаимодействий дают некоторое представление об эффективности программы. Но в большинстве случаев нужно подробно узнать, какова была последовательность событий, сколько времени было потрачено на каждую стадию вычисления и сколько времени занимает каждая отдельная операция передачи. Чтобы облегчить их восприятие, нужно представить их в графической форме.

Но для этого сначала нужно создать файлы событий со связанными временными отметками, затем исследовать их после окончания программы и только затем интерпретировать их графически на рабочей станции. Такие файлы ранее уже названы лог-файлами. Способность автоматически генерировать лог-файлы является важной компонентой всех средств для анализа эффективности параллельных программ.

Опишем некоторые простые инструментальные средства для создания лог-файлов и их просмотра. Библиотека для создания лог-файлов отделена от библиотеки обмена сообщениями MPI. Просмотр логфайлов независим от их создания и поэтому могут использоваться различные инструментальные средства. Библиотека для создания логфайлов МРЕ разработана таким образом, чтобы сосуществовать с любой MPI-реализацией и распространяется наряду с модельной версией MPI.

Для того чтобы создать файл регистрации, необходимо вызвать процедуру MPE Log event. Кроме того, каждый процесс должен вызвать процедуру MPE_Init_log, чтобы приготовиться к регистрации, и MPE_Finish_log, чтобы объединить файлы, сохраняемые локально при каждом процессе в единый лог-файл. MPE Stop log используется, чтобы приостановить регистрацию, хотя таймер продолжает работать. MPE Start log возобновляет регистрацию.

Программист выбирает любые неотрицательные целые числа, желательные для типов событий; система не придает никаких частных значений типам событий. Чтобы присвоить событию свой номер, нужно вызвать функцию MPE_Log_get_event_number. События рассматриваются, как не имеющие продолжительности. Чтобы измерить продолжительность состояния программы, необходимо, чтобы пара событий отметила начало и окончание состояния. Состояние определяется процедурой MPE_Describe_state, которая описывает начало и окончание типов событий. Процедура MPE_Describe_state также добавляет название состояния и его цвет на графическом представлении. Соответствующая процедура MPE Dcscribc cvcnt обеспечивает описание события каждого типа.

Приведем прототипы описанных выше функций:

Как уже было сказано, создать лог-файл можно и автоматически, откомпилировав проект с библиотекой mpich2mpe. lib (конечно, если при написании использовалась реализация MPICH2, аналогичная библиотека в MPICH, к сожалению, неизвестна). В этом случае в папке проекта создается файл *.clog2, который содержит всю трассу программы. В случае, если программист хочет какой-то «кусок» программы проанализировать отдельно или же просто создать свой лог-файл, имеет смысл использовать процедуры библиотеки МРЕ непосредственно в коде программы.

Рассмотрим, как это делается на примере простейшей программы (аналог «HelloWorld!»), которая печатает ранги всех процессов, на которых она выполнялась.

Вначале идет подготовка к регистрации (MPE_Imt_log), после которой начинается блок описаний. В данной программе всего две функции MPI — получение размера системы и ранга процесса; предположим, мы хотим описать их обе.

Для этого сначала определяются события. Поскольку каждое состояние (т. е. функция MPI) — это время между двумя событиями, то нам нужно определить четыре события. Для удобства лучше, чтобы названия событий, относящихся к одному состоянию, не сильно отличались (можно их назвать, например, eventla и eventlb). Функция MPE_Log_get_event_number присваивает каждому событию уникальный номер.

Далее описываются состояния: в данном случае состояние с названием «GetSize» расположено между событиями event 1а и event lb и на канве в Jumpshot-4 будет отображаться малиновым цветом. Со вторым — аналогично.

Регистрация начинается путем вызова функции MPEStartlog. Считается, что события eventXa относятся к началу состояния, eventXb — к концу. Регистрируется определение размера системы (количества процессов). Для этого до и после соответствующей функции вызывается функция MPE_Log_event.

И, наконец, вызывается функция MPE_Finish_log, чтобы закончить регистрацию и закрыть лог-файл logfile. clog2.

Чтобы иметь возможность просмотреть созданный лог-файл в программе Jumpshot-4, нужно конвертировать его в logfile. slog2. Соответствующая утилита входит в состав приложения Jumpshot-4.