Обмен в отказоустойчивых системах дублированных вычислительных комплексов, объединяемых через коммутаторы

К компьютерным системам управления, а особенно функционирующим в реальном времени, в том числе связанным с безопасностью, предъявляются высокие требования по надежности и отказоустойчивости |12|. Системы, связанные с безопасностью, могут быть предназначены для предотвращения опасных событий или для смягчения (уменьшения риска) их последствий.

Обеспечение высокой надежности управляющих компьютерных систем требует резервирования как на уровне вычислительных узлов, так и на уровне их объединения в систему. Таким образом, в отказоустойчивых компьютерных системах ответственного назначения в качестве вычислительных узлов рекомендуется использовать троированные или дублированные вычислительные комплексы, при объединении которых в систему коммуникационные средства (магистрали, сетевые адаптеры, коммутаторы, маршрутизаторы), как правило, резервируются [12]. В компьютерных системах, работающих в реальном времени, и особенно связанных с безопасностью, для повышения надежности вычислительного процесса в каждом комплексе вычисления обычно дублируются, при этом контроль может основываться на сравнении результатов.

Сложность оценки надежности системы с резервированием коммутационных узлов обусловлена комбинаторным влиянием расположения отказавших коммуникационных средств (сетевых адаптеров, портов коммутаторов, линий связи) на надежность системы.

Рассмотрим варианты организации межкомплексного обмена с учетом его влияния на надежность, отказоустойчивость и производительность сетей дублированных комплексов.

Исследования по выбору рационального варианта организации межкомплексного обмена должны включать [13—15]:

• • определение вариантов построения дублированных вычислительных комплексов;
• • определение вариантов обмена между ДВК через резервированную (дублированную) коммуникационную среду;
• • построение модели оценки влияния вариантов межкомплексного обмена на надежность, отказоустойчивость и время пребывания запросов;
• • выбор рациональных вариантов обмена внутри комплексов и между дублированными комплексами с учетом надежности, стоимости и среднего время пребывания запросов в системе.

Структура системы дублированных вычислительных комплексов. Варианты объединения дублированных вычислительных комплексов в отказоустойчивую систему (кластер) с резервированием коммуникационных средств (коммутаторов Sw_{ и Sw₀) представлены на рис. 7.21 при связанности резервированных коммутаторов между собой, а на рис. 7.22 — без их связанности.

Рис. 7.21. Система с дополнительной связью между портами дублированных коммутаторов.

Рис. 7.22. Система без дополнительной связи между портами дублированных коммутаторов

Каждый из полукомплексов дублированного вычислительного комплекса содержит процессор (Р), модуль памяти (М), сетевые адаптеры (СЛ), кроме того, в комплексе имеется адаптер внутрикомплексной связи (Л) и модуль контроля (5). Выполнение ответственных запросов дублируется в полукомплексах. Контроль работы комплекса основан на сравнении модулем S результатов вычислений в полукомплексах. При объединении дублированных комплексов в отказоустойчивую систему выделяется т основных и М-т резервных комплексов. Резервные вычислительные комплексы выполняют вспомогательные вычисления, потеря которых не связана с безопасностью (управлением в реальном времени) и значительными экономическими или иными потерями.

Для дублированных вычислений передаваемые между комплексами данные должны быть занесены в модули памяти М двух полукомплексов адресуемого узла. Предусматривается возможность восстановления комплексов после отказов, причем во время восстановления одного из полукомплексов другой может выполнять некритичные вычисления (не требующие дублирования вычислительного процесса).

При оценке надежности будем считать, что в системе из М комплексов требуется работоспособность по выполнению дублированных вычислений по крайней мере т комплексов. Причем между каждой парой из т работоспособных комплексов должен быть обеспечен двухсторонний обмен с доставкой передаваемой информации в модули памяти двух полукомплексов узла приемника информации (в качестве приемника может выступать любой из т работоспособных комплексов).

Варианты организации межкомплексного обмена. Определим варианты организации обмена между комплексами при дублировании вычислений, когда необходимо занесение передаваемых данных в модули памяти М двух полукомплексов адресуемого вычислительного узла (комплекса).

Для систем с дублированием коммуникационных средств выделим следующие варианты передачи от /-го к j-му ДВК.

Вариант В1: первый (левый) и второй (правый) полукомплексы /-го ДВК передают пакеты соответственно через первый Sw_x и через второй коммутаторы Sw₂

В результате обмена.

данные i-го комплекса заносятся в модули памяти М обоих полукомплексову-го комплекса.

Условие реализуемости варианта В1 при передаче от /-го у-му комплексу (узлу) заключается в исправности двух коммутаторов и исправности у каждого из двух взаимодействующих комплексов пары сетевых адаптеров.

Вариант В2: первый (или второй) полукомплекс /-го комплекса выдает пакеты первому коммутатору Sw_{ (второму Sw₂), через который они передаются в первый (второй) полукомплекс у-го ДВК. Кроме того, первый или второй полукомплексы /-го комплекса выдают пакеты во второй полукомплекс у'-го комплекса через первый коммутатор (5">,), межкоммутаторную связь, второй коммутатор (Sw₂) и соответствующие сетевые адаптеры.

Таким образом, реализуется последовательность передач:

Однако вариант В2 связан с передачей через два коммутатора и, соответственно, с замедлением и потенциально — со снижением надежности межкомплексного обмена.

Условие реализуемости варианта В2 при передаче от /-гоу-му дублированному узлу (комплексу) заключается в исправности двух коммутаторов, хотя бы одного сетевого адаптера в комплексе-передатчике и двух сетевых адаптеров в комплексе-приемнике. При требовании дуплексной связи необходима исправность двух коммутаторов, связи между ними и исправность сетевых адаптеров в каждом из взаимодействующих комплексов.

Вариант ВЗ: первый (либо второй) полукомплекс /-го комплекса передаст пакет через первый (второй) коммутатор и соответствующий сетевой адаптер в память первого (второго) полукомплексау-го ДВК. Из модуля памяти полукомплекса, принявшего данные, они передаются в модуль памяти другого полукомплекса через адаптер внутреннего обмена А.

Таким образом, реализуется связь.

Закрепление за комплексами коммутаторов для передачи проводится так, чтобы сбалансировать их нагрузку.

Условие реализуемости варианта ВЗ при передаче от /-го к у-му комплексу заключается в исправности хотя бы одного коммутатора и его подключении через исправные порты и сетевые адаптеры одновременно к первым (или вторым) полукомплексам взаимодействующих узлов при условии исправности адаптера внутрикомплексной связи в узле-приемнике. При дуплексной связи дополнительно к сформулированному условию требуется исправность адаптера внутренней связи в каждом из взаимодействующих комплексов.

Заметим, что передача через адаптер А может быть параллельной, так как полукомплексы расположены близко (в одном конструктиве).

Возможно использование гибридного варианта, позволяющего адаптироваться к интенсивности межкомплексного обмена и к отказам компонент системы. Например, возможно использование при низкой интенсивности обмена по варианту В1 перехода в случае увеличения нагрузки на вариант ВЗ. Возможен также комбинированный вариант, предусматривающий в исходном состоянии (без накопления отказов) обмен по варианту ВЗ с переходом к варианту обмена В1 после отказов адаптеров внутрикомплексной связи, что потенциально позволяет повысить надежность (отказоустойчивость) системы. Комбинация вариантов обмена В1 и ВЗ реализуема для структур, представленных на рис. 7.21 и 7.22, в то время как включение в гибридный вариант обмена по варианту В2 возможно только для структур по рис. 7.21.

Сравним надежность систем дублированных вычислительных комплексов с резервированием коммутаторов при различных вариантах организации обмена в случае реализации в комплексах дублированных вычислений.

Условие работоспособности по выполнению ответственных задач в системе из М дублированных комплексов заключается в работоспособности по крайней мере т комплексов, способных обеспечить дублированные вычисления, причем между любой парой из т работоспособных комплексов, но инициативе любого комплекса должен выполняться обмен (в полудуплексном режиме). При дублированных вычислениях ответственных задач передаваемая информация должна доставляться в модули памяти двух полукомплексов узла приемника (в качестве приемника может выступать любой работоспособный комплекс).

При оценке надежности будем предполагать независимость отказов и восстановлений различных узлов системы.

Перед вычислением надежности системы оценим надежность ее узлов. Коэффициенты готовности элементов системы, включая процессор р_рУ модуль памяти р_МУ модуль контроля p_s, сетевой адаптер p_N, адаптер внутрикомплексной связи р_аУ линии связи p_jy вычисляются как.

При анализе надежности коммутатора выделим базовую часть, отказ которой приводит к отказу всего коммутатора, и порты, отказ каждого из которых приводит только к нарушению связанности с соответствующим сетевым адаптером.

Коэффициенты готовности базовой части коммутатора и его порта определим как

При оценке коэффициентов готовности узлов будем считать заданными интенсивности отказов и восстановлений процессора Х_рУ р_/;, модуля памяти Х_МУ р_м, модуля контроля Х_зУ р₅, сетевого адаптера Х^_у p_v, адаптера внутрикомплексной связи Х_аУ 1_оУ линии связи X_t, |Д/, базовой части коммутаторов К* И" ^и их портов Х_зрУ х_зр.

Для варианта обмена В1 и В2 взаимосвязь между любой парой не менее т из М комплексов с дублированием вычислений поддерживается при исправности двух коммутаторов и нары сетевых адаптеров не менее чем в т дублированных комплексах. При этом для варианта В2 дополнительно требуется исправность связи между коммутаторами, т. е. вариант В1 характеризуется большей надежностью, меньшим временем обмена и меньшими затратами на реализацию. Таким образом, в чистом виде использование варианта В2 не целесообразно, но в комбинации с другими вариантами возможен дополнительный эффект увеличения надежности системы.

Для системы дублированных вычислительных комплексов с вариантом обмена В1 коэффициент готовности вычисляется как.

а для варианта В2 с учетом обмена между каждой парой комплексов в любом направлении — как.

где С'_м = m/i (M — i)!; р — коэффициент готовности базового оборудования комплекса (процессоров, памяти, схемы контроля) при обязательности поддержки дублирования вычислений, р = рЪ)²_мр# p_su. — коэффициент готовности базового оборудования коммутатора (без учета надежности портов коммутатора); pL = p_Np_tp_ps — надежность (коэффициент готовности) цепи «сетевой адаптер — линия — порт коммутатора».

Если резервирование на уровне дублированных комплексов не проводится, т. е. М = т, то

При варианте обмена ВЗ система работоспособна, когда имеется не менее чем т исправных комплексов с работоспособными адаптерами внутренней связи Л, причем среди этих комплексов не менее чем т подключены (при исправности цепей «сетевой адаптер — линия — порт коммутатора») к первому коммутатору или не менее чем т — ко второму коммутатору.

Для системы М дублированных комплексов с вариантом обмена ВЗ коэффициент готовности равен.

где первый член определяет вероятность работоспособности при исправности двух коммутаторов, а второй — одного коммутатора.

Если резервирование на уровне дублированных комплексов не проводится (М = т), то.

Для варианта обмена ВЗ при использовании вместо адаптеров внутрикомплексной связи А пары сетевых адаптеров требование исправности адаптеров А не менее чем в т исправных ДВК заменяется на исправность в них пары сетевых адаптеров, выделенных для внутрикомплсксных обменов. В этом случае получим.

Для структур по рис. 7.21 применение комбинированного варианта обмена В31, предусматривающего преимущественное использование варианта ВЗ с переходом при его нереализуемое™ из-за отказов к варианту В1, позволяет повысить надежность. Так, для неработоспособных состояний при варианте обмена ВЗ, когда исправны два коммутатора, а адаптеры внутрикомплексной связи А исправны менее чем в т комплексах, вариант обмена В1 реализуем при условии исправности двух сетевых адаптеров (и их связи с коммутаторами) не менее чем в т работоспособных комплексах.

Таким образом, надежность системы с комплексным вариантом обмена В31 определяется как.

Если резервирование на уровне комплексов не проводится, т. е. М = т, тогда.

Дополнительно увеличить надежность системы по рис. 7.21 позволяет комбинированный вариант обмена В312, который предусматривает приоритетное использование варианта обмена ВЗ с переходом при его нереализуемое™ из-за отказов к варианту В1 или В2.

Для варианта обмена В312 использование обмена по варианту В2 требует исправности двух коммутаторов и связи между ними (при отсутствии межкоммутаторной связи возможен обмен по варианту В31). В комплексе-передатчике обмен, но варианту ВЗ или В2 реализуем, если в нем исправен хотя бы один сетевой адаптер. При этом если в комплексе приемнике исправен адаптер внутрикомплексной связи, то в нем требуется исправность хотя бы одного сетевого адаптера. Если исправный сетевой адаптер подключен к тому же коммутатору, что и сетевой адаптер, передающий информацию, то обмен реализуется по варианту ВЗ, а если к другому коммутатору, то по варианту обмена В2 (с передачей через два коммутатора и связь между ними). Если в комплексе-приемнике неисправен адаптер внутрикомплексной связи, то в нем требуется исправность двух сетевых адаптеров (с обменом по варианту В1, когда исправны два коммутатора, либо, но варианту В2, когда дополнительно исправна связь между коммутаторами).

При отказе связи между коммутаторами система с обменом В312 сохраняет все возможности обмена по варианту В31.

Таким образом, для системы, поддерживающей обмен В312, с учетом того, что любой комплекс может выступать как передатчик или как приемник информации и требуется работоспособность не менее т вычислительных комплексов, поддерживающих дублированные вычисления, надежность системы вычислим как.

где Р₃₁ вычисляется по формуле (7.1).

Если резервирование на уровне дублированных комплексов не проводится, т. е. М = т, то.

где Р₃₁ находится по формуле (7.1).

В ряде систем условие работоспособности ДВК включает необходимость организации внутрикомплексного обмена, что приводит к требованию работоспособности адаптеров внутрикомплексной связи для исправных комплексов. Такие требования предъявляются к системам, реализующим дублированные вычисления при решении задач ответственного назначения. При соблюдении указанных требований надежность системы при реализации обмена по варианту ВЗ определяется по формуле (7.1) (так как при этом варианте требование работоспособности адаптеров А предусматривается). При обмене по вариантам Bl, В2 надежность системы соответственно определяется как

Комбинация ВЗ и В1 при обязательной работоспособности адаптеров внутрикомплексной связи не дает дополнительного увеличения надежности, так как для ранее рассмотренного случая, когда такие ограничения не накладывались, эффект повышения надежности достигался в результате использования в вычислительном процессе состояний при отказе части адаптеров внутрикомплексной связи.

Пример расчета надежности для различных вариантов обмена и их комбинаций. Расчеты надежности систем дублированных комплексов для различных вариантов обмена проведем при М = т интенсивности отказов всех узлов, равной 0,0001 ч" ¹, а интенсивности их восстановлений — равной 0,5 ч¹. В этом случае коэффициент готовности базового оборудования дублированного комплекса р = 0,9990. Полученные зависимости коэффициента готовности от числа дублированных комплексов представлены на рис. 7.23. На нем кривая 1 соответствует коэффициенту готовности системы Р (т) при варианте обмена В312 и В31, кривые 2—4 — при варианте обмена ВЗ, В1 и В2 соответственно. Кривая 5 представляет разность D (m) коэф;

Рис. 7.23. Коэффициент готовности системы для вариантов межкомплексного обмена

фициентов готовности систем при обмене по комбинированному варианту В312 и В31. Кривая 6 отображает разность D (m) коэффициентов готовности систем при обмене по варианту В1 и В2. Проведенные расчеты показывают, что вариант обмена ВЗ при дублированных вычислениях позволяет достичь наиблыней надежности системы без увеличения стоимости системы относительно вариантов обмена В1 и В2. Дополнительно повысить надежность системы без увеличения ее стоимости позволяют комбинированные варианты обмена, предусматривающие переход от одного варианта обмена к другому адаптивно к накоплению отказов.

Для дублированных вычислительных комплексов с обязательным внутрикомплексным обменом результаты оценки надежности представлены на рис. 7.24, на котором кривая 1 соответствует коэффициенту готовности системы Р (т) при варианте обмена В321 и ВЗ, а кривая 2 — при варианте обмена В1 и В2. Кривая 3 отображает разность D (m) коэффициентов готовности систем при обмене по варианту В321 и ВЗ, а кривая 4 — разность D (m) при обмене по варианту В1 и В2.

Проведенные оценки подтверждают, что уровень надежности системы зависит от организации обмена между дублированными вычислительными комплексами, при этом наиболее эффективен вариант обмена ВЗ. Дополнительные возможности повышения надежности дает использование комбинированных вариантов обмена, предусматривающих адаптивную смену ва;

Рис. 7.24. Коэффициент готовности системы при обязательности внутрикомплексного обмена

рианта обмена по мере накопления отказов или изменения интенсивности запросов на межкомплексный обмен.

Оценка среднего времени межкомплексного обмена. Рассматриваемые варианты межкомплексного обмена влияют не только на надежность и отказоустойчивость, но и на время пребывания запросов в системе.

При оценке времени пребывания запросов для различных вариантов межкомплексного обмена каждый коммутационный узел представим системой массового обслуживания тина М/М/1 [16].

В исходном состоянии системы (без отказов) среднее время пребывания запросов на межкомплексный обмен (от формирования запроса до передачи информации в модули памяти обоих полукомплексов адресуемого комплекса) при вариантах обмена R1. R2. ВЗ вычислим как где X — интенсивность запросов на межкомплекный обмен от двух полукомплексов при варианте обмена Bl; v — среднее время передачи пакета через коммутационный узел; коэффициент, а устанавливает соотношение скорости передачи через через цепь «сетевой адаптер — коммутатор — сетевой адаптер» и через адаптер внутрикомплексиого обмена A; d определяет разницу по времени завершения передачи от одного комплекса через разные коммутаторы (при варианте обмена В1 эта разница возможна из-за неидентичности по времени выдачи пакетов от разных полукомплексов, в идеале будем считать d = 0).

Формула оценки Т₂ учитывает, что хотя передача при варианте обмена В2 ведется от одного полукомплекса, по пакеты передаются через оба коммутатора.

Фомула оценки Т₃ для варианта обмена ВЗ учитывает, что передача ведется только от одного полукомплекса и нагрузка делится между двумя коммутаторами (в идеале нагрузка балансируется).

Зависимости среднего времени пребывания запросов на межкомплексный обмен Т (Х) от интенсивности их формирования при v = 1 мс представлены на рис. 7.25. Кривые 1 и 2 соответствуют вариантам обмена В1 (при <7=0 мс) и В2, а кривые 3—4 — обмену по варианту ВЗ при, а = 0,5 и, а = 0.

Проведенные расчеты показывают явное преимущество варианта обмена ВЗ, причем по мере роста интенсивности запросов X эта эффективность.

Рис. 725. Среднее время пребывания запросов на межкомплексный обмен возрастает. Кроме того, вариант ВЗ позволяет увеличить предельную интенсивность запросов, выдерживаемую системой в условиях стационарности. Сравнение кривых 3 и 4 показывает целесообразность использования для внутрикомилексной связи высокоскоростных средств обмена. Заметим, что при небольших расстояниях внутри комплекса и использовании многоразрядных адаптеров внутрикомплексной связи значение, а существенно меньше единицы (что соответствует приближению к кривой 4).

При малой интенсивности запросов вариант ВЗ может оказаться менее эффективным, чем вариант В2, но следует отметить, что для практики более важно сократить время пребывания запросов при их большой интенсивности.