Обмен в отказоустойчивых системах дублированных вычислительных комплексов, объединяемых через резервированные магистрали

Рассмотрим варианты объединения дублированных компьютерных комплексов в кластерные системы с организацией дублированных вычислений при анализе влияния структуры кластеров и организации межкомплексного обмена через резервированные магистрали па надежность, отказоустойчивость и среднее время пребывания запросов системе [13].

Проанализируем эффективность вариантов объединения ДВК в кластерные системы с организацией дублированных вычислений. Для решения этой задачи рассматриваются:

• • варианты межкомплексного обмена при дублировании вычислений, в том числе комбинирующие внутрикомплексную и межкомплексную передачу через магистрали при различных дисциплинах доступа;
• • влияние структуры кластеров ДВК и организации обмена данными на надежность, отказоустойчивость и среднее время пребывания запросов на межкомплексный обмен;
• • выбор вариантов организации кластеров ДВК с учетом надежности, отказоустойчивости и времени межкомплексного обмена.

Рассматриваемые варианты объединения ДВК в кластер приведены на рис. 7.26 и 7.27. Рисунок 7.26 представляет варианты объединения ДВК без введения средств обмена внутри ДВК, а рис. 7.27 — с введением таких средств. Для структуры по рис. 7. 26, в третья магистраль может быть выделена для обменов внутри комплексов, причем она может сегментироваться (рис. 7.27, а) для ускорения обменов в результате их локализации внутри каждого ДВК. При локализации обмена внутри каждого комплекса при введении устройства (адаптера) внутренней связи оно может быть реализовано с учетом специфики внутрикомплексного обмена (отсутствие множественного доступа, малые расстояния, параллельная передача и др.), что приводит к ускорению обмена.

При объединении ДВК в кластеры выделяется т основных и М — т резервных комплексов. Резервные ДВК выполняют вспомогательные вычисления, потеря которых не связана с опасностью и значительными экономическими или иными потерями.

Для критичных вычислений выполнение каждого запроса дублируется в двух полукомплексах ДВК, результаты вычислений сравниваются моду;

Рис. 7.26. Варианты кластеров без введения средств обмена внутри ДВК.

б.

Рис. 7.27. Варианты кластеров с введением средств обмена внутри ДВК лем S и в случае их совпадения выдаются для дальнейших вычислений. При межкомплексном обмене для дублированных вычислений передаваемые данные должны быть занесены в модули памяти М двух полукомплексов адресуемого ДВК. При неспособности ДВК к дублированным вычислениям, например из-за отказов одного из процессоров, для обслуживания критичных запросов подключается один из резервных ДВК. После отказов может начаться восстановление комплекса, причем во время восстановления одного из иолукомплексов другой может выполнять некритичные вычисления (ранее выполняемые резервными ДВК).

Рассмотрим варианты организации обмена между ДВК при дублировании вычислений, когда необходимо занесение передаваемых данных в модули памяти Мдвух полукомплексов адресуемого ДВК.

Для систем с дублированием магистралей и связью внутри ДВК (рис. 7.27, а, б) выделим следующие варианты передачи от г-го к у-му ДВК.

Вариант В1: первый и второй полукомилексы г-го ДВК выставляют запросы на доступ соответственно к первой (Л/,) и ко второй (М.,) магистралям, после предоставления которых осуществляется передача СА₁₍—* М, —*? СА_);, СА₂, —"? М₂ —* СА_2j, в результате чего данные г-го ДВК заносятся в модули памяти М обоих полукомплексов у-го ДВК.

Вариант В2: множественный доступ реализуется только к одной магистрали, а вторая предоставляется вместе с первой, после чего осуществляется передача СА_и —? М, —* СА", СА₂₍ —*? М₂ —* CA_2j.

Вариант В3 первый либо второй полукомилексы г-го ДВК выставляют запросы на предоставление соответственно первой или второй магистралей М, и М., (закрепление за полукомплексами магистралей проводится так, чтобы обеспечить их равномерную загрузку). После предоставления магистрали М, (g= 1,2) г'-му ДВК осуществляется передача СА? —? M_g —* CA_ff. В результате такой связи данные заносятся в модуль памяти Mg-го полукомплекса у'-го ДВК. Из модуля памяти g-ro полукомплекса данные передаются в модуль памяти другого полукомплекса либо через два выделенных для внутрикомплексного обмена СА (рис. 7.27, а), либо через адаптер внутренней связи А (рис. 7.27, б). Передача через адаптер /1 может быть параллельной.

Возможна модификация варианта ВЗ, при которой запрос от ДВК выставляется одновременно к разным магистралям. После предоставления доступа к одной из магистралей запрос на доступ к другой магистрали снимается на аппаратном уровне взаимодействия пары СА, что требует их модификации.

Структура кластера по рис. 7.26, в предполагает выделение при варианте ВЗ третьей магистрали для внутрикомплексных обменов на основе множественного доступа, что приводит к замедлению обмена.

Для кластеров без резервирования магистралей по рис 7.26, а возможны следующие варианты обмена:

Оценка среднего времени межкомплексного обмена. Обмен через каждую магистраль представим системой массового обслуживания типа М/М/1. Для структуры кластера по рис. 7.27 в исходном состоянии (без отказов) среднее время пребывания запросов на межкомплексный обмен (от формирования запроса до передачи данных в модули памяти обоих полукомплексов адресуемого ДВК) при вариантах обмена В1, В2, ВЗ равно.

где X — интенсивность запросов на межкомплекный обмен при дублировании передач; v — среднее время передачи через магистраль при обмене между полукомплексами; а — коэффициент, устанавливающий соотношение скорости передачи через СА и через адаптер внутрикомплексной передачи; d определяет разницу по времени предоставления доступа к разным магистралям от одного ДВК (из-за неидентичности по времени множественного доступа к разным магистралям). При детерменированных методах множественного доступа, в частности при маркерном методе (если логическое кольцо передачи полномочий для обеих магистралей совпадает и через магистрали осуществляется только дублированная передача), d близко к нулю. Для случайных методов доступа значение d может быть существенным.

Результаты расчета среднего времени пребывания запросов на межкомплексный обмен Т{Х) от интенсивности их формирования при v = 1 мс представлены на рис. 7.28. Кривые 1 и 2 соответствуют варианту обмена и В1 при d = 0,5г> мс и В2, а кривые 3—4 — обмену по варианту ВЗ при, а = 1 и, а = 0,1. Кривая 1 соответствует также варианту обмена В1 при d = 0 мс.

Проведенные расчеты показывают явное преимущество варианта обмена ВЗ, причем по мере роста интенсивности запросов X эта эффективность возрастает. Кроме того, вариант ВЗ позволяет увеличить предельную интенсивность запросов, выдерживаемую системой в условиях стационарности. Сравнение кривых 3 и 4 показывает целесообразность использования для внутрикомплексной связи высокоскоростных средств обмена. При малой интенсивности запросов вариант ВЗ может оказаться менее эффективным, но при этом следует отметить, что для практики более важно сократить время пребывания запросов при их большой интенсивности.

Рис. 7.28. Среднее время пребывания запросов на межкомплексный обмен.

Надежность кластера. Сравним надежность кластеров ДВК с резервированием магистралей межкомплексного обмена при реализации в ДВК дублированных вычислсн и й.

Для варианта обмена В1 и В2 взаимосвязь в кластере между любой парой не менее т ДВК с дублированием вычислений поддерживается при исправности пары СЛ не менее чем в т ДВК.

При варианте обмена ВЗ для кластера на рис. 7.27, б взаимосвязь между любой парой не менее т ДВК поддерживается при тех же условиях что и для предыдущего варианта обмена. Дополнительно работоспособность при варианте ВЗ обмена обеспечивается, когда не менеее чем т исправных ДВК с исправными адаптерами внутренней связи А подключаются через т исправных СА к первой магистрали (либо ко второй магистрали).

Для варианта обмена ВЗ для кластера на рис. 7.27, а и рис. 7.26, в требование исправности адаптеров А не менее чем в т исправных ДВК заменяется на исправность в них пары С А, выделенных для внутрикомплексных обменов.

Для кластера с вариантом обмена B1 (В2) коэффициент готовности кластера

а с вариантом обмена ВЗ с учетом дополнительных возможностей связи коэффициент готовности равен Р₃ = Р, + D.

причем для структур, но рис. 7.27, б имеем g = рр_а, а по рис. 7.27, a — g= (рр^)².

В вышеприведенных формулахр — вероятность работоспособных состояний ДВК, обеспечивающих дублированные вычисления;

— коэффициенты готовности СА и адаптера внутрикомплексной связи, причем Х_а, р_я, Х_гл, |д_га — интенсивности отказов и восстановлений адаптеров внутрикомплексной связи и СА.

При М = т имеем:

Расчеты проведем при Х_а = А._са = 0,0001 1/ч, р" = ц_са= 0,5 1/ч и коэффициенте готовности базового оборудования ДВК р = 0,9978. Полученные зависимости коэффициента готовности от числа ДВК представлены на рис. 7.29 при М = т. На рис. 7.29 кривая 1 соответствует коэффициенту готовности кластера при варианте обмена В1 (В2), а кривая 2 — при варианте обмена ВЗ (для структур по рис. 7.27, а и б). Кривая 3 представляет разность D коэффициентов готовности структур по рис. 7.27, б и рис. 7.26, а при варианте обмена ВЗ. Проведенные расчеты показывают, что вариант обмена ВЗ при дублированных вычислениях позволяет существенно повысить надежность кластера ДВК без увеличения расходов на его реализацию.

Среднее время пребывания запросов межкомнлексного обмена при накоплении отказов. Рассмотрим влияние отказов СА и адаптеров внутрикомплексной связи (Л) на среднее время пребывания запросов межкомплексного обмена при дублированных вычислениях. Учитывая предпочтительность варианта обмена ВЗ, он используется как основной, переход на другой вариант обмена происходит, когда отказы адаптеров не позволяют реализовать вариант обмена ВЗ.

Рассмотрим состояние системы с исправностью СА всех т ДВК и отказом адаптеров внутрикомплексиого обмена для i ДВК. В этом случае при адресации к ДВК с отказом адаптеров внутрикомплексной связи А реализуется обмен, но варианту В1, а при адресации к остальным (т — г) ДВК — но варианту ВЗ. Если суммарная интенсивность запросов в кластере на межкомнлексный обмен А, то (г/т)-я их часть требует передачи по двум магистралям, а [(/ - 1)/ш]-я часть — по одной из двух магистралей.

а среднее время пребывания запросов на межкомплексный обмен —.

Рис. 7.29. Коэффициент готовности системы дублированных комплексов

В результате интенсивность запросов, передаваемых через каждую магистраль, равна.

Зависимость среднего времени пребывания запросов на межкомплексный обмен от их интенсивности в кластере из т = 10 ДВК при накоплении отказов адаптеров внутрикомплексной связи представлена на рис. 7.30, на котором кривые 1—4 соответствуют отказу адаптеров внутрикомплексной связи в i = 0, 1, 4, 10 ДВК.

Взаимосвязь через две магистрали между /л ДВК реализуется, если все они подключены к хотя бы одной из магистралей вне зависимости от числа i отказов СА подключения ДВК ко второй магистрали, влияющего на среднее время пребывания запросов на межкомплексный обмен.

Рассмотрим случай подключения к одной из магистрали (первой) всех т ДВК, среди которых г ДВК не подключены ко второй магистрали из-за отказов СА. Если все т ДВК содержат исправные адаптеры виутрикомплексного обмена А и если при возможности передачи через любую магит;

Рис. 7.30. Зависимость среднего времени пребывания запросов на межкомплексный обмен от их интенсивности при накоплении отказов адаптеров внутрикомплексной связи

раль ее выбор проводится случайно (равновероятно), то доля запросов, передаваемых через первую магистраль, равна.

а среднее время пребывания запросов на межкомплексный обмен при выполнении условия стационарности А, пр < 1 вычисляется как.

В кластере из т = 10 ДВК при накоплении отказов СА зависимость среднего времени пребывания запросов на межкомплексный обмен от их интенсивности представлена на рис. 7. 31, на котором кривые 1—4 соответствуют отказу СА в i = 0, 1,5, 10 ДВК.

Проведенные расчеты подтверждают, что при варианте межкомплексного обмена ВЗ кластеры ДВК обладают высокой устойчивостью к отказам адаптеров связи (А и СА) и к сохранению эффективности функционирования по мере накопления отказов.

Рис. 7.31. Зависимость среднего времени пребывания запросов на межкомплексный обмен от их интенсивности при накоплении отказов СА

Дополнительно повысить эффективность обмена по варианту ВЗ при накоплении отказов адаптеров потенциально возможно при балансировке нагрузки на магистрали.

" «^г (т — iV i 1.

Если доля запросов В_; = — + — —, передаваемых только через.

тут){т — 1)

магисталь, к которой подключены i неисправных СА, не превосходит 0,5 (меньше доли запросов, которые могут быть переданы через любую из двух магистралей), то сбалансированность загрузки магистралей может быть достигнута. Если B_i < 0,5, то загрузка магистралей (и, соответственно, время пребывания передаваемых через них запросов) будет разной.

Таким образом, среднее время пребывания запросов на межкомплексный обмен при реализации балансировки загрузки магистралей можно определить как.

В кластере из т = 10 ДВК зависимость среднего времени пребывания запросов на межкомплекспый обмен по варианту ВЗ от числа i отказавших СА представлена на рис. 7.32. Кривые 1 и 2 представляют обмен с балансировкой и без балансировки загруженности магистралей при интенсивности запросов X = 1 мс" а кривые 3 и 4 — при А. = 1,1 мс'¹.

Расчеты подтверждают эффективность балансировки нагрузки при распределении запросов на межкомплексный обмен по варинту ВЗ.

Таким образом, при объединении ДВК в кластерные системы с организацией дублированных вычислений наиболее эффективен межкомплексный обмен ВЗ при передаче данных адресуемому ДВК по одной из магистралей с дальнейшей их впутрикомплексной передачей между модулями памяти полукомплексов ДВК. Указанный вариант обмена эффективен как по времени доставки данных, так и по отказоустойчивости кластеров, причем он не требует дополнительных затрат на построение системы, и его эффективность возрастает при увеличении интенсивности межкомплексных обменов.

Рис. 7.32. Зависимость среднего времени пребывания запросов на межкомплексный обмен от числа отказавших СА.