Актуальность работы. С появлением малых ЭВМ, микроЭВМ и, наконец, персональных компьютеров возникло логически обоснованное требование разработки нового подхода к организации систем обработки данных, а именно к переходу от использования отдельных ЭВМ в централизованных системах к распределенной обработке данных.
Под распределенной обработкой данных будем понимать обработку данных многомашинным вычислительным комплексом (МВК). МВК представляют собой объединённые в сеть для совместной работы компьютеры (узлы МВК), которые не имеют доступа к общей памяти или шине, и обладают доступом только к своим собственным ресурсам.
МВК имеют самое широкое распространение. Они востребованы во всех отраслях производства, где требуется высокая производительность вычислительных систем. Они нашли применение как в гражданских отраслях народного хозяйства — автомобилестроении, медицине, телекоммуникационных и банковских системах, так и в системах вооружения: в системах противоздушной обороны, авиации, ракетостроении, на флоте.
Современное развитие микроэлектронных технологий позволяет создавать производительные и при этом компактные многомашинные комплексы, предназначенные для встраиваемых применений. Компактность многомашинных комплексов достигается путем предоставления доступа к периферийным устройствам (в том числе к носителям информации) только одному из узлов многомашинного комплекса.
Примером современного отечественного компактного МВК является вычислительный комплекс, построенный на основе процессорных модулей «МВС/С» разработки ЗАО «МЦСТ» [1]. Он разработан для встраиваемых применений и ориентирован на работу в режиме реального времени и состоит из четырёх узлов, соединённых между собой быстрыми каналами связи. При этом доступом к внешним устройствам обладает только один из узлов МВК. Для загрузки всего МВК необходимо обеспечить возможность загрузки и рестарта бездисковых узлов, которые не имеют прямого доступа к данным. Причём в системах реального времени скорость загрузки и рестарта МВК являются особенно важными параметрами.
Под временем загрузки и рестарта будем понимать время, необходимое для приведения МВК в состояние готовности к работе после сигнала сброса. Под готовностью МВК к работе будем понимать возможность запуска целевой задачи на любом из его узлов. Под сигналом сброса будем понимать аппаратный сигнал, инициирующий старт либо перезапуск вычислительного комплекса.
Загрузка бездисковых узлов многомашинного комплекса предполагает использование программных методов передачи данных от узла, имеющего аппаратный доступ к носителям информации (сервера), к узлу, не имеющему такового (клиенту). Для передачи данных используются каналы связи, объединяющие вычислительные узлы в МВК. Передача данных по каналам связи приводит к дополнительным задержкам получения данных бездисковым узлом. То есть, загрузка бездискового узла всегда происходит медленнее, чем загрузка узла, имеющего доступ к носителю информации. Однако эта задержка зависит не только от скорости передачи данных по каналам связи, но и от эффективности программного обеспечения (ПО), ответственного за обмен.
Таким образом, задача повышения скорости обработки, передачи и приёма данных между узлами МВК обладает высокой степенью актуальности, особенно для многомашинных вычислительных систем реального времени.
Целью диссертационной работы является разработка и исследование методов доступа к удалённым данным в многомашинных системах с бездисковыми узлами, обеспечивающих высокую производительность, высокую скорость доступа (реактивность) к удалённым данным и низкую нагрузку на сервер. В соответствии с этой целью были определены следующие задачи:
• Исследование особенностей существующих методов доступа к удалённым данным, оценка их преимуществ и недостатков. Основными критериями оценки являются время, необходимое для приведения МВК к готовности к работе после рестарта системы, скорость доступа к удалённым данным и нагрузка, оказываемая на сервер.
• Разработка методов и алгоритмов доступа к удалённым данным в распределённых вычислительных системах, позволяющих увеличить скорость доступа, уменьшить время загрузки и рестарта, а также снизить нагрузку на сервер по сравнению с известными аналогами.
• Реализация предложенных методов и алгоритмов в виде комплекса программных средств и технологий.
Таким образом, объектом исследования являлись методы организации доступа к удалённым данным, а предметом исследования — разработка методов повышения скорости доступа к данным по сравнению с существующими методами.
Для достижения указанной цели, в диссертационной работе применялись следующие методы исследований:
• Обзор существующих методов доступа к удалённым данным.
• Анализ существующих методов доступа к удалённым данным с точки зрения скорости доступа к данным, времени загрузки и рестарта, а также оказываемой нагрузки на сервер.
• Синтез усовершенствованных методов доступа к удалённым данным, позволяющих добиться большей скорости доступа, уменьшения времени готовности к работе и уменьшения нагрузки на сервер.
• Оценка эффективности предложенных методов посредством сравнения реализации предложенных методов и наиболее распространенного аналога.
Научная новизна исследования. К составляющим научную новизну диссертационной работы решениям можно отнести:
• Реализация доступа к удалённым данным на уровне блоков файловой системы.
• Реализация методов доступа к данным полностью в пространстве ядра (или драйверов) операционной системы (ОС).
• Реализация алгоритмов единого прозрачного доступа к данным, расположенным на разных носителях.
Теоретическую значимость диссертационной работы составляют разработка методов и алгоритмов организации программного обеспечения, которые позволяют улучшить по сравнению с известными аналогами такие характеристики доступа к удалённым данным, как скорость доступа, время готовности к работе и нагрузка на сервер.
Практическая значимость диссертационной работы заключается в реализации предложенных методов и алгоритмов в виде клиентского и серверного модулей ядра операционной системы Linux и доказательстве их эффективности по сравнению с аналогами.
В частности, на основе исследований, выполненных по теме диссертации, была реализована модель «клиент-сервер» для процессорного модуля «МВС/С» в ядре ОС Linux.
Апробация. Основные положения и результаты работы докладывались на Международных и других научных конференциях: XXXII Гагаринские чтения (Москва, 2006 г.) — XXXIII Гагаринские чтения (Москва, 2007 г.) — XXXIV Гагаринские чтения (Москва, 2008 г.) — XXIII научно-техническая конференция на тему «Направление развития и применения перспективных вычислительных систем и новых информационных технологий в ВВТ РКО» (Москва, 2007 г.), а также на семинарах НТС ИМВС РАН, ЗАО «МЦСТ» и ОАО «ИНЭУМ» .
По теме диссертационной работы опубликованы семь печатных работ, в том числе в издании, рекомендованном ВАК РФ:
Кинсбурский С. А. Распределённая виртуальная файловая система для многомашинных комплексов // XXXII Гагаринские чтения. Научные труды Международной молодежной научной конференции в 8 т. Т. 6. М.: «МАТИ» -РГТУ, 2006. С. 159−161.
Кинсбурский С. А. Подход к реализации распределённой виртуальной файловой системы для многомашинных комплексов // XXXIII Гагаринские чтения. Научные труды Международной молодежной научной конференции в 8 т. Т. 6. М.: «МАТИ» -РГТУ, 2007. С. 234−235.
Кинсбурский С. А. Концепция виртуальной файловой системы на распределенных носителях // Информационные технологии, № 12, 2007. С. 12−15.
Кинсбурский С. А. Распределённая виртуальная файловая система // в/ч 3 425 (НИЦ 4ЦНИИ МО РВ), XXIII научно-техническая конференция на тему «Направление развития и применения перспективных вычислительных систем и новых информационных технологий в ВВТ РКО», 2007 г.
Кинсбурский С. А. Характеристики распределённой виртуальной файловой системы // XXXIV Гагаринские чтения. Научные труды Международной молодежной научной конференции в 8 т. Т. 6. М.: «МАТИ» — РГТУ, 2008. С. 188−190.
Кинсбурский С. А. Распределённые файловые системы и основные проблемы повышения скорости доступа к удалённым данным // Компьютеры в учебном процессе. 2008. № 5. С. 3−12.
Кинсбурский С.А., ОКР «Созвездие — М 2», «Разработка предложений по использованию средств вычислительной техники в составе мобильного сервера, мобильных, переносных и переносимых ПТК», Шифр «СозвездиеМ 2 — МЦСТ», ТВГИ.460 659.018 ПЗ, 2008 г.
Краткое содержание работы.
Во введении обоснована актуальность работы, поставлена цель исследования и определены задачи, решаемые для её достижения. Отмечена научная новизна исследования и дана краткая характеристика содержания работы и её результатов.
В первой главе диссертации производится общий обзор распределённых вычислительных систем, проводится анализ требований к методам доступа к удалённым данным. Далее приводятся характеристики и анализ современных методов хранения и доступа к данным в вычислительных системах. Завершает главу обзор и анализ существующих методов доступа к удалённым данным. На основе анализа осуществляется постановка задачи диссертационной работы.
Во второй главе диссертации описываются новые методы и алгоритмы, позволяющие повысить эффективность доступа к удалённым данным в распределённых вычислительных системах. Описываются этапы разработки новой архитектуры распределённой файловой системы, характеризующейся быстрым временем доступа к данным, загрузки и рестарта и также низкой нагрузкой на сервер. Проводится аналитическая оценка эффективности предложенной архитектуры быстрой распределённой файловой системы на основе модели взаимодействия открытых систем OSI. Приводится анализ дополнительного преимущества блочной адресации данных, реализованного в новой архитектуре.
В третьей главе описывается реализация быстрой распределённой файловой системы. Приводится реализация методов взаимодействия программ обслуживания быстрой распределённой файловой системы с драйвером каналов связи. Описывается реализация протокола взаимодействия между сервером и клиентом быстрой распределённой файловой системы. Далее приводится описание реализации клиента быстрой распределённой файловой системы. Завершает главу описание реализации сервера быстрой распределённой файловой системы.
В четвёртой главе приводятся результаты сравнения характеристик быстрой распределённой файловой системы и сетевой файловой системы NFS.
8. Основные результаты имитационного моделирования быстрой распределённой файловой системы показали эффективность следующих характеристик системы: высокая скорость доступа к удалённым данным, составляющая порядка 90% от скорости доступа к локальным даннымвысокая предсказуемость времени доступа к данным: разброс составляет порядка 4%- высокая скорость инициализации после старта/рестартанизкая нагрузка на узел-сервер — уменьшение производительности узла-сервера составляет не более 10% при интенсивном обмене данными с одним узлом-клиентом.
Заключение
.
