Важнейшей областью применения вычислительных машин в настоящее время является информационное обеспечение объектов управления. Информационные задачи, возникающие при этом, предъявляют повышенные требования к организации хранения и доступа к данным.
Настоящая диссертация посвящена актуальной теме совершенствования общесистемного математического обеспечения, связанного с организацией доступа и хранения информации и составляющего основу для решения информационных задач.
Предлагаемый в диссертации комплекс программных средств, разработанных автором или под его непосредственным руководством, реализует новый подход к расширению возможностей ОС ЕС ЭВМ в области организации доступа к данным, расположенным на устройствах внешней памяти прямого доступа (магнитных дисках).
При этом за основу физического доступа к данным принимается стандартно принятая в ОС ЕС организация данных на магниных дисках и соответствующие методы доступа. Это позволяет выполнять сервисные работы по обслуживанию и хранению информации с использованием обычных стандартных утилит ОС ЕС.
Предлагаемое расширение возможностей ОС ЕС ЭВМ заключается в следующем.
При непосредственном использовании методов доступа, стандартно входящих в ОС ЕС, пользователь имеет дело с информационными объектами (файлами), имеющими собственную физическую организацию, зависящую от типа устройства, на котором они располагаются. Логическая же организация файлов при этом не зависит от физического носителя информации. Поэтому для уточнения физической привязки при осуществлении доступа к данным из обрабатывающей программы, все необходимые для работы файлы описываются на внешнем по отношению к программе языке управления заданиями (ЛС/-). Эти описания, осуществляющиеся при помощи 3)2) -предложений языка, содержат указания операционной системе о том, где расположены необходимые наборы данных и о типе физических устройств, на которых они размещены.
При сравнительно небольшом количестве (до нескольких десятков) файлов, требующихся одновременно, такой способ организации доступа к данным имеет неоспоримые преимущества, заключающиеся в отсутствии необходимости перепрограммирования при изменении физического месторасположения файлов и при переходе к другим файлам и типам устройств внешней памяти.
Однако, если задача требует одновременной обработки большого числа (нескольких сотен и более) файлов, то необходимость их дополнительного описания в Ъ2> -предложениях и, особенно, последующего индивидуального поддержания может привести к серьезным технологическим трудностям. Кроме того, как показывает статистика, большинство ошибок, совершаемых программистами при отладке программ, приходится на ?2) -предложения языка управления заданиями [ М ].
Расширение возможностей ОС ЕС, предлагаемое автором диссертации, позволяет преодолеть трудности такого рода. Смысл расширения заключается в том, что стандартные файлы в ОС ЕС рассматриваются не как информационные объекты, а как соответствующим образом организованные виртуальные области памяти на внешнем носителе прямого доступа. Такая область памяти имеет логическую структуру" определяемую типом логической организации соответствующего файла. Виртуальность обеспечивается свойством независимости логического файла ОС ЕС от параметров своей физической организации и месторасположения.
Все множество логических объектов (файлов), рассматриваемых с точки зрения предлагаемого расширения, должно поддерживаться внутри вышеуказанной области памяти при помощи специального программного средства — метода доступа более высокого уровня, чем стандартные в ОС ЕС методы доступа, поддерживающие доступ только к отдельному файлу. Заметим, что среди стандартных методов доступа имеется исключение. Это библиотечный метод доступа 5РАМ, поддерживающий одновременный доступ ко множеству разделов, являющихся файлами с последовательной организацией. Особенности библиотечной организации существенно суживают область непосредственного применения ЗРАМ .
Область виртуальной памяти на магнитных дисках, внутри которой поддерживается множество логических объектов, с точки зрения ОС ЕС может представляться одним или несколькими стандартными файлами ОС ЕС. Однако число этих файлов не должно зависеть от количества элементов поддерживаемого множества. В этом случае только одно или ограниченное число ОЕ> -предложений потребуется для описания целого множества информационных объектов, независимо от числа составляющих его элементов.
Специальный интерфейсный метод доступа (СИМД), разработанный автором диссертации и составляющий основной предмет изложения данной работы, полностью удовлетворяет приведенным выше принципам организации доступа к данным. СИМД представляет собой метод доступа высокого уровня к данным, расположенным на магнитных дисках, и имеющих специальную организацию. СИМД поддерживает обычный пользовательский взгляд на организацию данных как на множество поименованных совокупностей порций информации произвольного размера. Поименованная совокупность порций информации соответствует логическому файлу, а отдельная порция — логической записи.
Все множество файлов, структурированных таким образом, располагается внутри двух базисных наборов данных, имеющих стандартную организацию в ОС ЕС. Один из них имеет библиотечную организацию, другой — прямую. Файл с прямой организацией играет роль страничной памяти, а на основе библиотечного файла построена система индексов, позволяющая идентифицировать данные, расположенные на страницах прямого набора данных.
СИМД осуществляет прямой доступ к записям произвольной длины, идентифицируя их по порядковому номеру в файлах, и с последовательным поиском в индексах, при идентификации по ключам. Все файлы, расположенные в двух базисных наборах данных, доступны при помощи СИМД одновременно. Для того, чтобы породить новый информационный объект — файл — достаточно предъявить его имя. Только два базисных набора данных должны описываться в 2)2) -предложениях.
Следует заметить, что СИМД как метод доступа поддерживает организацию данных, являющуюся расширением и развитием стандартной библиотечной организации ОС ЕС, играющей важнейшую роль в системе математического обеспечения ОС ЕС ЭВМ.
Библиотечная организация при всех своих достоинствах, за-ключающися в возможности одновременного доступа ко множеству логических объектов — разделов, имеет ряд недостатков, если ее использовать для доступа и хранения произвольной информации. Так, разделы библиотечного набора данных имеют только последовательную организацию. При модификации раздела любое изменение его длины приводит к размещению его на новом месте, что требует частых реорганизаций (сжатия) всего библиотечного набора.
Тем не менее, как средство для хранения программ — объектов, представляющих собой единое и неделимое целое, — библиотечная организация оказывается наиболее приспособленной и в различных вариациях, так или иначе, присутствует во всех СМО современных ЭВМ.
Принципы, которым следует реализация СИМД, могут быть полезны при разработке библиотечной организации для новых ЭВМ, отличных от ЕС ЭВМ. Это позволит избежать тех недостатков, которые присущи стандартной библиотечной организации в ОС ЕС, и создать такую организацию, которая сочетает удобство для хранения программ с возможностью более широкого применения, в частности, для хранения произвольных данных с прямым доступом.
Преимущества предлагаемого в данной диссертации подхода наиболее полно проявляются при работе с большим количеством информационных объектов, подверженных частым изменениям.
Большое количество информационных объектов возникает в тех задачах, которые требуют применения систем управления базами данных (СУБД), а также при разработке самих СУБД. Современный уровень методологии решения информационных задач требует применения СУБД даже для сравнительно простых задач с тем, чтобы не возникало необходимости перепрограммирования, в случае изменения информационной модели. Однако использование для этой цели больших и сложных (ЗУБД зачастую оказывается весьма проблематичным. В диссертации дается анализ этой ситуации и причин, к ней приводящих, а также делается вывод о том, что программная система, удовлетворяющая принципам организации данных, которым следует СИМД, может использоваться как базисная СУБД, решающая указанные проблемы. Под базисной СУБД в данном случае понимается программное средство, обладающее некоторыми возможностями сложных СУБД (такими, например, как возможность осуществления межфайловой связи), минимально возможной ресурсоемкостью при достаточном быстродействии, простотой обслуживания и доступа к информации и, наконец, средствами расширения своих возможностей, доступных пользователю.
Основной целью диссертационной работы явилось создание программной системы в виде законченного программного продукта, способного к практическому применению, по функциональным возможностям полностью соответствующей требованиям, предъявляемым к базисной СУБД.
При выполнении диссертационной работы использовались элементы и результаты теории структурного программирования, исследования и результаты по страничной организации внешней памяти и буферизации, методы повышения надежности программных систем и стандартные методы доступа в ОС ЕС ЭВМ.
В работе сформулированы и обоснованы принципы, которым должна отвечать базисная СУБД. Разработана структура программного комплекса СИМД — ядра системы, удовлетворяющая предложенным новым принципам расширения возможностей ОС ЕС, позволяющего реализовать базисную СУБД. Разработан состав и структура программных надстроек и сервисных средств СИМД, обеспечивающих реализацию базисной СУБД.
Архитектура системы следует модульному иерархическому принципу построения, является оригинальной и учитывает удобство и технологичность практического использования, а также обеспечивает высокую надежность программного продукта.
В системе использованы новые алгоритмы и методы страничной организации, а также специальный алгоритм независимой буферизации доступа ко множеству логических объектов базы данных.
Реализована и внедрена программная система со всеми надстройками, расширениями и совокупностью сервисных средств, соответствующая требованиям к базисной СУБД.
Практическое использование разработанной системы показало ее высокую эффективность при минимуме ресурсозатрат, по сравнению с другими СУБД, относящимися к классу больших.
Обращение к СИМД возможно осуществить из языков программирования высокого уровня (Ш1/1, ФОРТРАН) при помощи стандартного вызова подпрограмм CALL с параметрами. Набор параметров позволяет обращаться к СЩЦ как с простейшими запросами, так и использовать его для сложных применений квалифицированными программистами.
Поддержание базисных файлов СИМД осуществляется при помощи стандартных в ОС ЕС утилит. Внутренняя структура базисных файлов, представляющая собой множество логических файлов, поддерживаемых СЩЦ, обслуживается специальной системой реорганизации баз данных, поставляемой вместе с СРВД.
Как программная система СИЬЩ состоит из 30 модулей, объединенных в один загрузочный модуль с несколькими точками входа, соответствующими функциональным возможностям СИМД. В памяти ЭВМ СИМД занимает не более 17 К (без учета затрат на буфера и пространства для стандартных методов доступа, на которых базируется СИМД). СИМД реализован на языке АССЕМБЛЕРаобщее количество операторов без учета программных надстроек и сервисных средств составляет около 4 тысяч. Программные расширения СИМД и сервисные средства реализованы на языке ПЛ/I общим объемом около 4 тысяч операторов этого языка.
Для того, чтобы установить СИЪЩ на ЭВМ, требуются простейшие действия, доступные проблемному программисту низкой квалификации, заключающиеся в сбросе библиотеки с загрузочными модулями СИМД с магнитной ленты на магнитный диск.
Практические испытания СЩЦ дали следующие результаты оценки быстродействия. Среднее время доступа к записи размером в I К при последовательном чтении составляет 20 млсек. на ЭВМ ЕС 1055 (диск типа ЕС 5061). Эта величина меняется не более, чем на 5% при переходе на ЭВМ ЕС 1033. Среднее время чтения записи такого же размера в режиме случайного доступа равно 260 млсек. Для сравнения отметим, что среднее время аппаратного доступа к дорожке магнитного диска типа ЕС 5061 составляет величину 50 млсек. Но при переходе от цилиндра к цилиндру, что имеет место при большом объеме библиотечного набора данных, это время составляет 80 млсек., т. е. время считывания страницы индекса занимает не менее 160 млсек. (обращение к справочнику, а затем к разделу-странице). К этому времени следует приплюсовать время случайного доступа к странице данных — 80 млсек. Таким образом, время доступа к случайной записи, определяемое аппаратными возможностями, не может быть меньше 240 млсек.
Приведенные результаты показывают, что СЩЦ обеспечивает практически предельное быстродействие доступа к данным на магнитных дисках, поддерживая при этом пользовательский интерфейс достаточно высокого уровня.
Результаты диссертационной работы в виде готового программного продукта внедрены на ряде предприятий отраслевого подчинения и системы Академии наук СССР. (Акты о внедрении прилагаются) .
Диссертация состоит из введения, пяти глав, заключения, списка литературы (60 наименований) и приложения.
Выводы: данная глава посвящена описанию программной реализации СЩЦ, приведена модульная структура СЩЦ, описаны управляющие таблицы и блоки, способы взаимодействия внутренних модулей с ними и между собой, механизм и алгоритм буферизации. Приведены описания особенностей использования стандартных методов доступа, на которых основывается СЩЦ и краткие сведения об основных внутренних модулях СЩЦ и принципах их работы.
ГЛАВА 5. АНАЛИЗ ВОЗМОЖНОСТЕЙ ПРИМЕНЕНИЯ СИМД.
Возможности и способы применения СИМД.
Наиболее простой формой применения СИМД является использование его в качестве метода доступа высокого уровня к данным, расположенным в произвольном порядке в одном логическом файле. Работа с прямым методом доступа 31) А М обычно вызывает затруднение, когда записи должны иметь переменный формат и могут менять свои размеры в процессе обработки. Пользователь должен также заботиться о первоначальной процедуре создания прямого набора данных. Эта процедура заключается в «росписи» пространства, зарезервированного для прямого набора на магнитном диске, фиктивными или «чистыми» записями. Дальнейшая работа с прямым набором фактически сводится к модификации записей созданного набора данных. Все неудобства работы с прямым методом доступа, включая процедуру создания, при работе с СИМД автоматически устраняются. Возможность последовательного поиска в индексах с автоматической буферизацией при использовании СЩД приближает его скоростные характеристики к стандартным последовательным методам доступа, дающим максимальное быстродействие при последовательных просмотрах.
Дальнейшее усложнение применения СИЭДЦ, и при том наиболее существенное с точки зрения отличия от стандартной организации файлов в ОС ЕС, заключается в использовании его в качестве средства доступа к целому множеству информационных объектов — СИОДЦ-файлов.
Такое средство в простейшем случае позволяет динамически структурировать данные в виде расширяющегося множества файлов с независимым доступом к каждой отдельной логической записи, притом в произвольном порядке и из любого файла. Уже на этом уровне применения СИМД можно рассматривать как СУБД.
Использование системы IОб YMD приводит к применению базисной СУБД в полном объеме. Здесь уже поддерживаются более сложные структуры данных, включающие в себя поля логических записей.
Следует заметить, что использование систем СИЬЩ и 10SYMD в сочетании с диалоговым редактором текстов edsymd представляется весьма эффективным при создании на их основе более сложных СУБД. Особенно это касается баз данных, хранящих информацию, подверженную частым модификациям и дополнениям в процессе обработки.
Возможность динамической структуризации, реализованная в СИВД, представляется полезной при разработке на его основе СУБД реляционного типа и других, связанных с необходимостью «вычислять» новый информационный объект в процессе поиска ответа на запрос.
Весьма перспективным является применение СИЩ для реализации сетевых протоколов высокого уровня при создании сетей ЭВМ. Возможность динамического определения СИМД-файлов в процессе работы в сочетании с телекоммуникационным математическим обеспечением ОС ЕС позволяет организовывать очереди пакетов сообщений на пользовательском уровне и управлять их коммутацией в диалоговом режиме.
Имеются практические реализации и опыт применения перечисленных способов использования описанных в диссертации программных средств.
В качестве СУБД системы СОДД, JOB YMD и EDS YMD успешно применяются в созданных в ряде организаций базах данных.
К таким организациям относятся, в частности, в/ч 77 183, в/ч 25 840, Научно-исследовательский институт автоматических приборов, институт экономики и организации промышленного производства СО АН СССР, Военный инженерный краснознаменный институт им. А. Ф. Можайского и др. Акты о приемке системы в эксплуатацию прилагаются (приложение).
СЩЦ и система 10£>УМВ успешно использовались в качестве основы управления телекоммуникационной базой данных, разработанной автором диссертации в ИКЙ АН СССР, применявшейся для реализации сетевого протокола при передаче информации с ИСЗ «Интеркосмос Б-1300» по прямому телефонному каналу связи «Москва — София» в 1981;1982 гг.
Дальнейшее расширение возможностей СИВД и его применений связано с реализацией полноценного доступа к базам данных, поддерживаемых СИМД, одновременно из множества независимых заданий. Кроме того, применение СИМД ограничивается объемом информации, которую можно разместить в базовых наборах данных. Так, библиотечный набор не может занимать пространство большее, чем на одном томе магнитных дисков. Последнее обстоятельство легко обходится использованием специальной возможности динамического переключения на другую базу данных. Механизм и правила данного переключения описаны в инструкции пользователю СИМД, поставляемой вместе с СИМД. Однако применение данной возможности исключает обращение к одной и той же базе данных из разных независимых заданий одновременно.
Простейшим способом выхода из этого положения является использование СИЬЩ в сочетании с интерфейсом с общим телекоммуникационным методом доступа (ОТЭД) в виде прикладной программы ОТМД. В этом случае синхронизацию одновременного обращения к СИМД будет выполнять программа управления сообщениями (ПУС) ОТМД.
Такой подход позволяет обеспечить стыковку СИМД с другими широко применяемыми системами, в частности с системой «КАМА», которая плохо стыкуется с обычными методами доступа ОС ЕС, но хорошос ОВД.
Другим способом осуществления множественного обращения к СИМД может явиться написание специальной синхронизирующей супер-визорной программы, обращение к которой осуществляется при помощи соответствующего? VCвызова, связывающего СИМД и обращающиеся программы.
Перечисленные пути расширения возможностей СЩЦ находятся в разработке. Их реализация, как представляется, улучшит эксплуатационные характеристики СИМД, повысит эффективность его применения, особенно в сочетании с другими программными средствами и СУБД, и найдет новые области применения.
ЗАКЛЮЧЕНИЕ
.
В диссертационной работе исследованы причины возникновения технологических трудностей, возникающих при практической организации доступа и хранения данных в виде множества информационных объектов в рамках ОС ЕС ЭВМ. Предложенный автором новый, в отличие от традиционного, взгляд на файлы ОС ЕС как на виртуальные области внешней памяти, а не как на информационные объекты, позволяет преодолеть эти трудности. При этом множество логических информационных объектов (файлов) поддерживается внутри этих виртуальных областей памяти при помощи специального метода доступа высокого уровня.
Подобный метод доступа может рассматриваться как СУБД с точки зрения обеспечения одновременного доступа ко множеству логических файлов и возможности представления данных, в соответствии с современными подходами к построению СУБД, а также наличия механизма расширения этих возможностей, доступного пользователю.
В результате проведенных исследований разработана программная система, удовлетворяющая требованиям, предъявляемым к подобного рода базисным СУБД. Данная система отличается высокой надежностью и технологичностью практического использования. Система построена по модульному принципу, использует страничную организацию внешней памяти и независимую буферизацию (во время доступа ко множеству логических объектов), следуя новым алгоритмам, предложенным автором.
Разработанная система включает в себя реализованный принцип расширения возможностей ОС ЕС в виде ядра системы — СИВД, интерфейс с языком программирования ПЛ/1, диалоговый (с экрана дисплея) редактор текстов, содержащихся в базе данных и систему реорганизации баз данных. Весь этот набор возможностей позволяет широко использовать предлагаемый автором подход на практике совместно со стандартным сервисным набором ОС ЕС.
