Этапы эволюции информационных технологий

Рис. 3.1. Временные фазы развития управления данными.

В нулевом поколении (4000 г. до н.э. — 1900 г.) в течение шести тысяч лет наблюдалась эволюция от глиняных таблиц к папирусу, затем к пергаменту и, наконец, к бумаге. Имелось много новшеств в представлении данных: фонетические алфавиты, сочинения, книги, библиотеки, бумажные и печатные издания. Это были большие достижения, но обработка информации в эту эпоху осуществлялась вручную.

Первое поколение (1900−1955) связано с технологией перфокарт, когда запись данных представлялась на них в виде двоичных структур. Процветание компании IBM в период 1915—1960 гг. связано с производством электромеханического оборудования для записи данных на карты, сортировки и составления таблиц. Громоздкость оборудования, необходимость хранения громадного количества перфокарт предопределили появление новой технологии, которая должна была вытеснить электромеханические компьютеры.

Второе поколение (программируемое оборудование обработки записей, 1955−1980 гг.) связано с появлением технологии магнитных лент, каждая из которых могла хранить информацию десяти тысяч перфокарт. Для обработки информации были разработаны электронные компьютеры с хранимыми программами, которые могли обрабатывать сотни записей в секунду. Ключевым моментом этой новой технологии было программное обеспечение, с помощью которого сравнительно легко можно было программировать и использовать компьютеры.

Программное обеспечение этого времени поддерживало модель обработки записей на основе файлов. Типовые программы последовательно читали несколько входных файлов и производили на выходе новые файлы. Для облегчения определения этих ориентированных на записи последовательных задач были созданы COBOL и несколько других языков программирования. Операционные системы обеспечивали абстракцию файла для хранения этих записей, язык управления выполнением заданий и планировщик заданий для управления потоком работ.

Системы пакетной обработки транзакций сохраняли их на картах или лентах и собирали в пакеты для последующей обработки. Раз в день эти пакеты транзакций сортировались. Отсортированные транзакции сливались с хранимой на ленте намного большей по размерам базой данных (основным файлом) для производства нового основного файла. На основе этого основного файла также производился отчет, который использовался как гроссбух на следующий бизнес-день. Пакетная обработка позволяла очень эффективно использовать компьютеры, но обладала двумя серьезными ограничениями: невозможностью распознавания ошибки до обработки основного файла и отсутствием оперативного знания о текущей информации.

Третье поколение (оперативные базы данных, 1965−1980 гг.) связано с внедрением оперативного доступа к данным в интерактивном режиме, основанном на использовании систем баз данных с оперативными транзакциями.

Технические средства для подключения к компьютеру интерактивных компьютерных терминалов прошли путь развития от телетайпов к простым алфавитно-цифровым дисплеям и, наконец, к сегодняшним интеллектуальным терминалам, основанным на технологии персональных компьютеров.

Оперативные базы данных хранились на магнитных дисках или барабанах, которые обеспечивали доступ к любому элементу данных за доли секунды. Эти устройства и программное обеспечение управления данными давали возможность программам считывать несколько записей, изменять их и затем возвращать новые значения оперативному пользователю. В начале системы обеспечивали простой поиск данных: либо прямой поиск по номеру записи, либо ассоциативный поиск по ключу.

Простые индексно-последовательные организации записей быстро развились в более мощную модель, ориентированную на наборы. Модели данных прошли эволюционный путь развития от иерархических и сетевых к реляционным.

В этих ранних базах данных поддерживались три вида схем данных:

• • логическая, которая определяет глобальный логический проект записей базы данных и связей между записями;
• • физическая, описывающая физическое размещение записей базы данных на устройствах памяти и в файлах, а также индексы, нужные для поддержания логических связей;
• • предоставляемая каждому приложению подсхема, раскрывающая только часть логической схемы, которую использует программа.

Механизм логических и физических схем и подсхем обеспечивал независимость данных. И на самом деле многие программы, написанные в ту эпоху, все еще работают сегодня с использованием той же самой подсхемы, с которой все начиналось, хотя логическая и физическая схемы абсолютно изменились.

К 1980 г. сетевые (и иерархические) модели данных, ориентированные на наборы записей, стали очень популярны. Однако навигационный программный интерфейс был низкого уровня, что послужило толчком к дальнейшему совершенствованию информационных технологий.

Четвертое поколение (реляционные базы данных: архитектура «клиент — сервер», 1980−1995 гг.) явилось альтернативой низкоуровневому интерфейсу. Идея реляционной модели состоит в единообразном представлении сущности и связи. Реляционная модель данных обладает унифицированным языком для определения данных, навигации по данным и манипулирования данными. Работы в этом направлении породили язык, названный SQL, принятый в качестве стандарта.

Сегодня почти все системы баз данных обеспечивают интерфейс SQL. Кроме того, во всех системах поддерживаются собственные расширения, выходящие за рамки этого стандарта.

Кроме повышения продуктивности и простоты использования реляционная модель обладает некоторыми неожиданными преимуществами. Она оказалась хорошо пригодной к использованию в архитектуре «клиент-сервер», параллельной обработке и графических пользовательских интерфейсах. Приложение «клиент-сервер» разбивается на две части. Клиентская часть отвечает за поддержку ввода и представление выходных данных для пользователя или клиентского устройства. Сервер отвечает за хранение базы данных, обработку клиентских запросов к базе данных, возврат клиенту общего ответа. Реляционный интерфейс особенно удобен для использования в архитектуре «клиент-сервер», поскольку приводит к обмену высокоуровневыми запросами и ответами. Высокоуровневый интерфейс SQL минимизирует коммуникации между клиентом и сервером. Сегодня многие клиент-серверные средства строятся на основе протокола Open Database Connectivity (ODBC), который обеспечивает для клиента стандартный механизм запросов высокого уровня к серверу. Архитектура «клиент-сервер» продолжает развиваться. Как разъясняется в следующем разделе, имеется возрастающая тенденция интеграции процедур в серверах баз данных. В частности, такие процедурные языки, как BASIC и Java, были добавлены к серверам, чтобы клиенты могли вызывать прикладные процедуры, выполняемые на них.

Параллельная обработка баз данных была вторым неожиданным преимуществом реляционной модели. Отношения являются однородными множествами записей. Реляционная модель включает набор операций, замкнутых по композиции: каждая операция получает отношения на входе и производит отношение как результат. Поэтому реляционные операции естественным образом предоставляют возможности конвейерного параллелизма путем направления вывода одной операции на вход следующей.

Реляционные данные также хорошо приспособлены к графическим пользовательским интерфейсам (GUI). Пользователи легко могут создавать отношения в виде электронных таблиц и визуально манипулировать ими.

Между тем файловые системы и системы, ориентированные на наборы, оставались «рабочими лошадками» многих корпораций. С годами эти корпорации построили громадные приложения и не могли легко перейти к использованию реляционных систем. Реляционные системы скорее стали ключевым средством для новых клиент-серверных приложений.

Пятое поколение (мультимедийные базы данных, с 1995 г.) связано с переходом от традиционных хранящих числа и символы, к объектно-реляционным, содержащим данные со сложным поведением. Например, географам следует иметь возможность реализации карт, специалистам в области текстов имеет смысл реализовывать индексацию и выборку текстов, специалистам по графическим образам стоило бы реализовать библиотеки типов для работы с образами. Конкретным примером может служить распространенный объективный тип временны? х рядов. Вместо встраивания этого объекта в систему баз рекомендуется реализация соответствующего типа в виде библиотеки классов с методами для создания, обновления и удаления временных рядов.

Быстрое развитие Интернета усиливает эти дебаты. Клиенты и серверы Интернета строятся с использованием апплетов и «хелперов», которые сохраняют, обрабатывают и отображают данные того или иного типа. Пользователи вставляют эти апплеты в браузер или сервер. Общераспространенные апплеты управляют звуком, графикой, видео, электронными таблицами, графами. Для каждого из ассоциированных с этими апплетами типов данных имеется библиотека классов. Настольные компьютеры и Web-браузеры являются распространенными источниками и приемниками большей части данных. Поэтому типы и объектные модели, используемые в настольных компьютерах, будут диктовать, какие библиотеки классов должны поддерживаться на серверах баз данных.

Подводя итог, следует отметить, что базы данных призваны хранить не только числа и текст. Они используются для хранения многих видов объектов и связей между этими объектами, что мы видим в World Wide Web. Различие между базой данных и остальной частью Web становится неясным.

Чтобы приблизиться к современному состоянию технологии управления данными, имеет смысл описать два крупных проекта, в которых используются предельные возможности сегодняшней технологии [10]. Система Earth Observation System/Data Information System (EOS/DIS) разрабатывается агентством NASA и его подрядчиками для хранения всех данных, которые начали поступать со спутников серии «Миссия к планете Земля» с 1977 г. Объем базы данных, включающей данные от удаленных сенсорных датчиков, будет расти на 5 Тбайт в день (1 Тбайт — 106 Гбайт). К 2007 г. размер базы данных вырастет до 15 Пбайт. Это в 1000 раз больше объема самых больших современных оперативных баз данных. NASA желает, чтобы эта база данных была доступна каждому в любом месте и в любое время. Любой человек сможет осуществлять поиск, анализ и визуализацию данных из этой базы. Для построения EOS/DIS потребуются наиболее развитые методы хранения, поиска и визуализации данных. Большая часть данных будет обладать пространственными и временными характеристиками, так что для системы потребуются существенное развитие технологии хранения данных этих типов, а также библиотеки классов для различных научных наборов данных. Например, для этого приложения потребуется библиотека для определения снежного покрова, каталога растительных форм, анализа облачности и других физических свойств образов.

Другим впечатляющим примером базы данных является создаваемая всемирная библиотека. Многие ведомственные библиотеки открывают доступ к своим хранилищам в режиме on-line. Новая научная литература публикуется в режиме on-line. Такой вид публикаций поднимает трудные социальные вопросы по поводу авторских прав и интеллектуальной собственности и заставляет решать глубокие технические проблемы. Пугают размеры и многообразие информации. Информация появляется на многих языках, во многих форматах данных и в громадных объемах. При применении традиционных подходов к организации такой информации (автор, тема, название) не используются мощности компьютеров для поиска информации по содержимому, для связывания документов и для группирования сходных документов. Поиск требуемой информации в море документов, карт, фотографий, аудиои видеоинформации представляет собой захватывающую и трудную проблему.

Быстрое развитие технологий хранения информации, коммуникаций и обработки позволяет переместить всю информацию в киберпространство. Программное обеспечение для определения, поиска и визуализации оперативно доступной информации — ключ к созданию и доступу к такой информации. Основные задачи, которые необходимо решить:

• • определение моделей данных для их новых типов (например, пространственных, темпоральных, графических) и их интеграция с традиционными системами баз данных;
• • масштабирование баз данных по размеру (до петабайт), пространственному размещению (распределенные) и многообразию (неоднородные);
• • автоматическое обнаружение тенденций данных, структур и аномалий (поиск, анализ данных);
• • интеграция (комбинирование) данных из нескольких источников;
• • создание сценариев и управление потоком работ (процессом) и данными в организациях;
• • автоматизация проектирования и администрирования базами данных.