Технология хранения информации

Собранная информация, переведённая в электронную форму, представляет собой одну из основных ценностей любой современной организации, поэтому обеспечение надёжного хранения и оперативного доступа к информации для дальнейшей её обработки являются приоритетными задачами. Процедура хранения информации заключается в формировании и поддержке структуры хранения данных в памяти ЭВМ.

Несмотря на высокий уровень развития современных информационных технологий, на данный момент не существует универсальной методики построения системы хранения данных, которая была бы приемлемой для большинства организаций. В каждом отдельном случае такая задача решается индивидуально, однако представляется возможным сформулировать основные требования, предъявляемые к современным структурам хранения:

Основные требования, предъявляемые к структурам хранения:

независимость от программ, использующих хранимые данные;

обеспечение полноты и минимальной избыточности данных;

возможность актуализации данных (т. е. пополнения или изменения значений данных, записанных в базе);

возможность извлечения данных, а также сортировки и поиска по заданным критериям.

Наиболее часто в роли структур хранения данных выступают базы или банки данных.

База данных (БД) — специально организованная совокупность взаимосвязанных данных, отражающих состояние выделенной предметной области в реальной действительности и предназначенной для совместного использования при решении задач многими пользователями.

БД представляет собой комплекс информационных, технических, программных, лингвистических и организационных средств, обеспечивающих сбор, хранение, поиск и обработку данных.

Банк данных — универсальная база данных, обслуживающая любые запросы прикладных программ вместе с соответствующим программным обеспечением.

Для обеспечения доступа к базе данных, составления обобщённых и детализированных отчётов, выполнения анализа данных с помощью запросов используются системы управления базами данных (СУБД). Среди наиболее ярких можно отметить: Lotus Approach, Microsoft Access, Borland dBase, Borland Paradox, Microsoft Visual FoxPro, а также базы данных Microsoft SQL Server и Oracle, используемые в приложениях, построенных по технологии «клиент — сервер».

Кроме баз и банков данных, современную структуру хранения информации предоставляют хранилища данных, которые включают следующие функциональные блоки:

инструменты настройки информационной модели, отражающей все виды информации, необходимой для решения задач предприятия;

репозиторий метаданных, т. е. описание структуры хранилища данных, доступное как внутренним программам хранилища, так и внешним системам, обеспечивающее гибкость хранилища;

технология сбора данных из внешних источников, а также из удалённых подразделений с помощью двух методов:

применение средств ETL (Extract, Transformation, Loadin — извлечение, трансформация, загрузка), присущих специальным системам, для извлечения данных из других баз данных, трансформации в соответствии с правилами, описанными в системе, и загрузки в хранилище данных;

применение стандартного формата сбора данных и разработка процедур их выгрузки на стороне источника, что обеспечивает однородность данных, извлечённых из разных систем, и децентрализацию разработки за счёт передачи её специалистам, знающим исходную систему;

механизмы расчёта агрегатов и показателей, базирующихся на детальных данных хранилища, с помощью технологий иерархической настройки структуры данных или показателей, а также встроенного языка программирования;

пользовательские интерфейсы, позволяющие коллективу сотрудников разделять функции и выполнять различные задачи, включая администрирование, дизайн приложений, технологическую поддержку хранилища, анализ данных по запросам и т. д.;

механизмы выполнения произвольных запросов, включая средства генерации запросов и необходимых индексов;

инструменты настройки и выпуска отчетов как конечных продуктов хранилища данных, в том числе отчетов регламентированной формы, аналитических и настраиваемых пользователем.

Следует отметить, что немаловажным требованием к любой системе хранения данных является обеспечение резервного копирования, архивирования, структурированного хранения и восстановления данных в требуемые сроки (рис. 2).

Эти операции можно организовать с помощью пофайлового анализа подлежащих хранению данных, учитывающего даты создания, модификации и последнего обращения к файлам, их расширение, расположение в каталогах файловой системы и т. д. Рассмотрим эти операции более подробно.

Резервное копирование — это создание копий файлов для быстрого восстановления работоспособности системы при возникновении аварийной ситуации. Копии файлов хранятся на резервных носителях в течение определённого времени, а затем перезаписываются. Различают полное, инкрементальное и дифференциальное резервное копирование.

Полное резервное копирование предполагает создание копий всех данных, подлежащих резервному копированию, что позволяет в случае аварийной ситуации быстро восстановить информацию; однако такое копирование занимает довольно продолжительное время.

Рис. 2 Операции для быстрого восстановления данных в системах хранения

обработка кодирование идентификация Дифференциальное резервное копирование предполагает дублирование только тех файлов, которые были созданы или изменены с момента проведения предыдущего сеанса полного копирования. При возникновении аварийной ситуации для восстановления данных потребуются последняя полная и дифференциальная копии.

Инкрементальное резервное копирование предполагает создание копий только тех файлов, которые были созданы или изменены с момента последнего полного, дифференциального или инкрементального копирования. Такое копирование осуществляется довольно быстро, однако при возникновении аварийной ситуации для восстановления данных потребуется последняя полная и все последующие инкрементальные копии, а процедура восстановления будет очень длительной.

Учитывая достоинства и недостатки существующих методов резервного копирования, на практике параллельно применяют полное копирование (например, 1 раз в неделю) и инкрементальное (например, 1 раз в день).

Архивное копирование есть процесс копирования файлов для бессрочного или долговременного хранения на архивных носителях. Архивное копирование также может быть полным, инкрементальным и дифференциальным, однако оно осуществляется реже резервного копирования.

Для удешевления процесса хранения редко используемых данных применяют систему структурированного хранения, т. е. организации иерархической структуры устройств хранения информации, когда на верхнем уровне находятся жёсткие диски, а на нижних уровнях — съёмные накопители, которые объединяются в единый логический диск для хранения редко используемой информации. Перемещение файлов по уровням организуется таким образом, чтобы объём свободного пространства на дисках серверов сохранялся в заданных пределах.