Выявленные проблемы при разработке требований к выгрузке из системы-источника

В рамках планирования работ по миграции данных в проекте отсутствовали работы по проверке данных, входящих в состав выгрузки из систем-источников. Предполагалась валидация всего объема данных на входе в систему-приемник по модели данных внедряемой системы. Анализ качества алгоритмов логических проверок и валидации данных будет приведен в следующем разделе работы. В этой части работы анализируются подготовительные операции по получению данных из систем-источников и анализа состояния данных в этих системах. Для того чтобы исследовать состояние данных, выявить потенциальные проблемы размещения данных в системе-приемнике формируется тестовая выгрузка из систем-источников. Цель этого шага — успешно разместить тестовую выгрузку в системе-приемнике, выявить все потенциальные проблемы при загрузке данных и, таким образом, снизить риск неудачной миграции вследствие ошибок при загрузке невалидных данных в систему-приемник.

Ниже проанализируем особенности эксплуатации систем-источников, которые привели к срабатыванию рисков процесса получения и выгрузки данных.

Стоит отметить следующие особенности эксплуатируемых заказчиком информационных систем, которые должны быть учтены при анализе выгрузки из систем-источников, а именно:

• 1) Ведение словарей и справочников в информационных системах осуществляется различными пользователями, при этом отсутствуют проверки на заполнение обязательных атрибутов записей, а также отсутствуют автоматические проверки на создание дублирующих записей. Таким образом, в словарях и справочниках эксплуатируемых систем было создано большое количество невалидных записей, которые, тем не менее, использовались пользователями при работе с данными. С такими записями создавались связи, а также на эти записи проставлялись ссылки из других объектов данных. Наличие таких записей в словарях и справочниках эксплуатируемых системах означает необходимость разработки для них специального алгоритма миграции.
• 2) Правила работы с данными в системах-источниках и системе-приемнике отличаются в части работы с обязательными атрибутами. В системе-приемнике были установлены более строгие правила и проверки правил заполнения атрибутов, соответственно, часть данных в составе выгрузки не отвечали требованиям системы-приемника и не могли быть корректно мигрированы без разработки специальных алгоритмов.
• 3) Системы-источники имеют особенности работы с ссылками и связями между объектами данных. Например, вместо уникальных идентификаторов в качестве ссылок (foreign key) на объекты использовались имена, не имевшие проверок на уникальность. Таким образом, способы создания ссылок и связей между объектами данных в системах-источниках должны быть проанализированы при получении данных из систем-источников для того, чтобы определить насколько представляется возможными мигрировать такие связи в систему-приемник.
• 4) Системы-источники имели гораздо менее строгую систему проверок данных по сравнению с системой-приемником. За счет более слабых проверок корректности работы с данными в объектах данных, записях классификаторов и словарей пользователями были допущены ошибки ручного ввода данных, которые потенциально могли препятствовать корректной загрузке таких данных в систему-приемник.

Приведенные выше особенности эксплуатации систем-источников служат основанием для возникновения рисков получения данных, а также рисков некорректного размещения выгруженных данных в системе-приемнике. Для снижения таких рисков в плане работ по миграции данных были предусмотрены работы по анализу тестовой выгрузки данных, однако требования к тестовой выгрузке составлялись, исходя из объектной модели предметной области без учета приведенных выше особенностей функционирования систем-источников.

В состав тестовой выгрузки из систем-источников вошли следующие объекты:

• · Пример классификаторов из двух систем, не дублирующих друг друга по смыслу. В состав выгрузки вошли два справочника из каждой системы: иерархический и плоский;
• · Случайная выборка электронных документов различных типов из систем-источников без учета их состояний (статуса жизненного цикла) в системе-источнике и без проверки полноты заполнения обязательных атрибутов согласно правилам проектируемой системы. В состав выгрузки входили как минимум десять документов каждого типа из двух систем.

Требования к тестовой выгрузке из систем-источников формировались вместе с разработкой объектной модели предметной области. Однако здесь сработал риск работы проектной команды и некорректного планирования работ. После согласования требований к тестовой выгрузке объектная модель продолжала дорабатываться, что в итоге привело к образованию в модели данных типов и сущностей, маппинг с которыми не был реализован в тестовой выгрузке. Таким образом, помимо проблем ограниченности и нерепрезентативности выборки данных тестовая выгрузка не соответствовала актуальной версии модели данных проектируемой системы, соответственно, успешное размещение такой выгрузки в системе-приемнике, не давало гарантии успешного размещения полного объема данных в системе-приемнике.

Таким образом, тестовая выгрузка не смогла выявить все возможные проблемы размещения данных в системе-приемнике, что в итоге отразилось на целостности и полноте загруженных во внедряемую систему данных.

Отсутствие проработки требований к миграции записей классификаторов и справочников из двух параллельно эксплуатируемых систем привело к тому, что сверку и поиск дублирующих записей, а также маппинг записей из двух систем пришлось производить вручную сотрудникам команды исполнителя. Такой подход был выбран вследствие неполноты требований, зафиксированных в функциональной спецификации на утилиту миграции.

Отсутствие анализа правил работы с данными в системах-источниках привело к ошибкам загрузки данных в систему-приемник и нарушению работы функциональности внедряемой системы. В частности, даже если объект данных с неполным составом заполненных обязательных атрибутов был загружен в систему-приемник, то работать с таким объектом в системе-приемнике не представлялось возможным. Экранные формы отображались некорректно, а также блокировалась работа с объектом данных в рамках автоматизированных бизнес-процессов. Например, в системе-приемнике продвижение сущности по ее жизненному циклу было возможно только при заполнении определенного набора обязательных атрибутов. В случае если мигрированный объект данных не обладал на момент переноса данных необходимым набором заполненных обязательных атрибутов, то работа с таким объектом данных в системе-приемнике приводила к сбою работы функциональности системы-приемника.

Описанная выше особенность создания связей между объектами данных в системах-источниках также не была учтена при формировании тестовой выгрузки, что в ходе миграции на продуктивной среде привело к потере ссылочной целостности. Этот риск можно было бы снизить в случае выявления проблемы на этапе анализа тестовых данных.

Анализ неудачных проектов по миграции, вызванных неполной проработкой требований к тестовой выгрузке, показывает необходимость выделения в плане работ отдельного пакета работ, выходом которого должны являться документированные требования к тестовой выгрузке, разработанные на основе обследования эксплуатируемых систем, которые могут считаться полными только после окончательного составления модели данных внедряемой системы.