Организация решения регламентных статистических задач

Основной организационно-технологической формой автоматизированного решения регламентных задач являются КЭОИ, обеспечивающие электронную обработку данных статистической отчетности и различных обследований.

КЭОИ создаются и функционируют в составе отдельных отраслей статистики. В большинстве случаев каждый КЭОИ реализует автоматизированную обработку одной конкретной формы статистической отчетности. Однако существуют КЭОИ, объединяющие в своем составе несколько тесно связанных по своему экономико-статистическому составу форм статистической отчетности.

В настоящее время в ГКС РФ функционируют системные и локальные КЭОИ. В системных КЭОИ электронная обработка информации на всех участвующих в решении данной регламентной задачи уровнях ведется по типовой технологии с обменом данными между уровнями на технических носителях и по каналам связи. Локальные КЭОИ для высшего уровня реализуют автоматизированное решение статистических задач, в которых первичные отчеты предприятий и организаций поступают непосредственно на ГВЦ ГКС РФ, где и осуществляется их полная разработка.

На современном уровне развития машинной обработки статистической информации эксплуатация КЭОИ в основном носит системный характер, что определяется рядом причин.

• — Во-первых, в решении регламентных задач участвуют вычислительные установки различных уровней ГКС РФ.
• — Во-вторых, технология функционирования КЭОИ охватывает все стадии прохождения статистической отчетности, начиная от поступления первичных отчетов от предприятий и организаций на нижестоящий уровень и кончая выпуском сводных отчетов (таблиц) на вышестоящем уровне ГКС РФ, и при этом технология на каждом последующем уровне является логическим продолжением технологии предыдущего уровня.
• — В-третьих, в процессе реализации технологического процесса выделяются процедуры, многие из которых являются типовыми для всех вычислительных установок, а другие — для определенных их подмножеств.

Проиллюстрируем технологию решения регламентных статистических задач на примере типовых технологических процедур эксплуатации системных КЭОИ для почтовых видов отчетности.

Процедура 1. Подготовка к работе с КЭОИ.

Происходит копирование системной программной МЛ данного КЭОИ и восстановление на МД резидентного (программного) пакета и библиотечного массива со всеми элементами информационно-справочного фонда КЭОИ (каталогами, словарями, справочниками и др.). При необходимости осуществляется корректировка элементов информационно-справочного фонда.

Процедура 2. Подготовка исходной информации к обработке.

Осуществляется визуальный контроль и подготовка форм первичных статистических отчетов к машинной обработке, перенос исходной информации этих отчетов на машинные носители (перфоленты, магнитные ленты, гибкие магнитные диски).

Процедура 3. Ввод данных в ЭВМ.

Данные первичных статистических отчетов на машинных носителях вводятся (считываются) в память ЭВМ; осуществляются все виды контроля с выдачей протокола ошибок, на основании которого подготавливается и вводится в ЭВМ корректирующая информация; затем проводится контроль на полноту поступления отчетов, объединение данных отчетов с данными каталога в единый массив данных, копирование этого массива на МЛ (ГМД) для организации архива данных.

Процедура 4. Обработка, контроль, корректировка и печать выходных таблиц.

Происходит формирование на МД промежуточных итоговых числовых матриц и предварительная (так называемая «рабочая») печать выходных таблиц, при которой не используются библиотечные текстовые наборы данных (справочники, словари и др.). Проводится контроль таблиц и в случае корректировки первичных данных повторный счет, контроль и «рабочая» печать отдельных таблиц; во многих КЭОИ имеется возможность корректировки сформированных результатных числовых матриц без пересчета. Затем печатаются итоговые выходные таблицы с использованием всех необходимых текстовых наборов данных для их оформления.

Процедура 5. Подготовка материалов для передачи на вышестоящий уровень.

Осуществляется вывод на МЛ (ГМД) передаваемых на вышестоящий уровень файлов в виде промежуточных итоговых числовых матриц или в виде сводных таблиц, полученных в процессе реализации процедур 3 и 4, печать машинной справки об информации на передаваемой МЛ (ГМД). Затем МЛ (ГМД) с выходными массивами, итоговые распечатки выходных таблиц, а также контрольные и справочные сведения о передаваемой информации отправляются почтой на вышестоящий уровень. Для ряда КЭОИ отправляются также формы первичных отчетов по определенному кругу отчитывающихся объектов.

Процедура 6. Подготовка к объединению массивов выходных данных, полученных с нижестоящего уровня.

Поочередно для каждой из полученных МЛ (ГМД) выполняются восстановление информации с МЛ (ГМД) на МД, выдача справочных сведений об информации на МД, контроль балансовой и логической увязки таблиц и в случае необходимости корректировка и повторная запись таблиц по каждой объединяемой территории на МЛ (ГМД).

Процедура 7. Объединение массивов выходных данных, полученных с нижестоящего уровня.

Происходит предварительное накопление на МД таблиц с объединяемых МЛ (ГМД) без суммирования данных, формирование для ряда КЭОИ машинного каталога по разрезам объединения (министерствам и ведомствам, отраслям и др.), счет и печать выходных таблиц по всем разрезам объединения, контроль балансовой и логической увязки этих таблиц, при необходимости их корректировка и повторная печать, формирование и печать выходных таблиц по территории в целом, выдача справочных данных о структуре сводной информации на МД.

Процедура 8. Обработка сводных таблиц министерствам и ведомствам, отчетность которых не централизована.

Эта процедура выполняется во многих КЭОИ на федеральном уровне и предусматривает прием сводных итогов ряда министерств, отчетность которых не централизована в органах статистики, в виде подготовленных в этих министерствах сводных выходных таблиц, подготовку их к вводу в ЭВМ на технических носителях, запись с контролем и корректировкой, машинную распечатку выходных таблиц по этим министерствам; в некоторых КЭОИ формируется и печатается объединенная таблица по данным министерствам в целом (как по некоторой условной территории).

Полученная в результате этой процедуры информация по нецентрализованным министерствам выводится на отдельные МЛ (МГД), которые используются наряду с МЛ (ГМД), полученными с нижестоящего уровня, при выполнении описанной выше процедуры 7.

Процедура 9. Получение таблиц для местных руководящих органов.

Операция выполняется на региональном или кустовом уровнях. Кустовой уровень может организовываться для ряда региональных управлений статистики, где нет необходимых средств вычислительной техники, удовлетворяющих требованиям системной обработки информации. На этих уровнях происходит формирование промежуточных числовых матриц с данными специальных (не входящих в централизованную разработку) таблиц для местных руководящих органов и печать этих таблиц. Во многих КЭОИ проводится дополнительная разработка первичных отчетов, подготовленных в виде массива исходных данных в процессе реализации процедуры 3, с целью получения выходных таблиц (например, по административным районам) и печать этих таблиц. Специальные выходные таблицы, а также выходные таблицы, полученные в результате дополнительной разработки, передаются местным руководящим органам.

Рассмотренные выше типовые технологические процедуры полностью реализуют процесс обработки почтовой отчетности на всех уровнях ГКС РФ в виде следующих операторских схем:

• 1. Региональный уровень. Процедура 1 Процедура 2 Процедура 3 Процедура 4 Процедура 5 Процедура 9.
• 2. Кустовой уровень. Процедура 1 Процедура 2 Процедура 3 Процедура 4 Процедура 6 Процедура 9 Процедура 7 Процедура 5. (Процедура 2,3,4,6 и 9 выполняются отдельно для каждой обрабатываемой территории (региона).
• 3. Федеральный уровень. Процедура 1 Процедура 2 Процедура 3 Процедура 4 Процедура 8 Процедура 6 Процедура 7 (Процедура 6 повторяется для каждой объединяемой территории)

В настоящее время при решении регламентных задач в ГКС РФ, наряду с применением КЭОИ, представляющих набор автономно выполняемых программ, широкое распространение получили КЭОИ, скорректированные на базе пакетов прикладных программ (ППП).

ППП представляет собой законченный комплекс программных средств, ориентированных на решение регламентных задач сводно-группировочного характера, и имеющий четко выраженную модульную структуру и стандартные средства связи друг с другом с помощью управляющей программы. По сравнению с набором автономно выполняемых программ ППП позволяют: предоставить экономистам, по возможности, единую схему получения сводных таблиц; избавить программистов от работ по созданию уникальных программных средств для каждого вновь проектируемого КЭОИ; допускать изменения решения задачи (структура и содержание первичных и сводных отчетов) без изменения программных средств; сократить сроки на разработку КЭОИ; максимально типизировать проектирование КЭОИ.

Наиболее широкое применение в ГКС РФ получил пакет «Форма» (интерпретируемого типа), предназначенный для автоматизации проектирования КЭОИ. При его разработке руководствовались следующими принципами: организационно-методологического единства, обусловленного использованием единого набора программных модулей, обеспечивающих обработку данных для различных регламентных задач; экономичной технологии, обуславливающей процесс обработки информации с минимальными затратами труда экономистов и операторов, а также рационального использования ресурсов ЭВМ; гибкости и инвариантности программного обеспечения по отношению к изменениям и дополнениям постановок статистических задач, обуславливающих возможность внесения отдельных изменений параметров задачи без переделки программных модулей; типизации и унификации, обуславливающих единую методологию построения процесса обработки данных для всех регламентных задач; интеграции обработки данных, обуславливающей однократный ввод информации в вычислительную систему с целью многократного и многофункционального ее использования.

Множество настроечных массивов, используемых в каждом КЭОИ, представляет собой формализованное описание на входном языке ППП «Форма» постановки соответствующей конкретной регламентной статистической задачи.

Обобщая традиционный набор программных модулей и основываясь на вышеизложенных концепциях создания и функционирования программного обеспечения, в ППП «Форма» разработаны следующие типовые программные модули, полностью реализующие решение регламентных задач с использованием сводно-группировочных методов обработки данных: ввод, контроль и запись первичных отчетов; корректировка первичных отчетов; формирование сводов; печать сводных отчетов.

Для ввода, контроля и записи первичных отчетов на машинные носители используется программа ВКЗ. С ее помощью осуществляется ввод исходных массивов АХВ, подготовленных на различных носителях (перфолента, магнитная лента), или прямо с терминалов. Исходные массивы готовятся пачками. В первой строке указываются код КЭОИ, номер пачки и количество отчетов в пачке; во второй — идентификатор отчета (регистрационный номер объекта по ОКПО); в третьей — строки отчета (код строки и содержание ее граф). После последней строки отчета ставится знак — разделитель отчета.

Программой ВКЗ выявляются отклонения, вызванные нарушением различных видов арифметического и логического контроля, которые выдаются в форме протокола ошибок. Данные записываются на магнитные диски в виде массива ВХВ Описанные действия программы ВКЗ выполняются с помощью следующих заранее подготовленных настроечных массивов: описание оглавления формы-файла НХВ, описание структуры первичного отчета СТРХВ и описание каталога первичных отчетов КАТХЗ.

Форма-файл — это машинная форма представления исходных данных в виде последовательности записей, где каждому первичному отчету соответствует одна запись. Оглавление формы-файла содержит его такие основные физические и логические характеристики, как код КЭОИ, длина одной логической записи, код территории, количество реквизитов-признаков и реквизитов-оснований, максимальная размерность массива, признак отсортированности отчетов, количество и номер цикла обработки отчетности, модуль упаковки и распаковки массива и др.

Использование ППП «Форма» позволяет для всех первичных отчетов пользоваться единым описанием их структуры, которое содержит следующие основные элементы: описание параметров; описание разделов отчета; описание строк отчета; описание контроля, количество фиксированных строк и граф.

В описании строк дается код строки, и перечисляются все коды граф, относящиеся к каждой строке.

Формула для каждой перечисленной типовой операции контроля имеет свою уникальную конструкцию.

Каталог первичных отчетов в основном используется для контроля полноты записи отчетов, а также определяет перечень используемых кодов. Унифицированный каталог (для многих КЭОИ) в рамках отрасли статистики состоит из заголовка и карточек каталога на каждый первичный отчет.

Заголовок определяет параметры каталога, в который включаются: максимальный номер карточки и количество признаков в каталоге, номер ключевого признака (обычно регистрационный номер объекта) каталога и максимальная его длина. В каждых последующих карточках отражаются реквизиты-признаки объекта обследования. Для промышленных предприятий это будет порядковый номер карточки, регистрационный номер объекта по ОКПО, код отрасли по ОКОНХ, код министерства по СООГУ, код промышленного объединения, код территории по СОАТО и другие используемые коды.

Корректировка исходных массивов ВХВ по программе КОР выполняется только в том случае, если при вводе данных протокол ошибок содержит сведения о нарушениях различных типов контроля. Программа корректировки допускает следующие типы корректур: замена реквизитов-признаков; замена реквизитов-оснований; удаление отчета; перевод отчета из списка ошибочных в список правильных.

Для первого типа корректур указывается регистрационный номер объекта по ОКПО, номер и новое значение корректируемого признака, а также контрольная сумма предыдущих трех чисел.

Для последующих типов корректур применяется структура бланка корректур со следующими графами: регистрационный номер объекта по ОКПО, код строки, код графы, новое значение (или приращение с соответствующим знаком) и контрольная сумма. Для перевода отчета из списка ошибочных в список правильных в бланке корректур коды строки, графы и новое значение должно равняться нулю, а для удаления отчета код строки должен равняться нулю, код графы — единице, новое значение — нулю. После окончания корректировки переходят к программе формирования сводных итогов ФСВ.

Исходными данными для ее функционирования являются откорректированный массив СХВ, каталог первичных отчетов КАТХВ, определяющий список сводных отчетов, к которым принадлежит первичный отчет, и специально подготовленный массив вхождения МВХВ, предназначенный для описания схемы формирования сводных отчетов иерархической структуры. В результате работы этой программы получаем выходной массив ЕХВ, содержащий накопленные итоги сводного отчета.

Массив вхождения определяет порядок вхождения первичных отчетов в соответствующие сводные отчеты. Он состоит из заголовка и элементов массива вхождения.

Заголовок в основном используется для формирования оглавления массива сводного отчета и кроме этих характеристик включает максимальную глубину вхождения (число разрезов, в которые войдет первичный отчет), количество и порядковые номера реквизитов-признаков в каталоге первичных отчетов, используемых для определения их входимости в сводные отчеты и другие признаки.

Элементы массива вхождения определяют конкретные значения реквизитов-признаков и правила формирования сводных отчетов. В каждом элементе массива вхождения, соответствующем одному сводному отчету, сначала определяются списки реквизитов-признаков, определяющих входимость показателей первичного отчета в сводный отчет, а затем перечисляются номера граф этих признаков в каталоге первичных отчетов КАТХВ с указанием алгебраического сложения или вычитания показателей.

Заключительным этапом реализации ППП «Форма» является печать сводных отчетов с помощью программы ПСВ. Исходными данными для работы этой программы является полученный массив сводных итогов ЕХВи предварительно подготовленные каталог сводных отчетов КАТСХВ и описание выходных таблиц ТАБХВ.

Каталог сводных отчетов применяется для определения перечня выдаваемых сводных отчетов, и он получается на основе массива вхождений МВХВ, из которого берутся только списки реквизитов-признаков, определяющих входимость показателей в сводный отчет. Отчеты, не указанные в этом каталоге, исключаются из процесса обработки.

На основе ППП «Форма» разработаны и внедрены рабочие проекты системных и локальных КЭОИ для автоматизированного решения около100 (ста) регламентных статистических задач.