Система автоматизированной обработки статистической информации

 

На современном уровне развития машинной обработки статистической информации эксплуатация КЭОИ в основном носит системный характер, что  определяется рядом причин.

 

Во-первых, в решении регламентных задач участвуют вычислительные установки различных уровней  ГКС РФ.

 

Во-вторых, технология функционирования КЭОИ охватывает все стадии прохождения  статистической отчетности, начиная  от поступления первичных отчетов  от предприятий и организаций  на нижестоящий уровень и кончая выпуском сводных отчетов (таблиц) на вышестоящем уровне ГКС РФ, и при  этом технология на каждом последующем  уровне является логическим продолжением технологии предыдущего уровня.

 

В-третьих, в процессе реализации технологического процесса выделяются процедуры, многие из которых являются типовыми для  всех вычислительных установок, а другие — для определенных их подмножеств.

 

Проиллюстрируем технологию решения  регламентных статистических задач  на примере типовых технологических  процедур эксплуатации системных КЭОИ для почтовых видов отчетности.

 

Процедура 1. Подготовка к работе с КЭОИ.

 

Происходит копирование системной  программной МЛ данного КЭОИ и  восстановление на МД резидентного (программного) пакета и библиотечного массива  со всеми элементами информационно-справочного  фонда КЭОИ (каталогами, словарями, справочниками и др.) . При необходимости осуществляется корректировка элементов информационно-справочного фонда.

 

Процедура 2. Подготовка исходной информации к  обработке.

 

Осуществляется визуальный контроль и подготовка форм первичных статистических отчетов к машинной обработке, перенос  исходной информации этих отчетов на машинные носители (перфоленты, магнитные  ленты, гибкие магнитные диски) .

 

Процедура 3. Ввод данных в ЭВМ.

 

Данные первичных статистических отчетов на машинных носителях вводятся (считываются) в память ЭВМ; осуществляются все виды контроля с выдачей протокола  ошибок, на основании которого подготавливается и вводится в ЭВМ корректирующая информация; затем проводится контроль на полноту поступления отчетов, объединение данных отчетов с  данными каталога в единый массив данных, копирование этого массива  на МЛ (ГМД) для организации архива данных.

 

Процедура 4. Обработка, контроль, корректировка  и печать выходных таблиц.

 

Происходит формирование на МД промежуточных  итоговых числовых матриц и предварительная (так называемая "рабочая") печать выходных таблиц, при которой не используются библиотечные текстовые  наборы данных (справочники, словари  и др.) . Проводится контроль таблиц и в случае корректировки первичных данных повторный счет, контроль и "рабочая" печать отдельных таблиц; во многих КЭОИ имеется возможность корректировки сформированных результатных числовых матриц без пересчета. Затем печатаются итоговые выходные таблицы с использованием всех необходимых текстовых наборов данных для их оформления.

 

Процедура 5. Подготовка материалов для передачи на вышестоящий уровень.

 

Осуществляется вывод на МЛ (ГМД) передаваемых на вышестоящий уровень  файлов в виде промежуточных итоговых числовых матриц или в виде сводных  таблиц, полученных в процессе реализации процедур 3 и 4, печать машинной справки  об информации на передаваемой МЛ (ГМД) . Затем МЛ (ГМД) с выходными массивами, итоговые распечатки выходных таблиц, а также контрольные и справочные сведения о передаваемой информации отправляются почтой на вышестоящий уровень. Для ряда КЭОИ отправляются также формы первичных отчетов по определенному кругу отчитывающихся объектов.

 

Процедура 6. Подготовка к объединению массивов выходных данных, полученных с нижестоящего уровня.

 

Поочередно для каждой из полученных МЛ (ГМД) выполняются восстановление информации с МЛ (ГМД) на МД, выдача справочных сведений об информации на МД, контроль балансовой и логической увязки таблиц и в случае необходимости корректировка  и повторная запись таблиц по каждой объединяемой территории на МЛ (ГМД) .

 

Процедура 7. Объединение массивов выходных данных, полученных с нижестоящего уровня.

 

Происходит предварительное накопление на МД таблиц с объединяемых МЛ (ГМД) без суммирования данных, формирование для ряда КЭОИ машинного каталога по разрезам объединения (министерствам  и ведомствам, отраслям и др.) , счет и печать выходных таблиц по всем разрезам объединения, контроль балансовой и логической увязки этих таблиц, при необходимости их корректировка и повторная печать, формирование и печать выходных таблиц по территории в целом, выдача справочных данных о структуре сводной информации на МД.

 

Процедура 8. Обработка сводных таблиц министерствам  и ведомствам, отчетность которых  не централизована.

 

Эта процедура выполняется во многих КЭОИ на федеральном уровне и предусматривает  прием сводных итогов ряда министерств, отчетность которых не централизована в органах статистики, в виде подготовленных в этих министерствах сводных  выходных таблиц, подготовку их к вводу  в ЭВМ на технических носителях, запись с контролем и корректировкой, машинную распечатку выходных таблиц по этим министерствам; в некоторых КЭОИ формируется и печатается объединенная таблица по данным министерствам в целом (как по некоторой условной территории) . Полученная в результате этой процедуры информация по нецентрализованным министерствам выводится на отдельные МЛ (МГД) , которые используются наряду с МЛ (ГМД) , полученными с нижестоящего уровня, при выполнении описанной выше процедуры 7.

 

Процедура 9. Получение таблиц для местных  руководящих органов.

 

Операция выполняется на региональном или кустовом уровнях. Кустовой уровень  может организовываться для ряда региональных управлений статистики, где нет необходимых средств  вычислительной техники, удовлетворяющих  требованиям системной обработки  информации. На этих уровнях происходит формирование промежуточных числовых матриц с данными специальных (не входящих в централизованную разработку) таблиц для местных руководящих  органов и печать этих таблиц. Во многих КЭОИ проводится дополнительная разработка первичных отчетов, подготовленных в виде массива исходных данных в  процессе реализации процедуры 3, с  целью получения выходных таблиц (например, по административным районам) и печать этих таблиц. Специальные  выходные таблицы, а также выходные таблицы, полученные в результате дополнительной разработки, передаются местным руководящим органам.

 

Рассмотренные выше типовые технологические  процедуры полностью реализуют  процесс обработки почтовой отчетности на всех уровнях ГКС РФ в виде следующих операторских схем:

 

1. Региональный уровень. Процедура  1 Процедура 2 Процедура 3 Процедура  4 Процедура 5 Процедура 9.

 

2. Кустовой уровень. Процедура  1 Процедура 2 Процедура 3 Процедура  4 Процедура 6 Процедура 9 Процедура  7 Процедура 5. (Процедура 2,3,4,6 и 9 выполняются отдельно для каждой обрабатываемой территории (региона) .

 

3. Федеральный уровень. Процедура  1 Процедура 2 Процедура 3 Процедура  4 Процедура 8 Процедура 6 Процедура  7 (Процедура 6 повторяется для  каждой объединяемой территории)

 

В качестве примера рассмотрим организацию  технологического процесса обработки  почтовой квартальной статистической отчетности по форме N 2-Т (КЭОИ "Отчет  промышленного предприятия (объединения) по показателям труда") . Схема технологического процесса обработки и передачи информации по форме N 2-Т на различных уровнях ГКС РФ приведена на рис. Выбор данной задачи как примера организации системной технологии КЭОИ объясняется следующими обстоятельствами. Во-первых, она является типовой задачей обработки почтовой статистической отчетности, в которой принимают участие региональные управления статистики и ГВЦ КС РФ. Во-вторых, для данной задачи используются практически все основные способы организации системной технологии, в том числе и кустовой уровень. В-третьих, достаточно распространенным является прохождение потоков информации данной отчетности, при котором процедуры ввода в ЭВМ первичных отчетов выполняются не только на уровне региона, но и на федеральном уровне для тех министерств (ведомств) , отчетность которых не централизована в органах государственной статистики.

 

Если дополнить вышерассмотренный  перечень технологических процедур такими процедурами, как передача информации по коммутируемым и выделенным каналам  связи с использованием средств  телеобработки для срочной отчетности, то можно будет получить полный набор  типовых процедур, различные сочетания  которых реализуют системную  технологию любой регламентной статистической задачи.

 

В настоящее время при решении  регламентных задач в ГКС РФ, наряду с применением КЭОИ, представляющих набор автономно выполняемых  программ, широкое распространение  получили КЭОИ, скорректированные на базе пакетов прикладных программ (ППП) .

 

ППП представляет собой законченный  комплекс программных средств, ориентированных  на решение регламентных задач сводно-группировочного характера, и имеющий четко выраженную модульную структуру и стандартные средства связи друг с другом с помощью управляющей программы. По сравнению с набором автономно выполняемых программ ППП позволяют: предоставить экономистам, по возможности, единую схему получения сводных таблиц; избавить программистов от работ по созданию уникальных программных средств для каждого вновь проектируемого КЭОИ; допускать изменения решения задачи (структура и содержание первичных и сводных отчетов) без изменения программных средств; сократить сроки на разработку КЭОИ; максимально типизировать проектирование КЭОИ.

 

Наиболее широкое применение в  ГКС РФ получил пакет "Форма" (интерпретируемого типа) , предназначенный для автоматизации проектирования КЭОИ. При его разработке руководствовались следующими принципами: организационно-методологического единства, обусловленного использованием единого набора программных модулей, обеспечивающих обработку данных для различных регламентных задач; экономичной технологии, обуславливающей процесс обработки информации с минимальными затратами труда экономистов и операторов, а также рационального использования ресурсов ЭВМ; гибкости и инвариантности программного обеспечения по отношению к изменениям и дополнениям постановок статистических задач, обуславливающих возможность внесения отдельных изменений параметров задачи без переделки программных модулей; типизации и унификации, обуславливающих единую методологию построения процесса обработки данных для всех регламентных задач; интеграции обработки данных, обуславливающей однократный ввод информации в вычислительную систему с целью многократного и многофункционального ее использования.

 

Проектирование КЭОИ с использованием ППП "Форма" сводится к составлению  настроечной информации двух типов: справочников, жестко привязанных к  структуре первичных и сводных  отчетов, и различных каталогов  и справочников, не зависящих от этих структур. Настроечные массивы  первого типа индивидуальны для  конкретного КЭОИ, а второго являются общими для многих КЭОИ.

 

Множество настроечных массивов, используемых в каждом КЭОИ, представляет собой  формализованное описание на входном  языке ППП "Форма" постановки соответствующей  конкретной регламентной статистической задачи.

 

Обобщая традиционный набор программных модулей и основываясь на вышеизложенных концепциях создания и функционирования программного обеспечения, в ППП "Форма" разработаны следующие типовые программные модули, полностью реализующие решение регламентных задач с использованием сводно-группировочных методов обработки данных: ввод, контроль и запись первичных отчетов; корректировка первичных отчетов; формирование сводов; печать сводных отчетов.

 

Взаимосвязь программных модулей  ППП "Форма" и информационных (настроечных) массивов при решении регламентных задач показана на рис.

 

Для ввода, контроля и записи первичных  отчетов на машинные носители используется программа ВКЗ. С ее помощью осуществляется ввод исходных массивов АХВ, подготовленных на различных носителях (перфолента, магнитная лента) , или прямо с терминалов. Исходные массивы готовятся пачками. В первой строке указываются код КЭОИ, номер пачки и количество отчетов в пачке; во второй — идентификатор отчета (регистрационный номер объекта по ОКПО) ; в третьей — строки отчета (код строки и содержание ее граф) . После последней строки отчета ставится знак — разделитель отчета.

 

Программой ВКЗ выявляются отклонения, вызванные нарушением различных  видов арифметического и логического  контроля, которые выдаются в форме  протокола ошибок. Данные записываются на магнитные диски в виде массива ВХВ Описанные действия программы ВКЗ выполняются с помощью следующих заранее подготовленных настроечных массивов: описание оглавления формы-файла НХВ, описание структуры первичного отчета СТРХВ и описание каталога первичных отчетов КАТХЗ.

 

Форма-файл — это машинная форма  представления исходных данных в  виде последовательности записей, где  каждому первичному отчету соответствует  одна запись. Оглавление формы-файла  содержит его такие основные физические и логические характеристики, как  код КЭОИ, длина одной логической записи, код территории, количество реквизитов-признаков и реквизитов-оснований, максимальная размерность массива, признак отсортированности отчетов, количество и номер цикла обработки отчетности, модуль упаковки и распаковки массива и др.

 

Использование ППП "Форма" позволяет  для всех первичных отчетов пользоваться единым описанием их структуры, которое  содержит следующие основные элементы: описание параметров; описание разделов отчета; описание строк отчета; описание контроля. В описании параметров указывается: признак структуры отчета (фиксированная, переменная или комбинированная) ; количество фиксированных строк и граф; максимальное количество переменных строк и количество граф в переменных строках.