Система автоматизированной обработки статистической информации

Организация государственной статистики и характеристика форм автоматизированной обработки статистической информации
Государственная статистика представляет собой одно из важнейших межотраслевых звеньев в системе управления экономикой страны. Она призвана решать задачи, обеспечивающие изучение массовых явлений, что позволяет устанавливать сложные взаимосвязи и их взаимодействия, а также давать научно-обоснованную оценку функционирования и развития экономики.
Основными задачами государственной статистики являются:
сбор, обработка и представление необходимой статистической информации различных пользователей о деятельности всех отраслей экономики и подведомственных им предприятий;
разработка научно-обоснованной статистической методологии, соответствующей потребностям общества на современном этапе, а также международным стандартам;
координация статистической деятельности органов управления экономикой и обеспечение им условий при проведении отраслевых (ведомственных) статистических наблюдений;
разработка экономико-статистической информации, ее анализ, а также составление необходимых балансовых расчетов;
гарантирование полноты и научной обоснованности всей официальной статистической информации;
предоставление всем пользователям равного доступа к открытой статистической информации путем распространения официальных докладов о социально-экономическом положении страны, отраслей и секторов экономики.
Государственная статистика служит базой для организации в стране статистической информационной системы — Государственного комитета РФ по статистике (ГКС РФ) . Органы государственной статистики осуществляют свою работу, руководствуясь тем, что система учета и статистики в РФ является одним из важнейших рычагов государственного управления развитием экономики. ГКС РФ выполняет функцию обратной связи по отношению к органам управления, предоставляя им всю необходимую статистическую информацию о деятельности всех отраслей экономики и подведомственных им предприятий и организаций.
Статистическая информационная система, организационной основой которой является ГКС РФ, отвечает всем требованиям, предъявляемым к сложным информационным системам. К ним, прежде всего, относятся такие, как единство элементов системы с точки зрения их оптимального взаимодействия для достижения общей цели, большие размеры и сложность поведения системы, имеющей человеко-машинный характер.
Органы государственной статистики проводят свою работу на основе общих принципов, единой методологии и организации государственной статистики. Основной их целью является осуществление централизованного руководства делом учета и статистики в стране.
Система ГКС РФ охватывает всю страну, ее органы имеются во всех административно-территориальных образованиях страны.
Органы ГКС РФ собирают и обрабатывают статистическую информацию от сотен тысяч промышленных предприятий, строек, сельскохозяйственных предприятий, десятков тысяч культурных, бытовых и других учреждений и организаций. Эта информация отличается огромным разнообразием, массовостью и различной периодичностью поступления. При обработке всей статистической отчетности указанных объектов осуществляется несколько сотен миллиардов вычислительных операций в год.
Для выполнения такой огромной работы ГКС РФ располагает разветвленной по всей стране сетью вычислительных установок по сбору и обработке информации. Применение на них различных средств вычислительной техники придает системе ГКС РФ человеко-машинный характер с определенным уровнем автоматизации статистических работ.
Организационная структура системы государственной статистики построена в соответствии с административно-территориальным делением страны и включает три уровня: федеральный, региональный (республики в составе РФ, края, области и национальные округа) и районный (городской) .
Централизованное руководство работой органов государственной статистики на федеральном уровне осуществляет Государственный комитет Российской Федерации по статистике (Госкомстат РФ) , который является главным учетно-статистическим центром и относится к центральным органам РФ, обеспечивая статистической информацией Правительство, федеральное собрание, федеральные органы исполнительной власти, а также широкую общественность и международные организации.
На КС РФ возлагается ответственность за своевременную объективную и достоверную обработку и представление статистической информации указанным органам и широкой общественности на базе функционирования статистической информационной системы на общегосударственном, отраслевом и региональном уровне на основе единой научной методологии.
Центральные статистические органы руководят организацией учетно-статистических работ на всей территории страны, в частности КС РФ руководит работой региональных управлений (комитетов) статистики, которые выполняют те же самые функции только для своего уровня.
Кроме того, находясь в непосредственной близости и постоянном информационном контакте с низовыми звеньями экономики, региональные органы статистики оказывают практическую помощь предприятиям и учреждениям в организации учета и отчетности и являются основными источниками информации об их деятельности.
В состав региональных управлений (комитетов) входят районные (городские) отделы статистики, являющиеся первичными организациями системы государственной статистики. Они собирают и обрабатывают информацию всех сельскохозяйственных предприятий, а также промышленных, строительных, транспортных и торговых предприятий местного подчинения, предприятий бытового обслуживания, органов просвещения и здравоохранения района или города.
Все органы государственной статистики работают по единой методологии и единому плану статистических работ, утвержденным соответствующими вышестоящими статистическими органами.
Задачи, включенные в этот план, систематизированы по отраслям статистики, которые соответствуют отраслям экономики. Структурная схема и взаимосвязь отраслей статистики показана на рис. N Статистические задачи, решаемые в различных отраслях статистики, с точки зрения пользователя, по своему назначению подразделяются на регламентные задачи, задачи информационно-справочного обслуживания и задачи углубленного экономического анализа.
Под регламентными задачами понимаются задачи обработки данных статистической отчетности на соответствующих уровнях ГКС РФ. Каждая регламентная задача, как правило, связана с обработкой данных некоторой конкретной формы статистической отчетности или несколько тесно связанных по экономико-статистическому содержанию форм отчетности.
Основной организационно-технологической формой автоматизированного решения таких задач до настоящего времени являются комплексы электронной обработки информации (КЭОИ) , которые представляют собой совокупность программных, технических и организационных средств, обеспечивающих решение отдельных регламентных задач на различных уровнях с использованием локальных массивов информации.
Регламентные задачи с небольшими объемами и несложными алгоритмами обработки на одном из уровней ГКС РФ могут решаться с помощью системы обработки малых статистических задач (СОМСЗ) .
Задачи информационно-справочного обслуживания предусматривают формирование по запросам необходимых статистических данных для оперативного составления докладов, аналитических записок и справок, не регламентированных по содержанию. Их решение обеспечивается с помощью автоматизированного банка данных (АБД) , под которым понимают автоматизированную систему накопления, хранения, поиска, обработки и выдачи информации по запросам пользователей в заданном виде.
Для АБД характерна возможность обращения пользователя с запросом на естественном формализованном языке через терминальное устройство и получения запрошенных данных либо в печатном виде, либо на видеотерминале. При необходимости АБД может работать в режиме информационного обслуживания регламентных задач, обеспечивая выдачу необходимых для их решения данных при обращении к нему прикладных программ.
Задачи углубленного экономического анализа основаны на использовании динамических рядов, методов математической статистики и других экономико-математических методов. Организационно-технологической формой их решения явились аналитические комплексы (АК) , представляющие собой совокупность пакетов прикладных программ, ориентированных на реализацию математико-статистических методов.
Информационными массивами АК являются данные, формируемые на основе объединения информационных массивов двух или более КЭОИ.
Учитывая необходимость для решения ряда задач углубленного экономического анализа определенных совокупностей статистических данных за ряд лет, в ГКС РФ применяется регистровая форма наблюдения. Организационно-технологической основой ее реализации являются автоматизированные регистры, позволяющие хранить и обрабатывать значительные совокупности данных, организованных в виде массивов, независимых от структуры статистических отчетов по каждому объекту или определенной группе объектов наблюдения.
Регистровая форма наблюдения особенно эффективна для статистической информации, характеризующей относительно устойчивые объекты, поэтому регистры можно рассматривать как автоматизированную картотеку групп однородных единиц статистического наблюдения определенного типа. Ее применение дает возможность пользователю путем заполнения унифицированного бланка запроса получать различные данные, характеризующие деятельность того или иного объекта (информационно-справочное обслуживание) .
Схема взаимодействия основных видов статистических задач и организационно-технологических форм их автоматизированного решения в системе ГКС РФ показана на рис.
Рассмотренный перечень организационно-технологических форм автоматизированного решения различных статистических задач не является исчерпывающим. В процессе совершенствования статистической информационной системы и внедрения более развитых технических средств обработки и передачи данных возникают как интегрированные, так и новые формы автоматизации решения статистических задач, например с помощью автоматизированных рабочих мест (АРМ) экономиста-статистика.
Традиционная технология выполнения статистических работ в органах государственной статистики основана на отделении машинной обработки информации от функций, выполняемых специалистом предметной области, в данном случае экономистом-статистиком, в результате чего работа экономистов отраслевых отделов и управлений статистики практически не автоматизируется.
Этот существенный недостаток устраняется в настоящее время путем широкого внедрения автоматизированных рабочих мест экономиста-статистика различных уровней ГКС РФ. Работы, выполняемые непосредственно пользователем, могут быть автоматизированы на базе мощной ЭВМ, оснащенной удаленными терминалами, путем разделения вычислительных ресурсов ЭВМ между пользователями РФ на базе дисплейной сети. Однако наиболее перспективным способом создания АРМ является использование персональной ЭВМ (ПЭВМ) , которые могут быть установлены в непосредственной близости к рабочим местам пользователей и применяться ими в качестве индивидуального инструмента для работы.
По состоянию на 1995 год в органах государственной статистики функционировало около 300 КЭОИ, из них 150 системных (для регионального и федерального уровней) . Кроме того, на федеральном уровне ГКС РФ внедрены АК и АР в таких отраслях статистики как промышленность, сельское хозяйство, строительство и инвестиции, услуги и социальная сфера, а на федеральном уровне средствами СОИСО по основным статистическим показателям решаются задачи практически по всем отраслям статистики.
2. Организация решения регламентных статистических задач
Основной организационно-технологической формой автоматизированного решения регламентных задач являются КЭОИ, обеспечивающие электронную обработку данных статистической отчетности и различных обследований.
КЭОИ создаются и функционируют в составе отдельных отраслей статистики. В большинстве случаев каждый КЭОИ реализует автоматизированную обработку одной конкретной формы статистической отчетности. Однако существуют КЭОИ, объединяющие в своем составе несколько тесно связанных по своему экономико-статистическому составу форм статистической отчетности.
В настоящее время в ГКС РФ функционируют системные и локальные КЭОИ. В системных КЭОИ электронная обработка информации на всех участвующих в решении данной регламентной задачи уровнях ведется по типовой технологии с обменом данными между уровнями на технических носителях и по каналам связи. Локальные КЭОИ для высшего уровня реализуют автоматизированное решение статистических задач, в которых первичные отчеты предприятий и организаций поступают непосредственно на ГВЦ ГКС РФ, где и осуществляется их полная разработка.
На современном уровне развития машинной обработки статистической информации эксплуатация КЭОИ в основном носит системный характер, что определяется рядом причин.
Во-первых, в решении регламентных задач участвуют вычислительные установки различных уровней ГКС РФ.
Во-вторых, технология функционирования КЭОИ охватывает все стадии прохождения статистической отчетности, начиная от поступления первичных отчетов от предприятий и организаций на нижестоящий уровень и кончая выпуском сводных отчетов (таблиц) на вышестоящем уровне ГКС РФ, и при этом технология на каждом последующем уровне является логическим продолжением технологии предыдущего уровня.
В-третьих, в процессе реализации технологического процесса выделяются процедуры, многие из которых являются типовыми для всех вычислительных установок, а другие — для определенных их подмножеств.
Проиллюстрируем технологию решения регламентных статистических задач на примере типовых технологических процедур эксплуатации системных КЭОИ для почтовых видов отчетности.
Процедура 1. Подготовка к работе с КЭОИ.
Происходит копирование системной программной МЛ данного КЭОИ и восстановление на МД резидентного (программного) пакета и библиотечного массива со всеми элементами информационно-справочного фонда КЭОИ (каталогами, словарями, справочниками и др.) . При необходимости осуществляется корректировка элементов информационно-справочного фонда.
Процедура 2. Подготовка исходной информации к обработке.
Осуществляется визуальный контроль и подготовка форм первичных статистических отчетов к машинной обработке, перенос исходной информации этих отчетов на машинные носители (перфоленты, магнитные ленты, гибкие магнитные диски) .
Процедура 3. Ввод данных в ЭВМ.
Данные первичных статистических отчетов на машинных носителях вводятся (считываются) в память ЭВМ; осуществляются все виды контроля с выдачей протокола ошибок, на основании которого подготавливается и вводится в ЭВМ корректирующая информация; затем проводится контроль на полноту поступления отчетов, объединение данных отчетов с данными каталога в единый массив данных, копирование этого массива на МЛ (ГМД) для организации архива данных.
Процедура 4. Обработка, контроль, корректировка и печать выходных таблиц.
Происходит формирование на МД промежуточных итоговых числовых матриц и предварительная (так называемая "рабочая") печать выходных таблиц, при которой не используются библиотечные текстовые наборы данных (справочники, словари и др.) . Проводится контроль таблиц и в случае корректировки первичных данных повторный счет, контроль и "рабочая" печать отдельных таблиц; во многих КЭОИ имеется возможность корректировки сформированных результатных числовых матриц без пересчета. Затем печатаются итоговые выходные таблицы с использованием всех необходимых текстовых наборов данных для их оформления.
Процедура 5. Подготовка материалов для передачи на вышестоящий уровень.
Осуществляется вывод на МЛ (ГМД) передаваемых на вышестоящий уровень файлов в виде промежуточных итоговых числовых матриц или в виде сводных таблиц, полученных в процессе реализации процедур 3 и 4, печать машинной справки об информации на передаваемой МЛ (ГМД) . Затем МЛ (ГМД) с выходными массивами, итоговые распечатки выходных таблиц, а также контрольные и справочные сведения о передаваемой информации отправляются почтой на вышестоящий уровень. Для ряда КЭОИ отправляются также формы первичных отчетов по определенному кругу отчитывающихся объектов.
Процедура 6. Подготовка к объединению массивов выходных данных, полученных с нижестоящего уровня.
Поочередно для каждой из полученных МЛ (ГМД) выполняются восстановление информации с МЛ (ГМД) на МД, выдача справочных сведений об информации на МД, контроль балансовой и логической увязки таблиц и в случае необходимости корректировка и повторная запись таблиц по каждой объединяемой территории на МЛ (ГМД) .
Процедура 7. Объединение массивов выходных данных, полученных с нижестоящего уровня.
Происходит предварительное накопление на МД таблиц с объединяемых МЛ (ГМД) без суммирования данных, формирование для ряда КЭОИ машинного каталога по разрезам объединения (министерствам и ведомствам, отраслям и др.) , счет и печать выходных таблиц по всем разрезам объединения, контроль балансовой и логической увязки этих таблиц, при необходимости их корректировка и повторная печать, формирование и печать выходных таблиц по территории в целом, выдача справочных данных о структуре сводной информации на МД.
Процедура 8. Обработка сводных таблиц министерствам и ведомствам, отчетность которых не централизована.
Эта процедура выполняется во многих КЭОИ на федеральном уровне и предусматривает прием сводных итогов ряда министерств, отчетность которых не централизована в органах статистики, в виде подготовленных в этих министерствах сводных выходных таблиц, подготовку их к вводу в ЭВМ на технических носителях, запись с контролем и корректировкой, машинную распечатку выходных таблиц по этим министерствам; в некоторых КЭОИ формируется и печатается объединенная таблица по данным министерствам в целом (как по некоторой условной территории) . Полученная в результате этой процедуры информация по нецентрализованным министерствам выводится на отдельные МЛ (МГД) , которые используются наряду с МЛ (ГМД) , полученными с нижестоящего уровня, при выполнении описанной выше процедуры 7.
Процедура 9. Получение таблиц для местных руководящих органов.
Операция выполняется на региональном или кустовом уровнях. Кустовой уровень может организовываться для ряда региональных управлений статистики, где нет необходимых средств вычислительной техники, удовлетворяющих требованиям системной обработки информации. На этих уровнях происходит формирование промежуточных числовых матриц с данными специальных (не входящих в централизованную разработку) таблиц для местных руководящих органов и печать этих таблиц. Во многих КЭОИ проводится дополнительная разработка первичных отчетов, подготовленных в виде массива исходных данных в процессе реализации процедуры 3, с целью получения выходных таблиц (например, по административным районам) и печать этих таблиц. Специальные выходные таблицы, а также выходные таблицы, полученные в результате дополнительной разработки, передаются местным руководящим органам.
Рассмотренные выше типовые технологические процедуры полностью реализуют процесс обработки почтовой отчетности на всех уровнях ГКС РФ в виде следующих операторских схем:
1. Региональный уровень. Процедура 1 Процедура 2 Процедура 3 Процедура 4 Процедура 5 Процедура 9.
2. Кустовой уровень. Процедура 1 Процедура 2 Процедура 3 Процедура 4 Процедура 6 Процедура 9 Процедура 7 Процедура 5. (Процедура 2,3,4,6 и 9 выполняются отдельно для каждой обрабатываемой территории (региона) .
3. Федеральный уровень. Процедура 1 Процедура 2 Процедура 3 Процедура 4 Процедура 8 Процедура 6 Процедура 7 (Процедура 6 повторяется для каждой объединяемой территории)
В качестве примера рассмотрим организацию технологического процесса обработки почтовой квартальной статистической отчетности по форме N 2-Т (КЭОИ "Отчет промышленного предприятия (объединения) по показателям труда") . Схема технологического процесса обработки и передачи информации по форме N 2-Т на различных уровнях ГКС РФ приведена на рис. Выбор данной задачи как примера организации системной технологии КЭОИ объясняется следующими обстоятельствами. Во-первых, она является типовой задачей обработки почтовой статистической отчетности, в которой принимают участие региональные управления статистики и ГВЦ КС РФ. Во-вторых, для данной задачи используются практически все основные способы организации системной технологии, в том числе и кустовой уровень. В-третьих, достаточно распространенным является прохождение потоков информации данной отчетности, при котором процедуры ввода в ЭВМ первичных отчетов выполняются не только на уровне региона, но и на федеральном уровне для тех министерств (ведомств) , отчетность которых не централизована в органах государственной статистики.
Если дополнить вышерассмотренный перечень технологических процедур такими процедурами, как передача информации по коммутируемым и выделенным каналам связи с использованием средств телеобработки для срочной отчетности, то можно будет получить полный набор типовых процедур, различные сочетания которых реализуют системную технологию любой регламентной статистической задачи.
В настоящее время при решении регламентных задач в ГКС РФ, наряду с применением КЭОИ, представляющих набор автономно выполняемых программ, широкое распространение получили КЭОИ, скорректированные на базе пакетов прикладных программ (ППП) .
ППП представляет собой законченный комплекс программных средств, ориентированных на решение регламентных задач сводно-группировочного характера, и имеющий четко выраженную модульную структуру и стандартные средства связи друг с другом с помощью управляющей программы. По сравнению с набором автономно выполняемых программ ППП позволяют: предоставить экономистам, по возможности, единую схему получения сводных таблиц; избавить программистов от работ по созданию уникальных программных средств для каждого вновь проектируемого КЭОИ; допускать изменения решения задачи (структура и содержание первичных и сводных отчетов) без изменения программных средств; сократить сроки на разработку КЭОИ; максимально типизировать проектирование КЭОИ.
Наиболее широкое применение в ГКС РФ получил пакет "Форма" (интерпретируемого типа) , предназначенный для автоматизации проектирования КЭОИ. При его разработке руководствовались следующими принципами: организационно-методологического единства, обусловленного использованием единого набора программных модулей, обеспечивающих обработку данных для различных регламентных задач; экономичной технологии, обуславливающей процесс обработки информации с минимальными затратами труда экономистов и операторов, а также рационального использования ресурсов ЭВМ; гибкости и инвариантности программного обеспечения по отношению к изменениям и дополнениям постановок статистических задач, обуславливающих возможность внесения отдельных изменений параметров задачи без переделки программных модулей; типизации и унификации, обуславливающих единую методологию построения процесса обработки данных для всех регламентных задач; интеграции обработки данных, обуславливающей однократный ввод информации в вычислительную систему с целью многократного и многофункционального ее использования.
Проектирование КЭОИ с использованием ППП "Форма" сводится к составлению настроечной информации двух типов: справочников, жестко привязанных к структуре первичных и сводных отчетов, и различных каталогов и справочников, не зависящих от этих структур. Настроечные массивы первого типа индивидуальны для конкретного КЭОИ, а второго являются общими для многих КЭОИ.
Множество настроечных массивов, используемых в каждом КЭОИ, представляет собой формализованное описание на входном языке ППП "Форма" постановки соответствующей конкретной регламентной статистической задачи.
Обобщая традиционный набор программных модулей и основываясь на вышеизложенных концепциях создания и функционирования программного обеспечения, в ППП "Форма" разработаны следующие типовые программные модули, полностью реализующие решение регламентных задач с использованием сводно-группировочных методов обработки данных: ввод, контроль и запись первичных отчетов; корректировка первичных отчетов; формирование сводов; печать сводных отчетов.
Взаимосвязь программных модулей ППП "Форма" и информационных (настроечных) массивов при решении регламентных задач показана на рис.
Для ввода, контроля и записи первичных отчетов на машинные носители используется программа ВКЗ. С ее помощью осуществляется ввод исходных массивов АХВ, подготовленных на различных носителях (перфолента, магнитная лента) , или прямо с терминалов. Исходные массивы готовятся пачками. В первой строке указываются код КЭОИ, номер пачки и количество отчетов в пачке; во второй — идентификатор отчета (регистрационный номер объекта по ОКПО) ; в третьей — строки отчета (код строки и содержание ее граф) . После последней строки отчета ставится знак — разделитель отчета.
Программой ВКЗ выявляются отклонения, вызванные нарушением различных видов арифметического и логического контроля, которые выдаются в форме протокола ошибок. Данные записываются на магнитные диски в виде массива ВХВ Описанные действия программы ВКЗ выполняются с помощью следующих заранее подготовленных настроечных массивов: описание оглавления формы-файла НХВ, описание структуры первичного отчета СТРХВ и описание каталога первичных отчетов КАТХЗ.
Форма-файл — это машинная форма представления исходных данных в виде последовательности записей, где каждому первичному отчету соответствует одна запись. Оглавление формы-файла содержит его такие основные физические и логические характеристики, как код КЭОИ, длина одной логической записи, код территории, количество реквизитов-признаков и реквизитов-оснований, максимальная размерность массива, признак отсортированности отчетов, количество и номер цикла обработки отчетности, модуль упаковки и распаковки массива и др.
Использование ППП "Форма" позволяет для всех первичных отчетов пользоваться единым описанием их структуры, которое содержит следующие основные элементы: описание параметров; описание разделов отчета; описание строк отчета; описание контроля. В описании параметров указывается: признак структуры отчета (фиксированная, переменная или комбинированная) ; количество фиксированных строк и граф; максимальное количество переменных строк и количество граф в переменных строках.
Описание разделов выполняется для фиксированных строк, где указывается количество фиксированных разделов, количество фиксированных строк и количество граф в каждом разделе.
В описании строк дается код строки и перечисляются все коды граф, относящиеся к каждой строке.
Описание контроля отчетов состоит из совокупности описаний однотипных операций контроля и включает следующие типы: балансовый контроль строк; балансовый контроль граф; сравнение допустимого отклонения от ожидаемых данных по различным строкам и графам с фактическими данными; контроль пографной увязки данных; проверка построчных и постраничных контрольных сумм; проверка недопустимых пустых строк и закрещенных граф.
Формула для каждой перечисленной типовой операции контроля имеет свою уникальную конструкцию.
Каталог первичных отчетов в основном используется для контроля полноты записи отчетов, а также определяет перечень используемых кодов. Унифицированный каталог (для многих КЭОИ) в рамках отрасли статистики состоит из заголовка и карточек каталога на каждый первичный отчет.
Заголовок определяет параметры каталога, в который включаются: максимальный номер карточки и количество признаков в каталоге, номер ключевого признака (обычно регистрационный номер объекта) каталога и максимальная его длина. 18 В каждых последующих карточках отражаются реквизиты-признаки объекта обследования. Для промышленных предприятий это будет порядковый номер карточки, регистрационный номер объекта по ОКПО, код отрасли по ОКОНХ, код министерства по СООГУ, код промышленного объединения, код территории по СОАТО и другие используемые коды.
Корректировка исходных массивов ВХВ по программе КОР выполняется только в том случае, если при вводе данных протокол ошибок содержит сведения о нарушениях различных типов контроля. С этой целью предварительно составляется массив корректур АХВ и используется описание структуры первичного отчета СТРХВ и каталог первичных отчетов КАТХВ. Корректировка осуществляется до тех пор, пока не прекратятся сообщения в протоколе ошибок, при этом исходный массив ВХВ преобразуется в откорректированный массив СХВ.
Программа корректировки допускает следующие типы корректур: замена реквизитов-признаков; замена реквизитов-оснований; удаление отчета; перевод отчета из списка ошибочных в список правильных.
Для первого типа корректур указывается регистрационный номер объекта по ОКПО, номер и новое значение корректируемого признака, а также контрольная сумма предыдущих трех чисел.
Для последующих типов корректур применяется структура бланка корректур со следующими графами: регистрационный номер объекта по ОКПО, код строки, код графы, новое значение (или приращение с соответствующим знаком) и контрольная сумма. Для перевода отчета из списка ошибочных в список правильных в бланке корректур коды строки, графы и новое значение должно равняться нулю, а для удаления отчета код строки должен равняться нулю, код графы — единице, новое значение — нулю. После окончания корректировки переходят к программе формирования сводных итогов ФСВ. Исходными данными для ее функционирования являются откорректированный массив СХВ, каталог первичных отчетов КАТХВ, определяющий список сводных отчетов, к которым принадлежит первичный отчет, и специально подготовленный массив вхождения МВХВ, предназначенный для описания схемы формирования сводных отчетов иерархической структуры. В результате работы этой программы получаем выходной массив ЕХВ, содержащий накопленные итоги сводного отчета.
Массив вхождения определяет порядок вхождения первичных отчетов в соответствующие сводные отчеты. Он состоит из заголовка и элементов массива вхождения.
Заголовок в основном используется для формирования оглавления массива сводного отчета и кроме этих характеристик включает максимальную глубину вхождения (число разрезов, в которые войдет первичный отчет) , количество и порядковые номера реквизитов-признаков в каталоге первичных отчетов, используемых для определения их входимости в сводные отчеты и другие признаки.
Элементы массива вхождения определяют конкретные значения реквизитов-признаков и правила формирования сводных отчетов. В каждом элементе массива вхождения, соответствующем одному сводному отчету, сначала определяются списки реквизитов-признаков, определяющих входимость показателей первичного отчета в сводный отчет, а затем перечисляются номера граф этих признаков в каталоге первичных отчетов КАТХВ с указанием алгебраического сложения или вычитания показателей.
Заключительным этапом реализации ППП "Форма" является печать сводных отчетов с помощью программы ПСВ. Исходными данными для работы этой программы является полученный массив сводных итогов ЕХВи предварительно подготовленные каталог сводных отчетов КАТСХВ и описание выходных таблиц ТАБХВ.
Каталог сводных отчетов применяется для определения перечня выдаваемых сводных отчетов, и он получается на основе массива вхождений МВХВ, из которого берутся только списки реквизитов-признаков, определяющих входимость показателей в сводный отчет. Отчеты, не указанные в этом каталоге, исключаются из процесса обработки.
Описание выходной таблицы состоит из четырех разделов: раздел параметров заголовочной части таблицы; раздел текстов; раздел получения производных граф; раздел параметров содержательной части таблиц.
В разделе параметров заголовочной части таблицы дается характеристика размещения заголовков, подзаголовков, рамки с кодами и шапки (наименование и номера граф содержательной части) таблицы.
Раздел текстов служит для оформления выходных таблиц и содержит описания символьных текстов, которые включают заголовки, рамки кодов, шапки, боковики и т.д.
Раздел производных граф описывается в том случае, если их значение можно вычислить, используя исходные графы. Для этого указываются номера исходных граф и тип групповой арифметической операции, выполняемой для получения производной графы.
В разделе параметров содержательной части таблицы дается описание боковика, строк таблицы и расчет производных строк. Описание расчета производных строк составляется аналогично описанию производных граф.
На основе ППП "Форма" разработаны и внедрены рабочие проекты системных и локальных КЭОИ для автоматизированного решения около100 (ста) регламентных статистических задач. Его использование позволяет сократить в 2-3 раза трудовые затраты и значительно уменьшить стоимостные затраты на проектирование новых КЭОИ, а также упростить эксплуатацию КЭОИ за счет внедрения типовых проектных решений по основным процедурам технологического процесса обработки статистической информации на ЭВМ.
3. Организация решения статистических задач с помощью комплекса средств новой технологии для обработки статистической информации.
Одной из главных особенностей автоматизированной обработки статистической информации является новая технология, обеспечивающая более эффективную обработку на основе достижения технической, программной, информационной и методологической совместимости.
Новая технология разрабатывается в качестве единой и типовой для всех срочной и почтовой статистической отчетности. Она предполагает постепенный переход от технологии функционирования относительно самостоятельных отраслей статистики (на базе отдельных трудоемких статистических работ, выполняемых с помощью КЭОИ) к построению интегрированной информационной системы, охватывающей не только систему государственной статистики, но и информационные базы предприятий и организаций, а также различных отраслевых и региональных органов.
Новая технология намечает изменение традиционных потоков информации, способов формирования статистической отчетности на первичных объектах статистического наблюдения и представления ее в органы государственной статистики. Предполагается в отчитывающихся организациях создание автоматизированных банков данных и включение в них интегрированных систем статистических показателей, которые по каналам связи либо на технических носителях должны поступать в органы государственной статистики.
Новая технология ориентирована на активное участие экономистов и статистиков в процессе обработки данных в регламентированном режиме и в режиме информационно-справочного обслуживания. При этом обеспечивается не только разработка текущей статистической отчетности, но и выполнение комплекса аналитических работ, связанных с составлением бюллетеней, докладов, справок и т.п.
Комплекс средств новой технологии включает системные комплексы сбора, обработки и передачи по каналам связи статистических данных, созданные по новой технологии (КНТ) , базы данных (БД) , разработанные по единой логической структуре в среде АБД, автоматизированные рабочие места экономиста-статистика для выдачи аналитической информации во взаимодействии с базами данных (АРМ) . Он обеспечивает автоматизацию обработки статистической информации на всех этапах технологического процесса: сбор данных, их контроль и подготовка для обработки, обработка, выдача результатов и передача на вышестоящий уровень. Состав комплекса средств новой технологии единый для регионального и федерального уровней ГКС РФ. Составные части, входящие в комплекс средств новой технологии, взаимоувязаны между собой и разработаны в единой программно-технологической среде, т.е. фактически происходит интеграция различных программно-технологических средств решения задач.
Под КНТ понимается совокупность информационных, программно-технологических и технических средств, обеспечивающих автоматизацию сбора, контроля, корректировки, обработки и передачи статистической информации на региональном и федеральном уровнях.
В качестве технической базы в КНТ используются ПЭВМ типаЕС-1840 (ЕС-1841) , ЕС ЭВМ или комплексирование ПЭВМ и ЕС.
Создание комплексов новой технологии предполагает использование базового программного обеспечения, включающего СУБД типа "Триада", АБД, типовые АРМы ввода, контроля, обработки, средства передачи данных по каналам связи. Использование единой программно-технологической среды обеспечивает совместимость различных программно-технологических средств, используемых в КНТ.
Технология обработки статистической информации в КНТ стандартна и состоит из следующих процедур: ввод, контроль, корректировка, обработка, выдача результатов.
Реализация указанных процедур многовариантна, т.к. разработанные в единой среде программно-технологические средства предопределяют их различные сочетания с учетом возможностей имеющихся технических средств, объемно-временных параметров обрабатываемой, хранимой и передаваемой информации и требований пользователей к стоимостным и временным характеристикам обрабатываемых данных.
Операции ввода, контроля, корректировки в ряде КНТ реализуются с помощью типового АРМа, на ППЭВМ типа ЕС-1840, (ЕС-1841) , а операции по обработке и выдаче результатов осуществляются с использованием типового АРМа на ППЭВМ типа ЕС-1840 (ЕС-1841) или же с использованием базового языка запросов АБД АСИС.
Взаимодействие в КНТ носит характер как межуровневого так и внутриуровнего обмена выходной информацией. С вышестоящим уровнем обмен реализуется средствами дистанционного сбора (СДС) , системы телеобработки статистической информации (СТОСИ) , СДС ПЭВМ, СТОСИ или передачей магнитных носителей (МЛ, дискет) .
Внутриуровневый информационный обмен между КНТ и базой данных осуществляется в режиме скомплексированных ЕС ЭВМ и ППЭВМ.
Рассмотрим типовой технологический процесс сбора, обработки ипередачи статистической информации на примере обработки срочной отчетности (рис. N) .
Комплекс новой технологии сбора, обработки и передачи данных на примере срочной отчетности, итоговых и разработочных таблиц на областном и федеральном уровнях базируется на использовании программных средств АРМ обработки на ПЭВМ ЕС-1840 (ЕС-1841) во взаимосвязи с БД АБД.
С целью обеспечения безбумажной технологии передачи данных по всем уровням ГКС РФ (район-регион-федерация) на районном уровне в результате автоматизированной обработки данных должны формироваться файлы-телеграммы по структуре СДС СТОСИ для передачи данных на областной уровень.
Программное обеспечение КНТ включает прикладное программное обеспечение на ПЭВМ ЕС-1840 (ЕС-1841) (АРМ обработки) , обеспечивающее прием, обработку, выдачу статистических таблиц, формирование массива по структуре СДС СТОСИ для передачи данных на вышестоящий уровень и формирование "загрузочного массива" по структуре, требуемой АБД для загрузки фонда данных.
Создание метаданных АБД на ЕС ЭВМ, загрузка фонда данных, обработка информации с выдачей статистических таблиц обеспечиваются базовым программным обеспечением АБД.
Эксплуатация КНТ на ПЭВМ должна осуществляться экономистами-статистиками, ответственными за разработку соответствующей срочной статистической отчетности.
Информационная база КНТ на ПЭВМ состоит из справочных массивов и фонда данных. В справочных массивах хранятся характеристики показателей и объектов статистического учета, график отчетных дат, наименования и макеты статистических таблиц и информация для реализации алгоритма их формирования. В фонде данных хранятся значения показателей на отчетные даты за два года (текущий и предыдущий) .
Передача фактических данных текущего периода по уровням район-область-федерация производится средствами СТОСИ.
Как запасной вариант данные могут вводиться в ПЭВМ на каждом уровне непосредственно из документов (статистических таблиц, отчетов, телетайпограмм) . Ввод осуществляется через экран видеотерминала.
Хранение значений показателей в фонде данных КНТ производится по кодам показателей (условным обозначениям) и кодам территории.
В результате обработки данных на ПЭВМ формируются статистические таблицы для представления руководящим органам региона, выходные массивы "файл-телеграмма" для передачи сводных данных на вышестоящий уровень и "загрузочный массив" для перезаписи данных в фонд данных БД АБД. Метаданные БД АБД на региональном и федеральном уровнях включают показатели срочной отчетности обычно месячной периодичности.
Загрузка данных в БД АБД из файла, сформированного на ПЭВМ, обработка загруженных данных с выдачей статистических таблиц производится базовым программным обеспечением АБД.
В связи с функционированием в системе ГКС РФ автоматизированного банка данных (АБД) создается единый информационный фонд системы показателей, включающий взаимосвязанные информационные массивы (базы данных) многоцелевого использования, что существенно повышает уровень автоматизации статистических задач.
В системе ГКС РФ созданы базы данных по следующим отраслям статистики: промышленность, сельское хозяйство, строительство и инвестиции, научно-технический потенциал, внешнеэкономическая деятельность, товарные рынки и торговля, труд, транспорт и связь, финансы и цены, услуги и социальная сфера.
База данных по статистике промышленности включает более 800 наименований показателей, характеризующих стоимость основных фондов, среднесписочную численность промышленно-производственного персонала, оплаты труда, фондоотдачу, фондо- и энерговооруженность в разрезе отраслей, ведомств, территорий.
База данных по статистике сельского хозяйства включает 1320 наименований показателей, характеризующих государственные закупки сельскохозяйственной продукции в натуральном и стоимостном выражении в разрезе общественного сектора, колхозов, совхозов и госхозов, хозяйств населения по территориям.
База данных по статистике строительства включает около 1200 наименований показателей, характеризующих объем капитальных вложений, в т.ч. затраченных на охрану окружающей среды, объем основных фондов, наличие и использование рабочей силы в строительстве по стройкам, ведомствам, отраслям, территориям.
Кроме отраслевых, в системе ГКС РФ создаются региональные базы данных, к которым следует отнести паспорт территории, разработанный на основе региональной субсистемы статистических показателей.
В паспорте сосредоточены показатели различных отраслей статистики, разносторонне характеризующие социальное и экономическое развитие конкретной территории (области, республики, края) . Он заполняется на основе данных годовой статистической и бухгалтерской отчетности, единовременных учетов и переписей. Структурно паспорт состоит из нескольких разделов.
Из общего раздела можно получить информацию о размере территории, плотности населения, наличии автономных образований, районов, поселков. В основном разделе сконцентрированы общеэкономические показатели: развития территории (национальный доход, совокупный общественный продукт, произведенная чистая продукция, накопления и прочие расходы и т.д.) ; показатели социального развития и повышения уровня жизни населения (денежные доходы и расходы, средняя зарплата, производство и потребление на душу населения, обеспеченность жилплощадью, обеспеченность предметами длительного пользования и т.д.) ; показатели ввоза и вывоза продукции, включая импорт и экспорт продукции, межреспубликанский обмен отечественной продукцией, международные сопоставления.
Заключительный раздел паспорта содержит показатели, характеризующие состояние и развитие различных отраслей хозяйства территории — промышленности, сельского хозяйства, строительства, транспорта и связи, социальной сферы и др.
Укрупненный перечень показателей паспорта дает основание утверждать, что региональная база данных по глубине отражения процессов, происходящих в регионе, носит интегрированный характер. Региональная база данных включает 5300 наименований показателей.
Разработка логической структуры баз данных АБД ведется на основе показателей субсистем с использованием системы классификации и кодирования технико-экономической информации. Такой системный подход позволил: во-первых, создать распределенные по уровням ГКС РФ базы данных регионального отраслевого характера; во-вторых, уйти от разработки программных средств обработки отдельных форм статистической отчетности; в-третьих, четко разграничить этапы проектирования баз данных и разработки базового программного обеспечения; в-четвертых, избежать внесения изменений в программное обеспечение в связи с изменением набора показателей в формах статистической отчетности, т.к. все изменения методологического характера осуществляются на этапе проектирования.
Для решения аналитических задач в ГКС РФ широко используются АРМ экономиста-статистика АРМ представляет собой комплекс программных средств на ПЭВМ, обеспечивающих автоматизацию решения аналитических задач пользователя непосредственно на его рабочем месте на основе автоматизации трудовой деятельности экономиста-статистика.
АРМ экономиста-статистика представляет собой комплекс подсистем, обеспечивающих автоматизацию процедур, необходимых для решения аналитических задач: подсистема "Интерфейс", подсистема "Табличный процессор", подсистема "Математическая статистика", подсистема "Подготовка метаинформации на ПЭВМ для АБД".
Рассмотрим более подробно эти подсистемы.
Подсистема "Интерфейс" обеспечивает связь с внешними системами и между подсистемами АРМ. Данная подсистема выполняет следующие функции: ведение локальной базы АБД на ПЭВМ (создание локальной базы, ввод, корректировка, печать) ; загрузка в локальную базу обменного массива АБД; выборка информации из локальной базы в загрузочный массив АБД; ввод и корректировка информации локальной базы на ПЭВМ; работа с совокупностью локальных баз, в частности, их учет; выборка информации из локальной базы в форматах подсистемы "Математическая статистика"; экономический анализ массива данных за любой период, совокупности объектов, анализ динамических рядов; автоматическое вычисление индексов физического объема, индексов цен, розничных производных показателей (средних и др.) .
При анализе динамических рядов рассчитываются базисные и цепные индексы, абсолютные и относительные приросты, абсолютные и средние значения за определенный период, средний абсолютный прирост, темп роста.
Для оформления результатов на экране дисплея и в твердой копии можно получить горизонтальные гистограммы и графики, выборку информации из локальной базы в форматах подсистемы "Табличный процессор".
Подсистема "Интерфейс" состоит из двух управляющих модулей — "Вариант пользователя", "Вариант администратора базы" и ряда прикладных программ, реализующих конкретные режимы работы.
Подсистема "Табличный процессор" обеспечивает преобразование данных локальной базы или описанных таблиц в выходные формы, содержащиеся в текстовом файле для дальнейшей их распечатки.
На основании данных текущей локальной базы, описания таблиц, установленного фильтра подсистема "Табличный процессор" получает выходные формы в текстовом файле для дальнейшего распечатывания.
Табличная форма получается на полной локальной базе или ее подмножестве. Для этого вводится "фильтр", т.е. признаки ограничивающие параметры базы.
Выходной информацией подсистемы является текстовый файл, содержащий полученную таблицу.
Входной информацией подсистемы являются: локальная база; описание таблиц (фильтр в базе, описание шапки, боковика, формул расчета граф) .
Подсистема "Математическая статистика" обеспечивает анализ данных методами математической статистики.
Данные поступают из подсистемы "Интерфейс" или вводятся вручную.
Анализ данных методами математической статистики осуществляется с помощью 3-х подсистем: динамический ряд, факторный анализ, корреляционный анализ. 30 Подсистема "Динамический ряд" осуществляет построение полигона, гистограммы частот и кумулятивной линии; подбирает тренд из выбранного класса функций; производит сглаживание исходного динамического ряда; строит прогноз на основе выбранного тренда и на основе авторегрессионной модели; производит анализ остатков на автокорреляцию и нормальность.
Подсистема "Факторный анализ" позволяет получить линейную модель, описанную небольшим числом фундаментальных единиц, факторов, содержательная интерпретация которых является прерогативой квалифицированного пользователя. Кроме того здесь рассчитываются значения "нагрузок на общие факторы" и сами общие факторы.
Предоставляется графическая интерпретация факторов на плоскости и в пространстве.
Подсистема "Корреляционный анализ" позволяет получить корреляционную матрицу, средние, стандартные отклонения, а также критические значения трех типов: В — бинарный (или дихотомический) , Р — ранжированный (порядковый) , Х — количественный (интервальный) .
Результаты работы данной подсистемы — корреляционная матрица — может использоваться в дальнейшем анализе, например, в факторном анализе и представляет самостоятельный интерес для проверки взаимосвязи между переменными (в том числе и между разными типами) .
Подсистема "Подготовка метаинформации на ПЭВМ для АБД" предназначена для формирования файлов, содержащих информацию для программ формирования и обновления файлов базы данных АБД в пакетном режиме автономно на ПЭВМ.
При этом от пользователя не требуется знание сложного языка АБД, информация вводится в диалоговом режиме, а соответствующие служебные записи для АБД формируются автоматически.