Банк данных ПРОДУКЦИЯ РОССИИ

Краткая предыстория

Озниев Н.К. ктн

Дата публикации: 04.01.2018г.

Введение

Автор является участником ряда ключевых событий, связанных с развитием системы каталогизации ПРОДУКЦИЯ РОССИИ.

Основным объектом системы каталогизации ПРОДУКЦИЯ РОССИИ является так называемый каталожный лист продукции с краткой аббревиатурой КЛП. Назначение и основная роль КЛП заключается в том, чтобы служить источником главных сведений о выпускаемой продукции, о его изготовителе и главных показателях. В таком качестве КЛП – уникальный источник информации при том, что его регистрация в системе каталогизации продукции РОССИИ - предельно простая операция.

Автор оказался в сфере каталогизации продукции, и поимел близкое знакомство с КЛП в силу известных обстоятельств, когда многие специалисты были вынуждены отложить свою профессиональную деятельность, или даже совсем распрощаться с ней, и искать способы выживания в доступных областях. Так он появился во ВНИИСтандарт в середине 90-х годов, и застал там практически заброшенную вычислительную систему, основу которой составляли компьютеры SPARC с операционной системой Solaris. Это было дорогое для тех времен оборудование. Одной из основных задач этой системы было ведение баз данных КЛП. Через некоторое время эта система была оживлена, и первой СУБД, на которой автор начал разворачивать хранилище базы данных КЛП, была Informix в среде Solaris. Клиентское программное обеспечение разрабатывалось в Windows.

Примерно через год в Госстандарте начала внедряться мощная корпоративная сеть на базе Windows NT и системы Lotus Notes. Эта сеть получила название Макронет. К этому времени автор успел разработать программное обеспечение для ведения региональных баз данных формата dBase для Центров стандартизации и метрологии России (ЦСМ). Научно-методические основы каталогизации продукции на базе КЛП разрабатывало подразделение ВНИИСтандарт под руководством Берновского Юрия Наумовича, который и поныне является приверженцем и фактически основателем отечественной системы каталогизации продукции. Первые базы данных для ведения каталожных листов, которые были разработаны в его подразделении, были на Clipper-е. Но к тому времени Clipper уже себя изживал. Тем не менее, автор взял за основу структуру данных именно этой версии баз данных и уже в ЦСМах внедрялась система для ОС Windows, работавшая с базами данных в формате dBase. Формат dBase не намного лучше Clipper, но его преимущество заключалось в том, что в распоряжении автора была уникальная на тот период система разработки Delphi, которая позволяла разрабатывать программное обеспечение для работы с этим форматом в среде Windows с невиданной доселе скоростью.

Это программное обеспечение поставлялось в ЦСМы, которые передавали вновь введенные данные во ВНИИСтандарт по электронной почте, которая в те времена была довольно слабой и работала по модемной связи.

Появление корпоративной сети Макронет привело к оснащению институтов Госстандарта, в том числе и ВНИИСтандарт, мощной вычислительной системой на базе Windows NT.  Появилась поддержка Интернет. Электронная почта стала удобной и надежной, работала бесперебойно, и довольно быстро процесс сбора и централизации базы данных каталожных листов привел к созданию полномасштабной Автоматизированной информационной системы Каталогизация ПРОДУКЦИИ РОССИИ (АИС Каталогизация).

Центром сбора всей информации по КЛП служил опорный узел Макронет во ВНИИСтандарте, где было сосредоточено программное обеспечение по сбору, объединению, профилактике и хранению Центральной базы данных.

Это была локальная сеть с контроллером домена на Windows NT 4.0. На отдельнм сервере  была установлена также система Lotus Domino 4.6. Основные подразделения ВНИИСтандарт имели при этом выход в Интернет и доступ к электронной почте в среде Lotus Notes.

На опорном узле ВНИИСтандарт был дополнительно развернут сервер баз данных Interbase, на котором планировалось централизованно хранить всю информацию о КЛП, поступающих из ЦСМ. Для пополнения центральной базы на Interbase был разработан целый ряд приложений, которые обеспечивали возможность контроля входных данных, исправление ошибок, конвертирование из формата DBF в формат SQL-сервера, в котором данные хранились в жесткой реляционной модели, обеспечивающей целостность данных и надежность их хранения.

Помимо этого были разработаны программы формирования указателей технических условий и каталогов продукции.

Опорный узел имел производственные помещения общего пользования, куда могли приходить сотрудники института для работы в корпоративной сети Макронет, а также в Интернет.

 

Организационное руководство работами в рамках АИС Каталогизация осуществлял доктор технических наук Котов Евгений Орович, заместитель директора ВНИИСтандарта, доктора технических наук Подлепы Станислава Алексеевича. В течение короткого времени было проведено обучение персонала ЦСМ, которое проводил непосредственно автор данной статьи. Они были оснащены ПО «Автоматизированное рабочее место ПРОДУКЦИЯ РОССИИ», известным как АРМ3, и уже к январю 1999 года объем Центральной базы данных КЛП достиг более 55 тысяч КЛП.

АИС Каталогизация

Общая схема АИС Каталогизация, которая начала функционировать в конце 90-х и в самом начале 2000-х годов, имела вид:

Она функционировала в рамках корпоративной сети Макронет Госстандарта России (ныне Росстандарт). Следующий рисунок иллюстрирует взаимодействие ее составных частей:

На приведенной схеме не показано взаимодействие с серверами Lotus Domino. Головные серверы Lotus Domino размещались в головном институте Госстандарта по хранению информации - ВНИИКИ. На сервере Lotus Domino размещалась специальная библиографическая база данных ГОСТов, к которой имели доступ все участники Макронет. Там же была организована библиографическая база данных АИС Каталогизация, а на сервере Lotus Domino опорного узла ВНИИСтандарт хранилась реплика этой базы данных. АРМ3 имел режимы работы, в которых обеспечивался обмен информацией с этой репликой, которая регулярно пополнялась по мере пополнения центральной базы данных на сервере Interbase.

Поставляемым ПО для ЦСМ был указанный выше АРМ3. Размещалось это ПО на CD ROM и содержало следующие компоненты:

1.      База данных ПРОДУКЦИЯ РОССИИ, актуализированная на момент записи CD,

2.      Классификаторы ОКП, КГС и ОКС в формате, применяемом для работы в АИС КАТАЛОГИЗАЦИЯ,

3.      БД ГОСТ и ГОСТ Р, созданная по библиографической БД на севере ВНИИКИ на период записи,

4.      Программное обеспечение для работы с АИС КАТАЛОГИЗАЦИЯ, позволяющее решать следующие задачи:

-          просмотр БД каталожных листов, классификаторов и БД ГОСТ, в том числе распечатку любого каталожного листа,

-          выборку из БД КЛП информации по запросам, в том числе вывод информации в файл или на принтер; предусмотрено создание сложных запросов с использованием специального накопителя, в котором информация заносится по категориям (категории определяются пользователем)

-          ввод, коррекцию и изменение каталожных листов продукции,

-          подготовку информации для передачи и прием информации из внешних файлов БД для пополнения,

-          экспорт информации в формате Lotus Notes.

5.      Руководство пользователя и системного программиста в формате Word.

По мере наполнения банка данных ПРОДУКЦИЯ РОССИИ осуществлялось обновление данных в соответствии с договором между ВНИИСтандарт и ЦСМ. К концу 1999 года общее количество ЦСМ, взаимодействующих с ВНИИСтандарт, достигало 80.

В середине 2000 года автор данной статьи покинул ВНИИСтандарт и около 2-х лет поддерживал систему в удаленном режиме. В конце 2015 автор был вновь приглашен для сотрудничества в области каталогизации продукции для разработки и обновления программного обеспечения. На этот раз система каталогизации была переведена из ВНИИСтандарт в ФГУП «Стандартинформ», унаследовавший функции ВНИИКИ, Госстандарт России назывался Росстандарт, произошли серьезные реорганизации, сеть Макронет в прежнем качестве не функционировала, соответственно было утеряно взаимодействие с базами Lotus Domino, перестал поддерживаться процесс обновления базы данных на Interbase и т.д.

Однако, благодаря усилиям Берновского Ю.Н. система каталогизации в основном своем назначении – ввод КЛП и их передача в Стандартинформ, не прекращала работу все эти годы, и объем базы данных КЛП, поступивших из ЦСМ приближался к 300 тысяч. Точное количество КЛП было не известно из-за отсутствия четкости в хранении данных.

АРМ3 в этой системе стал узким местом, т.к. он в свое время был разработан для 16-разрядных операционных систем, работать с его пользовательским интерфейсом на современных мониторах было некомфортно, разросшаяся база данных формата DBF не обеспечивала надежности и целостности данных, была разбросана во множестве каталогов и файлов, не имела централизованного хранилища, а сервер Interbase свои функции не выполнял. Единственной задачей, которая решалась с его использованием, был выпуск указателей ТУ, который к тому же держался на энтузиазме исполнителя, работавшего в этом направлении много лет.

С ростом объема баз данных формата DBF стали в полной мере проявляться факторы отсутствия серьезной организационной поддержки, без которого базы dBase в такой разветвленной системе, какой является АИС Каталогизация, теряют управляемость и перестают обеспечивать целостность данных.

Последующий анализ накопленной базы данных в Стандартинформ выявил также дефекты в самой структуре данных DBF, унаследованной от Clipper. Так, в силу того, что при вводе КЛП одновременно вводились данные держателя нормативного документа, который привязывался к нему по уникальному для каждого КЛП ключу, получилось, что в базе данных существовало столько предприятий-держателей нормативных документов, сколько было самих КЛП. Это в то время, как один держатель очень часто был участником множества КЛП. Тем самым не поддерживалась очевидная связь один ко многим, со всеми вытекающими последствиями Мало этого, отсутствие структурированности адресов привело к множеству редакций одного и того же предприятия, которые считались разными предприятиями из-за различий в написании адресов в силу известного человеческого фактора.

Все эти недостатки обострились по мере роста объема данных.

Кроме того, появились изменения в структуре самого КЛП, в частности, связанные с вводом в эксплуатацию новых классификаторов. Это тоже требовало доработок в программном обеспечении.

Все перечисленные факторы привели к необходимости пересмотра и доработки программного обеспечения системы каталогизации продукции России, а также пересмотра организации самой системы в целом.

Было решено уйти от передачи данных по электронной почте, от поставляемого в ЦСМ ПО, и разработать Интернет-портал с общим для всех ЦСМ доступом при решении задач ввода, редактирования и сопровождения базы данных ЦСМ.

Так возникло новое понятие – Банк данных ПРОДУКЦИЯ РОССИИ (БДПР).

Банк данных ПРОДУКЦИЯ РОССИИ

Жизненный цикл БДПР состоит минимально из двух этапов. Первый из них характеризуется тем, что одновременно сосуществуют две технологии ведения базы данных КЛП: старая, на базе АРМ3 и новая, на Интернет-портале БДПР.

Очевидно, что при этом возникают специфические для переходного этапа задачи.

Во-первых, необходимо обеспечить перекачку данных из существующей базы DBF-формата dBase на сервер баз данных БДПР.

Во-вторых, нужно было пересмотреть структуру данных с тем, чтобы она соответствовала современному уровню развития СУБД, в качестве которой был выбран MySQL, обеспечивая реляционную модель данных. Попутно возникла очень сложная задача корректировки данных, т.к. база DBF содержала множество ошибок, порожденных несовершенством системы ввода и недостаточностью контроля данных на этапе их ввода на рабочих местах в ЦСМ.

Решение всех этих задач шло параллельно с процессом разработки программного обеспечения самого портала. Все они автором были успешно решены, хотя до сих пор в базе данных существуют довольно казусные ошибки. В таблицах с данными предприятий еще не вполне изжит феномен дублирующих предприятий. Процесс совершенствования портала продолжается и по сей день.

Использование Интернет-технологии позволяет значительно расширить функциональность БПДР. Так, становится возможным обеспечить доступ к вводу и даже редактированию информации КЛП изготовителей.

Автором было предложено использовать классификатор КЛАДР для обеспечения качества адресных данных предприятий, что улучшило структуру адресной информации.

Была внедрена система разграничения доступа, позволившая обеспечить надежность данных при одновременной работе на портале множества пользователей разных ЦСМ. Каждый из них имеет в режимах ввода и изменения данных доступ только к своей региональной базе данных. Кроме того, легко решаются задачи разграничения доступа к различным режимам работы портала для разных пользователей, создавая необходимые для этого роли.

Появилась возможность предоставить изготовителям продукции доступ к своим КЛП.

Стали возможными операции централизованной профилактики базы данных, резервного копирования и исправления массовых ошибок в данных.

Все это привело к повышению качества данных для потребителей информации системы каталогизации продукции РОССИИ.

В настоящее время в БДПР насчитывается около 350 тысяч КЛП, среди которых порядка 320 тысяч – актуальные, т.е. представляющие практический интерес для потребителей информации. Неактуальные КЛП появляются в силу довольно приличного временного периода функционирования системы каталогизации в целом, т.к. за это время часть предприятий уже прекращают выпуск продукции, другая их часть перестает существовать и т.д.