Підходи до створення класифікатора економічних показників у інформаційних системах

Lumpova T.I., Zabolotnyi V.O., Puhachov O.P.

Approaches to creating the classifier of economic indicators in information systems.

An important task in creating information systems for analytical research of economic phenomena is to determine the principles of organization and support the classification of economic indicators as systematic distribution these indicators by certain groups. Typically, this description is designed as a classifier of economic indicators, which contains meta-information about the indicator to provide users with the opportunity to assess the quality of indicators and determine the possibility of their further sharing. This task becomes urgent in the processing of indicators that come from information resources of different origins. In terms of data quality assurance, the article focuses on the formation of a description of economic indicators as part of a metadata repository, designed to support metadata-driven information system and provide various user groups with information on economic data, and identifies priority steps to create such a repository.

The proposed approach is not a final solution, but is the first approximation to determine the principles of creating a classifier of economic indicators. t requires further thorough research, the end result of which should be a classifier of economic indicators as a tool used in the practice of analysts.

Use of «big data» and data warehouse in analytical investigations requires review of the approached to forming meta information description of economic indexes to submit them to the users of comprehensive information concerning these indexes and opportunity to evaluate their quality.

Key words: data quality, Economic Indicators Classifier, meta-information, metadata repository.

У сучасному світі велика кількість даних генерується в мережі Інтернет, зокрема отримується з відкритих джерел даних, таких як соціальні («Твітер», «Фейсбук» тощо) та пошукові мережі (пошук в Інтернеті, перегляд веб-сторінок). Об'єм даних та частота їхнього оновлення привели до появи терміну «великі дані» на позначення даних, що характеризуються, з одного боку, великим об'ємом, високою швидкістю його збільшення та різноманіттям, а з іншого - слабкою структурованістю або відсутністю структурованості. Використання цих даних як допоміжного джерела інформації для поглиблених аналітичних досліджень у поєднанні з традиційними джерелами інформації (статистичні та адміністративні дані, дані власних виробничих систем) є досить привабливим, оскільки у «великих даних» міститься прихована нова інформація, факти та взаємозв'язки, які раніше не могли бути виявлені. Таке використання вимагає перегляду підходів до формування метаінформації щодо економічних показників (далі - показників) для надання її користувачам, які на її основі зможуть оцінити якість результату об'єднаного використання інформації, отриманої з «великих даних» та традиційних джерел, з точки зору повноти, цілісності, несуперечності та адекватності. Для однозначного визначення таких результатів, їх кодування в документах (звітах, публікаціях тощо) та в інформаційних об'єктах (файли, таблиці баз даних та ін.), здійснення обміну інформацією важливу роль має Класифікатор економічних показників (далі - КЕП), де показник описується через вичерпні метадані.

Ядром сучасних інформаційних систем (далі - ІС), призначених для проведення ґрунтовного та всебічного соціально-економічного дослідження стану суспільства, зазвичай є фонд даних, де показники впорядковані за КЕП. Інтеграція даних з різнотипних інформаційних ресурсів ускладнює роботу з ведення КЕП, оскільки в різних джерелах однакові показники можуть по-різному іменуватися, а різні показники можуть мати однакові назви. Для ефективного вирішення проблем із забезпеченням функціонування ІС, надання користувачам доступу до однозначної всеохоплюючої інформації щодо показників та можливості оцінювання якості їх значень важливим є формування детальних метаданих щодо контексту показників, тобто створення метаінформаційного середовища КЕП (далі - МІС КЕП) у вигляді сукупності інформаційних об'єктів (далі - ІО) ІС, які зазвичай входять до репозитарію метаданих (далі - РМД). Для цього доцільно визначити структуру та склад МІС КЕП, звернувшись до досвіду міжнародної статистики, де ці питання ретельно досліджуються останнє десятиріччя, зокрема до використання типової моделі статистичної інформації (Generic Statistical Information Model, далі - GSIM) [1], яка окреслює основні вимоги до метаінформації, яка потрібна користувачу і необхідна для функціонування ІС з погляду реалізації засобами інформаційних технологій.

В специфікації GSIM докладно викладено принципи формування інформаційних середовищ, аналогічних МІС КЕП, які використовуються у виробництві, організованому за певною процесною схемою, і в яких класифікатори розглядаються у взаємозв'язку з іншими ІО, що беруть участь у виконанні процесних складових (далі - ПС) цієї схеми, які є певними технологічними етапами оброблення інформації, на яких виконуються різні операції з контролю та співставлення даних, їх агрегування, обчислення додаткових показників тощо. Національні статистичні організації мають значний досвід впровадження та використання таких середовищ в інфраструктурі, яка спирається на діючі ІС, що мають свою історичну специфіку. Відповідно, проблематика розвитку метаінформаційної складової таких ІС в різних країнах також має свої особливості, які потрібно враховувати при розробленні власних рішень. Розглядаючи питання, пов'язані з формуванням МІС КЕП, доцільно проаналізувати та врахувати погляд М. Скану та С. Касаграде [2], досвід М. Еріксона [3], фахівців Статистичного бюро Швеції [4], а також для забезпеченням контролю якості даних шляхом використання МІС КЕП - відповідний посібник Європейської статистичної системи (European Statistical System) [5].

М. Скану та С. Касаграде в [2] розглядають переваги від застосування в ІС стандарту GSIM щодо опису та надання доступу до класифікаторів та змінних. Вони розглядають змінні як асоціацію між одиницею сукупності та концепціями, пов'язаних з групою характеристик цієї одиниці. М. Еріксон в [3] розглядає прикладні аспекти реалізації пошукових функцій для отримання статистичних даних та забезпечення метаданими, які дозволяють дослідити та гармонізувати отримані дані. У роботі також викладаються використані під час дослідження реєстрів принципи зростаючої деталізації метаданих як засобу забезпечення бази для оцінювання якості отриманих даних. З погляду на практичне застосування метаданих, пов'язаних з показниками, важливим є досвід Статистичного бюро Швеції з використання РМД для створення виробничого середовища з високим рівнем стандартизації [4], де впроваджується базована на GSIM модель метаданих, яка зорієнтована на опис вхідних та вихідних інформаційних потоків для ПС, визначаючи різні рівні деталізації описів змінних як значень статистичних показників та вхідної інформації для їх розрахунку.

Потрібно зауважити, що адаптація рішень GSIM до проблематики створення схем МІС КЕП недостатньо висвітлювалась у вітчизняних наукових джерелах. Метою дослідження є розгляд цієї проблематики щодо основних аспектів застосування МІС КЕП для забезпечення контролю якості даних в ІС, керованої мета-даними, в також надання користувачам інформації РМД для аналітичних досліджень та оцінювання отриманих даних.

МІС КЕП, надаючи доступ до потрібної метаінформації, має виконувати в ІС подвійну функцію: забезпечення автоматизації виробничого процесу та підтримка проведення контролю якості вироблених даних зацікавленими користувачами.

Останнє є предметом розгляду статті. У практичній площині цю функцію МІС КЕП можна уточнити так: забезпечення контролю якості даних, результатом якого має бути визначення даних як релевантних, точних та надійних, своєчасних та пунктуальних, несуперечливих та порівнюваних, доступних та ясних. Спираючись на положення, викладені в [5], розглянемо ці характеристики через призму можливості їх подальшого визначення за допомогою метаінформації щодо економічного показника як якісно-кількісного опису об'єкта аналізу.

1. Релевантність (relevance) - якісна оцінка придатності для використання користувачами отриманих значень показників на поточний момент та для потенційного використання в майбутньому. Дані можуть вважатися релевантними, якщо вони є актуальними та належать до одного набору об'єктів. Для аналізу релевант- ності даних користувач повинен мати доступ до інформації, яка б надавала можливість визначити відповідність даних цілям використання. До цієї інформації, перш за все, належать визначення показників та опис методології їх формування.

2. Точність (accuracy) - це ступінь, до якого дані коректно оцінюють або описують величини та характеристики, що підлягають вимірюванню. У разі консолідації в ІС інформації з різних джерел може виникнути проблема оцінювання точності. Механізмами її вирішення є можливість фіксувати експертну оцінку, методологія оцінювання точності, формалізація процесу оцінювання, визначення правил і засобів перехресного аналізу даних при консолідації інформації з різних джерел для унеможливлення суттєвих розбіжностей у значеннях однойменних показників, які відносяться до одного об'єкта спостереження або аналізу на певному часовому проміжку. Причому в ІС повинна існувати описова частина з інформацією, за якою користувачу надається можливість провести оцінювання самостійно, а для автоматизованих процесів оцінювання - формалізована частина. Надійність (reliability) передбачає, що первинні дані, проміжні результати та вихідні дані регулярно оцінюються та перевіряються на правильність; похибки вибірки та інші відхилення оцінюються, фіксуються та документуються, виправлення аналізуються для подальшого удосконалення виробничого процесу.

3. Своєчасність (timeliness) даних відображає період з початку події або явища, які вони описують і протягом яких ця інформація залишається актуальною, а також вимагає комплектності в часі всіх відібраних джерел даних. Пунктуальність (punctuality) даних передбачає існування загальнодоступного списку виробленої продукції і відображає ступінь своєчасності випуску даних. Періодичність випуску продукції має відповідати потребам користувачів, які повинні сповіщатися заздалегідь про можливі відхилення від очікуваного терміну її надання. Для забезпечення своєчасності та пунктуальності в ІС повинен існувати графік виконання робіт зі збирання, оброблення, аналізу та поширення даних/інформації.

4. Несуперечливість (coherence) та порівнюваність (comparability) відображає зв'язність даних як ступінь їх логічного сполучення, послідовності, взаємної узгодженості та її збереження. Відповідність цим характеристикам означає: 1) відсутність конфліктів між даними та наявність обов'язкових зв'язків між ними; 2) збирання даних за єдиними стандартами щодо визначень, охоплення одиниць, правил класифікування; 3) порівняння даних, які надходять з різних джерел та з різною періодичністю, та погодження їх у процесі обробки; 4) забезпечення узгодженості та однозначності понять щодо досліджуваних об'єктів, показників, застосовуваної термінології та описової інформації про наявні обмеження щодо даних. Порівнюваність також передбачає нерозривність даних як присутність неперервної їх історії на потрібний період часу, а несуперечливіть означає відсутність дублювання даних та їх унікальну ідентифікацію, а також неможливість використовувати без пояснення однаковий термін для різних понять або елементів даних (наприклад, показників, запитань та відповідей на них) та різні умови для одного й того ж поняття або елемента даних, вносити без пояснення зміни у методологію, які впливатимуть на значення показників. Роль метаданих у поясненні можливих змін, які з часом виникають в концепціях або методологіях, є визначальною.

5. Доступність (accessibility) та ясність (clarity) відображають простоту, з якою користувач може зрозуміти, належним чином використати та проаналізувати надані в зручному для нього вигляді економічні дані. Доступність передбачає супроводження даних метаданими та поясненнями для спрощення правильного тлумачення та використання отриманої інформації, а ясність - наявність синтаксичних правил формування описів метаданих, визначення псевдонімів імен показників, підтримку версійності метаописів відповідно до змін визначень показників. Забезпечення доступності і ясності вимагає стандартизації метаданих, уніфікації їх описів, наявності глосарію з призначеними користувачу поясненнями і зручних інструментів навігації та пошуку в доступному користувачу сегменті РМД.

Визначення характеристик якості даних є певним дороговказом щодо складу ІО МІС КЕП, які підтримують описи показників для отримання цих характеристик. Формування МІС КЕП потребує попереднього визначення таких аспектів, важливих для систематизації уявлення про наявні інформаційні ресурси, виявлення потреби в їх уніфікації та стандартизації, для доповнення та розширення існуючої понятійної бази (перелік цифр у дужках наприкінці визначення відповідає номеру характеристик якості даних, що кореспондуються з результатом виконання відповідної дії):

- однозначне іменування показників та формування їх концептуального опису відповідно до деталізації, потрібної для різних груп користувачів. Для кожного показника потрібно виділити основу, яка відображає його сутність як сукупність характеристик та особливостей явища, процесу, об'єкта без зазначення умов часу та місцезнаходження, а також кількісного значення показника [1; 4; 5];

- зв'язок однойменних показників, значення яких отримані з різних джерел та/або сформовані за різними алгоритмами, пояснення щодо можливих розбіжностей у значеннях, можливість порівняння даних за однойменними показниками в різних формах надання/передачі/подання (далі - надання) інформації, за результатами виконання різних видів діяльності (статистичні спостереження, компіляція даних з різних джерел, підготовка публікацій, подання інформації в Інтернеті та ін.) та за різні періоди дослідження. Останнє передбачає зберігання «історії» показника щодо змін у методології його формування або в його характеристиках, а також збереження опису показника при припиненні його дії, якщо існують відповідні йому дані [1; 4; 5];

- склад показників, їх супутня метаінформація з погляду забезпечення інформаційних потреб усіх користувачів, зокрема щодо оцінювання ступеня відповідності значень показників потребам та деталізації запитаної інформації [1; 3; 5];

- склад та структура часових рядів, з відповідними поясненнями щодо формування цих рядів та забезпечення їх неперервності (наприклад, відомості щодо алгоритмів перерахунку) [1; 4; 5];

- ієрархія метаданих та рубрикатор як засіб забезпечення навігації в МІС КЕП у вигляді тематичного каталогу, що складається з рубрик, які відповідають визначеному переліку включених у МІС КЕП типів ІО, і надає можливість подальшої деталізації щодо конкретних примірників ІО. Рубрикатор має стати стартовою точкою, з якої користувач може здійснювати навігацію та пошук потрібної інформації в МІС КЕП [5];

- склад методологічної документації, яка надає повну картину щодо формування, контролю та оцінювання якості значень показника. Первинні та вторинні показники, значення яких надходять із зовнішніх джерел, повинні мати описи, доступні користувачеві разом із описами інструментарію збирання інформації (наприклад, запитальники, анкети, звітна документація) та форматами надання адміністративних даних, даних організацій-партнерів та інших вторинних показників (наприклад, дані результатів різних статистичних та маркетингових спостережень; інформація, отримана з Інтернету; аналітичні таблиці науково-дослідних організацій), похідні показники, значення яких розраховуються в ІС за певними алгоритмами, повинні супроводжуватися описами цих алгоритмів та посиланнями на документацію щодо методології розрахунку [1; 2; 4; 5];

- склад та структура класифікаторів, довідників, а також іншої нормативно-довідкової інформації, яка задіяна у виробничому процесі та/або необхідна для підтримки МІС КЕП, зокрема для формування описів розрізів надання даних як набору класифікаційних та/або інших якісних ознак, за якими дані групуються при збиранні, обробленні, поширенні; (1, 4, 5)

- інфраструктура підтримки МІС КЕП як сукупність програмних засобів, інформаційного забезпечення та організаційної структури обслуговування МІС КЕП для забезпечення політики управління ресурсами, доступом і конфіденційністю, надання користувачеві зрозумілого та зручного інтерфейсу [5].

Головною метою створення РМД повинна бути підтримка керованої мета-даними ІС та забезпечення різних груп користувачів запитуваною інформацією щодо економічних даних, відповідно до наданого користувачам рівня доступу. Повністю керовану метаданими ІС можна визначити як систему, де інформація щодо обмежувальних параметрів оброблення (наприклад, періоду) надається для виконання дій через спеціальні зовнішні описи метаданих не прив'язаному до конкретного виду діяльності модульному програмному компоненту (сервісу) та/або програмному застосуванню. Інфраструктура такої ІС повинна забезпечувати користувачеві зрозумілий та зручний доступ до інформації для проведення аналізу, бути масштабованою і розширюваною як за обсягами даних, потребами інтеграції і природним чином зростаючими аналітичними складнощами, базуючись на політиці управління ресурсами, доступом і конфіденційністю.

Для метаданих таких ІС важливим завданням є забезпечення якості даних, що передбачає вирішення таких основних питань:

- задоволення потреб внутрішніх та зовнішніх користувачів щодо використання продуктів (аналітичних таблиць, звітів тощо) як результатів виробничої діяльності;

- забезпечення якості продуктів відповідно до описів та специфікованих якісних вимог, які включають гармонізацію методів та концепцій наскрізно для всіх продуктів;

- впровадження систематичної перевірки якості продуктів, процесів, рішень та покращення їх якісних показників;

- досягнення внутрішньої ефективності шляхом використання персоналом організації підтримуваних в РМД легко доступних метаданих щодо всіх ІО та процесів.

Для ефективного використання РМД важливим є забезпечення «історії розвитку» економічної інформації в базах та сховищах даних, тобто узгодженої послідовності версій документів, класифікаторів, концептуальних визначень тощо, без чого неможливе формування якісних часових рядів та співставлення інформації за різні періоди. Окрім того, РМД має стати інструментом підтримки семантичної та технічної сумісності як здатності інформаційно-комунікаційних технологій систем і бізнес-процесів, які вони підтримують, до обміну даними, а також забезпечення обміну інформацією та знаннями. Семантична сумісність має забезпечувати зрозумілість точного значення інформації для обміну з будь-якими іншими програмними застосуваннями, які не розроблювалися спеціально для цієї мети. Це дозволяє системам об'єднати отриману інформацію з іншими інформаційними ресурсами і обробляти її осмисленим чином. Тому семантична сумісність є необхідною умовою для багатомовного надання послуг користувачеві через зовнішній інтерфейс. Технічна сумісність охоплює технічні питання узгодження комп'ютерних систем і послуг, що надаються системами, зокрема, включає відкриті інтерфейси, послуги приєднання до сервісів надання, обміну та оброблення інформації, інтеграції даних і проміжного програмного забезпечення, засоби доступу до даних і метаінформації, служби безпеки та інші аспекти.

Реалізація зазначених вище функцій РМД вимагатиме таких попередніх дій для розроблення ефективного інструментарію ведення РМД:

1) каталогізації метаданих, забезпечення сталого місця зберігання всіх їх версій (зокрема класифікаторів, довідників, використовуваних нормативів та ін.) для визначення шляхів доступу до них інструментарію пошуку та перегляду. Останнє безпосередньо стосується впровадження сервіс-орієнтованої архітектури, оскільки буде вимагати створення окремого сервісу для перегляду тієї чи іншої метаінформації (наприклад, довідників в текстовому форматі або класифікаторів в БД);

2) каталогізації економічних даних, тобто створення або відповідної складової в загальному каталозі (що краще), або окремого каталогу з визначенням інструментів доступу (відповідних сервісів) до цих даних, а також вирішення питань семантичної та технічної сумісності;

3) визначення складу груп метаданих по ІО для інтеграції до РМД відповідно до рекомендацій [1], наприклад, метадані опису технологічного процесу для організації роботи платформи зв'язку як засобу активації сервісів з певними значеннями параметрів, де представлення складових технологічного процесу надає послідовність появи подій, які є умовою активації конкретного сервісу;

4) створення електронного архіву документів (включно з публікаціями), тобто зосередження в одному місці та упорядкування існуючих документів щодо організації та виконання виробничого процесу, та формування відповідного каталогу;

5) формування тезаурусу, за яким має виконуватися пошук документів та потрібної метаінформації, зокрема й за каталогами;

6) розроблення інструментів для тематичних пошуків таких як список ключових слів/індексів у поєднанні з тематичними рубриками. Це потребує громіздкої попередньої роботи щодо визначення напрямів пошуку: за показниками, за конкретними видами діяльності, за видами одиниць спостереження, їх характеристиками тощо;

7) опис з'єднання між даними та метаданими для створення «семантичної мережі» ІО різних типів із визначенням понятійних зв'язків між ними, а також створення інструменту доступу до знайденої інформації. Наприклад, визначення інформаційного ланцюга від веб-сторінок публікації до опису спостереження, з яких отримані статистичні дані, та характеристик якості (звіт про якість), а також відповідна інформація за попередні періоди, яка зазвичай є часто запитуваною;

8) визначення засобів адміністрування та повноважень доступу для різних категорій користувачів (наприклад, широкий доступ для зовнішнього користувача через Інтернет до визначеного кола ресурсів РМД, вузький доступ для зовнішнього користувача до РМД через внутрішню пошукову систему, доступ внутрішніх користувачів з різними повноваженнями щодо дій з інформацією РМД).

Потрібно зауважити, що оскільки важливою складовою РМД є класифікатор економічних показників з прив'язаними до нього описами інструментаріїв збирання даних та формування результатів, то передбачається, що ця інформація є систематизованою та структурованою. Цей аспект потрібно постійно тримати в полі зору під час розроблення/модернізації РМД.

Використання РМД як єдиної метаінформаційної бази, заснованої на єдиній системі класифікації та кодування інформації, разом із запровадженням стандартизації та уніфікації опису та виконання процесної схеми організації виробництва, забезпечить цілісність ІС, буде сприяти створенню в майбутньому нових функціональних можливостей, підсистем та інших складових частин без порушення функціонування автоматизованої системи ведення ІС, а також надасть можливість використання типових, стандартних та уніфікованих елементів і проектних рішень, що оптимізує технологію функціонування ІС, уніфікує методи та прийоми, які застосовує користувач при роботі з ІС. Окрім того, такий підхід дасть змогу встановлювати засоби безпеки обробки інформації на рівні РМД, що гарантуватиме захист інформаційних потоків у процесі обробки, збереження та обміну інформації з допомогою розподілу доступу та повноважень у системі.

Список використаної літератури