Інтеграція інформаційно-статистичних ресурсів для вивчення ринків

Запропонована модель дозволяє зберігати довільне число описів будь-яких субринків, оскільки вона враховує найдрібніший елемент - суб'єкт ринку, його якісні ознаки (вид діяльності, територія розташування та ін.) та перелік товарів/послуг, які він постачає/споживає. На схемі (рис.4) кольором виділено об`єкти моделі, які, на думку автора, мають бути включені до репозитарія метаданих. Така модель може використовуватися не тільки для накопичення інформації, а й для вирішення задач моніторингу.

Важливим напрямом використання ІСІС є інформаційне забезпечення навчального процесу та наукових досліджень у вищому навчальному закладі. Ключовим елементом в цьому питанні є репозитарій метаданих, який є джерелом описової інформації статистичних даних, а в сукупності з тезаурусом та глосарієм - ще й зручним пошуковим інструментом. Для використання такого інструменту в навчальному процесі автором було визначено мінімальний склад описів, потрібний для забезпечення процесу, а також напрями розроблення методологічних настанов при конструюванні ІСІС.

Для аналізу результатів маркетингових досліджень автор пропонує використовувати сховище даних у двох напрямах. Перший - це створення та ведення реєстру суб`єктів економічної діяльності для формування вибірок того класу досліджень, які базуються на обстеженні суб`єктів ринку, другий - систематизоване збереження результатів дослідження у вигляді сукупності об`єктів довідкового фонду та інформаційного опису моделі ринку, яку відтворюють результати дослідження.

Інтеграція інформаційно-статистичних ресурсів за запропонованою автором методикою дозволить розширити інформаційну базу для проведення дослідження ринкових процесів та оцінювання стану ринків завдяки акумулюванню в єдиному сховищі даних державної статистики, адміністративних даних та статистичної інформації з інших джерел, а наявність описової інформації в репозитарії метаданих дозволить автоматизувати контроль даних для забезпечення їхньої достовірності, вірогідності, актуальності та своєчасності.

У дисертаційній роботі здійснено теоретичне узагальнення існуючого досвіду використання сховищ даних, керованих метаданими, в процесі статистичного виробництва, а також висунуто нові пропозиції щодо формування методичних засад створення на цій основі інтегрованих статистичних інформаційних систем. Основні теоретичні та науково-практичні висновки, що відображають вирішення завдань відповідно до поставленої мети, є такими.

1. На основі всебічного аналізу і узагальнення досвіду міжнародної статистики розкрито, що одним з ключових напрямів розвитку інформаційних систем статистичного спрямування є інтеграція інформаційних ресурсів для узгодженого накопичення різних за походженням та структурою даних у сховищі даних, яке є єдиним середовищем надання інформації користувачам різних рівнів управління економікою та якісно новим інструментом проведення статистичних досліджень. На підставі міжнародного досвіду визначено концептуальні засади інтеграції інформаційних статистичних та адміністративних ресурсів в сховищі даних з репозитарієм метаданих.

Встановлено, що найбільш ефективними є системи, де ядром сховища є репозитарій метаданих, який виконує подвійну функцію: забезпечує підтримку інформаційної технології через формалізовані описи, які скеровують всі процеси оброблення даних у сховищі та є потужним джерелом описової інформації стосовно даних сховища. Саме такі системи дозволяють проводити автоматизацію процесів контролю і перетворення інформації в сховищі за формалізованими описами репозитарія, що є необхідною умовою забезпечення якості даних сховища, забезпечення статистичної конфіденційності і прозорості цих процесів для користувача.

2. За результатами аналізу досвіду створення ІСІС національними статистичними управліннями європейських країн встановлено, що забезпечення якості даних можливе лише за умов універсалізації метаданих шляхом створення уніфікованої системи опису інформаційно-статистичних ресурсів, розроблення системи класифікації цих ресурсів та моделі метаданих для їх опису. Для вирішення цього завдання розроблено структуру репозитарія метаданих та методику використання його описів іншими структурними елементами ІСІС для забезпечення контролю достовірності, вірогідності, актуальності, своєчасності статистичних даних. Така структура репозитарія метаданих забезпечує накопичення впорядкованих в часі послідовностей довідкових даних, що надає можливість збереження "історії" утворення даних сховища, змін в класифікаціях та методології, автоматизації проведення контролю зіставності часових рядів, що в свою чергу сприяє підвищенню якості даних.

3. Запропоновано методичні підходи до побудови єдиного програмно-технічного комплексу для підтримки статистичної інфраструктури як організованого за схемою "зірка" сховища даних, сполученого з репозитарієм метаданих, де в уніфікованому вигляді зберігаються довідкова інформація, описи даних та алгоритмів виконання процесів оброблення даних, забезпечують гнучку організацію процесів статистичного виробництва у виконанні основних функцій системи.

4. На підставі дослідження доведено, що для ефективного використання ІСІС архітектура сховища має враховувати будову статистичного показника як реквізиту-основи, сполученого з реквізитами-ознаками.

Реалізацію цього принципу представлено через поділ всіх даних в БД ІСІС на дві основні категорії: на кількісні значення (факти), які відповідають значенням статистичних показників (реквізиту-основі), та описові, або дескриптивні, значення, які відповідають якісним ознакам (реквізитам-ознакам). Відповідно до цього поділу, збереження даних має бути організовано за схемою "зірка", коли всі дані довідкового фонду зберігаються в репозитарії метаданих в уніфікованому вигляді та зв`язуються з фактичними даними через посилання. Саме такій підхід дозволяє формалізувати процеси оброблення даних у сховищі, а також сприяє вирішенню задачі конструювання ІСІС шляхом ітерацій від простого за функціональністю прототипу до складної системи. Іншою перевагою такого підходу є можливість зберігання інформації за розрізами надання, що створює компактну схему зберігання, яка сприяє оптимізації операцій агрегування, групування, пошуку у великих масивах даних. Це відкриває якісно нові можливості для проведення поглибленого економіко-статистичного аналізу.

5. Для вирішення питання систематизації показників статистичних і адміністративних даних та їх узгодженого використання розроблено структуру підтримки тимчасового класифікатору статистичних показників, що забезпечує організацію ефективної інтеграції інформаційно-статистичних ресурсів у сховищі даних ІСІС. Така структура забезпечує формування та удосконалення класифікації в міру підключення нових джерел інформації, а також дозволяє зберігати успадковані коди показників адміністративних даних та іншу метаінформацію. При запровадженні відповідної національної класифікації структура забезпечує перехід до нової класифікації без змін накопиченого на цей момент інформаційного фонду. Використання структури дозволяє вирішити таку актуальну проблему статистичної методології в частині організації статистичного спостереження, як систематизація статистичних показників з різних джерел інформації, оскільки в Україні на сьогоднішній день ще не впроваджена національна класифікація статистичних показників, яка має забезпечити однозначне визначення статистичних показників для будь-якого джерела статистичної інформації.

6. Аналіз джерел інформації показав, що для забезпечення якості статистичної інформації в ІСІС першочерговою методологічною задачею є проведення систематизації і класифікації статистичних показників, які характеризують статистичну картину предметної області, що досліджується, і мають зберігатися в БД ІСІС. За допомогою типологічної класифікації статистичних показників визначено вимоги до збереження та ведення показників, які забезпечують достовірність та вірогідність даних. Розкрито, яким чином за допомогою атрибутивних ознак описуються особливості і відмінності показників, які потрібно враховувати при розробленні формальних описів, правил проведення контролю інформації та узгодженості надання даних користувачу. Розроблені правила опису показників та використання цих описів дозволяють отримувати відомості про походження показників, їхню типологію, методологію отримання, алгоритм розрахунку та ін., а також контролювати достовірність та узгодженість даних з різних джерел для дотримання вимог щодо якості даних в ІСІС.

7. На підставі аналізу джерел статистичної інформації для дослідження ринків розкрито, що достатнє для оцінювання якості метанформаційне супроводження даних забезпечує ефективну організацію спільного використання статистичних і адміністративних даних та інформації з інших джерел. Представлено мінімальний склад метаданих, необхідний для автоматизації узгодженого використання даних з різних за походженням інформаційних джерел. Розроблено принципи використання метаописів, а також визначено відповідні функції репозитарія метаданих на всіх етапах спільного оброблення інформації з різних джерел для забезпечення її узгодженості. На основі розроблених принципів формалізовано умови спільного використання статистичної і адміністративної інформації та інформації інших джерел.

8. Запропоновано ітераційний підхід до створення сховища інформаційно-статистичних ресурсів за об`єктно-орієнтованою методологією та методику її використання, які дозволяють проводити поетапне вдосконалення статистичної методології поряд з нарощуванням інформаційної потужності сховища даних та розвитком програмного забезпечення для його підтримки.

9. Розроблена методика створення сховища статистичних даних та принципи організації системи статистичних метаданих дозволили сформувати інформаційну модель багатоцільового використання структурно-функціональної організації національного ринку товарів та послуг у термінах "сутність-зв`язок". Сформована модель забезпечує накопичення часових рядів, побудову і одночасне зберігання інформаційних моделей різних ринків, проведення моніторингу стану ринків, маркетингових досліджень, а також їх використання як наочного інструменту у навчальному процесі у вищому навчальному закладі.

1. Лумпова Т. І. Використання інструментарію об`єктно-орієнтованого моделювання для опису об`єктів і процесів статистичного виробництва / Т. І. Лумпова // Прикладна статистика: проблеми теорії та практики: Зб. наук. пр. Вип. 3 / Держкомстат України, Держ. акад. статистики, обліку та аудиту. - К.: ДП "Інформаційно-аналітичне агентство". - 2008. - С. 500-511.

2. Лумпова Т. І. Моделювання національного ринку товарів та послуг засобами інтегрованої статистичної інформаційної системи КНТЕУ / Т. І. Лумпова // Науково-технічна інформація. -2006. - №4(30). - С. 13-19.

3. Лумпова Т. І. Перспективи використання статистичної інтегрованої інформаційної системи КНТЕУ у навчальному і науковому процесі / Т. І. Лумпова / Прикладна статистика: проблеми теорії та практики: Зб. наук. пр. Вип.1 / Держкомстат України, Держ. акад. статистики, обліку та аудиту; Ред. кол.: І. І. Пилипенко (голов. ред.) [та ін. ]. - К.: ДП "Інформаційно-аналітичне агентство". - 2007. - С. 280-290.

4. Лумпова Т. І. Принципи організації та ведення класифікацій статистичних та економічних показників в інтегрованих статистичних інформаційних системах / Т. І. Лумпова // Науковий вісник Державної академії статистики, обліку та аудиту. - 2008. - №3 - С. 76-85.

5. Лумпова Т. І. Сучасна ідеологія представлення метаданих в інтегрованих статистичних інформаційних системах / Т. І. Лумпова // Науковий вісник Державної академії статистики, обліку та аудиту. - 2005. - №1. - С. 76-85.

6. Лумпова Т. І. Сучасні напрямки створення інтегрованих інформаційних систем в статистиці / Т. І. Лумпова // Статистика України. - 2006. - №1. - С. 76-82.

7. Карпов В. І. Поглиблення економічного аналізу на основі використання інформаційних інтегрованих ресурсів / В. І. Карпов, Т. І. Лумпова: тези доповідей Міжнар. наук.-практ. конф. ["Концепція розвитку бухгалтерського обліку, аналізу і аудиту в умовах міжнародної інтеграції"], (Київ, 20-22 квітня 2005 р.) Частина 2. / відп. ред. А.Д. Будко. - К.: Київ. нац. торг. екон. ун-т, С. 125-127.

8. Лумпова Т. І. Використання досвіду Євростату при створенні інтегрованої інформаційно-статистичної системи дослідження ринків товарів та послуг у КНТЕУ / Т. І. Лумпова / Тези доповідей круглого столу ["Світовий та вітчизняний досвід розвитку ринків збуту промислової продукції на регіональному рівні"], (Київ, 8 грудня 2005 р.) / Київська держадмін., УкрІНТЕІ. - К.: ВПВ УкрІНТЕІ, 2006. - С. 26-38.

9. Лумпова Т. І. Використання сховищ даних для інтеграції інформаційно - статистичних ресурсів для вивчення ринків товарів та послуг / Т. І. Лумпова / Матеріали міжнар. наук.-практ. конф. ["Модернізація освіти: пошуки, проблеми, перспективи"], (Київ - Переяслав-Хмельницький, 12-13 травня 2006 р.) / Інститут педагогіки АПН України. - Київ - Переяслав-Хмельницький, 2006. - С. 160-161.

10. Лумпова. Т. І. Конструювання економетричних моделей ринків товарів та послуг засобами інтегрованої статистичної інформаційної системи КНТЕУ / Т. І. Лумпова / Тези доповідей. Т.2. наук.-практ. конф. ["Регіональні проблеми та перспективи розвитку ринків збуту промислової продукції"], (Київ, 6-7 грудня 2006 р.) / Київська держадмін., УкрІНТЕІ. - К.: УкрІНТЕІ ВПВ, 2006. - С. 120-125.

11. Лумпова Т. І. Перспективи використання статистичної інтегрованої інформаційної системи КНТЕУ у навчальному і науковому процесі / Т. І. Лумпова / Зб. тез виступів на V Міжнар. наук.-практ. конф. з нагоди Дня працівників статистики ["Система державної статистики в Україні: сучасний стан, проблеми, перспективи"], (Київ, 5-6 грудня 2007 р.) / Держкомстат України, Держ. акад. статистики, обліку та аудиту; ред. кол.: О.Г. Осауленко (голова) [та ін.]. - К.: ДП "Інформаційно-аналітичне агентство". - 2007. - С. 100-103.

12. Лумпова Т. І. Підхід до вирішення проблеми розбудови статистичної інформаційної системи за технологією сховищ даних / Т. І. Лумпова / Зб. текстів доповідей на II Науково-практичній конференції з нагоди Дня працівників статистики ["Система державної статистики в Україні: сучасний стан, проблеми, перспективи"], (Київ, 2004р.) / Держкомстат України, Держ. акад. статистики, обліку та аудиту. - К.: ІВЦ Держкомстату України. - 2004. - С. 313-322.

13. Лумпова Т. І. Створення статистичної інформаційної системи для забезпечення наукового процесу / Т. І. Лумпова / Зб. матеріалів VIII Всеукр. наук.-практ. конф. ["Молодь, освіта, наука, культура і національна свідомість"], (Київ,12-13 травня 2005 р.): [у 6-ти т.] / редкол.: Тимошенко І.І. (відп. ред.) [та ін.]. -К.: Вид-во Європ. ун-ту, 2005. - Т.6. - С. 246-248.

14. Лумпова Т. І. Сучасні підходи до вирішення проблем якості даних / Т. І. Лумпова / Зб. текстів доповідей на III науково-практичній конференції з нагоди Дня працівників статистики ["Система державної статистики в Україні: сучасний стан, проблеми, перспективи"], (Київ, 2005р.) / Держкомстат України, Держ. акад. статистики, обліку та аудиту. - К.: ІВЦ Держкомстату України. - 2005. - С. 297-306.