Методи та засоби підвищення якості даних в автоматизованих системах організаційного управління

Актуальність теми. Неперервне вдосконалення та інтенсивне впровадження інформаційних технологій у повсякденну практику привело до того, що в сучасних масштабних організаціях і потужних індустріальних підприємствах стали накопичуватися та оброблятися величезні обсяги даних. Керівники багатьох організацій усвідомили необхідність комп'ютерної підтримки прийняття управлінських рішень, що, в свою чергу, зумовило залежність ефективності функціонування організацій від якості даних автоматизованих систем організаційного управління (АСОУ). Так, із-за низької якості даних в АСОУ підприємства щорічно втрачають від 10 до 25% свого прибутку. Особливо гостро проблема якості даних стоїть у тому разі, коли АСОУ включає в себе множину неоднорідних розподілених і не узгоджених між собою програмних систем, які до того ж містять значну частку надмірних даних і не завжди задовольняють висунуті вимоги. Крім того, існує протиріччя між вимогами до достовірності інформації в АСОУ (10^-7...10^-4 помилок на символ залежно від класу задач) і психофізіологічними можливостями людини як джерела інформації або оператора (до 10^-3... 10^-2 помилок на символ).

Конструктивним шляхом до підвищення якості даних в АСОУ є створення спеціалізованих методів і засобів, які базуються на можливостях прогресивних інформаційних технологій і враховують конкретну специфіку помилок людини. Перші теоретичні дослідження в галузі якості даних автоматизованих систем датуються кінцем 50-х років минулого сторіччя. До цього часу значний вклад у розв'язання проблеми якості даних в АСОУ внесли такі вчені, як В.І. Левенштейн, Ю.М. Мельников, І.С. Зінгер, О.М. Пивоваров, Ф.А. Ніколаєв, А.Г. Маміконов, А.Т. Ашеров, В.А. Литвинов, В.В. Липаєв, Д. Кнут, М. Хернандес, А. Монге, E. Рам, М. Лі, А. Маркус, А. Мотро та інші. Проте, як показує аналіз існуючих методів і засобів підвищення якості даних, більшість робіт присвячена лише окремим питанням даної проблеми, наприклад, тільки розробці методів пошуку надмірних даних або контролю достовірності даних, що не дозволяє вирішувати проблему комплексно. До того ж відкритим залишається питання вибору архітектури баз даних, що забезпечує потенційну можливість підвищення якості даних в АСОУ, а представлені методи та засоби не завжди задовольняють сучасні вимоги щодо точності та швидкодії.

У той же час схожі задачі, пов'язані з визначенням стану технічної системи і відновленням її працездатності, успішно вирішують у сфері підвищення якості функціонування технічних систем. Зокрема, професором Куліком А.С. створено системний підхід до забезпечення необхідної якості функціонування в аварійних режимах технічних систем, в основі якого лежать принципи послідовного зняття невизначеності щодо технічного стану системи і гнучкого використання ресурсів для забезпечення якісного функціонування. В зв'язку з цим перспективним підходом до підвищення якості даних в АСОУ є створення методів та засобів для глибокого діагностування і гнучкого відновлення даних, що використовуються у процесах прийняття управлінських рішень.

Зв'язок роботи з науковими програмами, планами, темами. Робота над дисертацією проводилася автором на кафедрі систем управління літальних апаратів Національного аерокосмічного університету ім. М. Є. Жуковського “Харківський авіаційний інститут” в 1999-2003 рр. у рамках державної науково-технічної програми №7 “Перспективні інформаційні технології, прилади комплексної автоматизації, системи зв'язку” ДКНТПП України (Постанова Верховної Ради України 2705-хіі від 16.10. 92 г. “Про пріоритетні напрямки розвитку науки і техніки”) відповідно до плану науково-дослідних робіт за держбюджетними темами Г603-53/98 “Розробка системних алгоритмів і комп'ютерних технологій аналізу і прогнозування функціонування вищих навчальних закладів у ринкових умовах” (ДР № 0198U001604, Інв. № 0200u004435) і Г301-30/00 “Теоретичні основи синтезу і математичне моделювання інтелектуальних систем управління аерокосмічними об'єктами за наявності збурень” (ДР № 0100U002191, Інв. №0203U000622). Особисто автором, який був одним із співвиконавців робіт, у межах зазначених тем було проведено аналіз існуючих підходів до підвищення якості даних в АСОУ, формалізовано процес вибору архітектури баз неоднорідних і розподілених даних в АСОУ, створено підхід до підвищення якості даних в АСОУ, розроблено методи та засоби підвищення якості даних в АСОУ.

Вперше на базі системного підходу до діагностування і відновлення працездатності технічних систем сформовано новий підхід до підвищення якості даних в автоматизованих системах організаційного управління, який ґрунтується на принципах послідовного зняття невизначеності про стан даних, формування діагнозу за непрямими ознаками наявності помилкових даних із заданої множини, а також відновлення даних на основі визначення еталонних кортежів.

Удосконалено за точністю і швидкодією методи пошуку надмірних даних у неоднорідних довідниках і реляційних відношеннях автоматизованих систем організаційного управління, які відрізняються від відомих методів урахуванням найбільш розповсюджених помилок, властивих персоналу організаційних систем, а також використанням необхідних умов схожості даних.

Удосконалено за швидкодією метод виявлення на основі надмірності помилкових даних, визначення їх місця та відновлення якісних даних, який відрізняється від відомих використанням достовірних діагностичних моделей даних для послідовного зняття невизначеності про стан даних за непрямими ознаками наявності помилок.

Одержав подальший розвиток метод інтеграції неоднорідних і розподілених даних в автоматизованих системах організаційного управління в формі моделі вибору архітектури баз даних, яка дозволяє використовувати адекватні моделі даних для різних успадкованих систем, забезпечує задану надмірність для підвищення якості даних і швидкість доступу до даних, задовольняє вимоги стандартів відкритих систем і практичної реалізації.

Практичне значення отриманих результатів. У результаті впровадження розроблених методів і засобів у складі підсистеми забезпечення якості даних автоматизованої системи управління адміністративно-фінансовою діяльністю (АСУ АФД) університету “ХАІ” достовірність даних підсистеми “Бухгалтерський облік” підвищилася на 38%, даних підсистеми “Облік кадрів” підвищилася на 8%. Доступність даних підсистеми “Бухгалтерський облік” підвищилася на 6%, даних підсистеми “Облік кадрів” підвищилася на 11%.

За результатами дисертаційних досліджень видано навчальні посібники “Автоматизація адміністративно-фінансової діяльності вузу” у співавторстві з Нечипоруком М.В., Кисілем В.А., Піщухіною О.О., Яровою О.В. та “Информационно-аналитическое обеспечение управления административно-финансовой деятельностью вуза” у співавторстві з Кривцовим В.С., Куліком А.С., Нечипоруком М.В., Піщухіною О.О., Мирною О.В., що використовуються в курсовому та дипломному проектуванні.

Впровадження результатів дисертаційного дослідження в Національному аерокосмічному університеті ім. М. Є. Жуковського “Харківський авіаційний інститут” підтверджується відповідними актами.

Особистий внесок здобувача. У працях, опублікованих разом із співавторами, особисто здобувачу належать такі результати, як підхід до підвищення якості даних в АСОУ [12], модель функціонування вузу в умовах переходу до ринкових умов [1], опис пропозицій ринку АСОУ [2], вибір концепції створення АСУ АФД вузу [3,15], математичне забезпечення індексно-реквізитного діагностування і відновлення даних в АСОУ [4,14], математичне забезпечення пошуку надмірних даних в неоднорідних довідниках АСОУ [5], діагностичні моделі даних в АСОУ [6], викладення сучасних проблем АФД вузу [8], опис задач АСУ АФД вузу [9], модель вибору архітектури баз неоднорідних і розподілених даних в АСОУ [10,13], структурна модель взаємодії підсистем в АСОУ [11]. Робота [7] виконана без співавторів.

Апробація результатів дослідження. Основні положення і результати дисертації доповідалися й обговорювалися на засіданнях кафедри систем управління літальних апаратів Національного аерокосмічного університету ім. М. Є. Жуковського “Харківський авіаційний інститут”. Деякі положення і результати викладалися на науково-технічних конференціях: VII міжнародній конференції “Нові технології в машинобудуванні”, Рибаче - Харків, 1998 р.; V міжнародній науково-технічній конференції “Контроль і управління в складних системах”, м. Вінниця, 1999 р.; науково-технічній конференції молодих учених Державного аерокосмічного університету ім. М.Є. Жуковського “ХАІ” “Системи управління-2000”, м. Харків, 2000 р., міжнародних науково-технічних конференціях “Інформаційні комп'ютерні технології в машинобудуванні”, м. Харків, 2001-2002 рр., міжнародній конференції з керування “Автоматика-2002”, м. Донецьк, 2002 р., науково-технічній конференції “Сучасні засоби автоматизації і комп'ютерно-інтегровані технології”, м. Краматорськ, 2003 р.

Публікації. Результати дисертаційної роботи відображено в 15 публікаціях. Серед них: 2 статті у наукових журналах, 5 статей у збірниках наукових праць, що включені в список видань ВАК України, і 8 статей, які опубліковано за матеріалами науково-технічних конференцій.

Структура і обсяг роботи. Дисертація складається зі вступу, п'яти розділів і висновків. Загальний обсяг роботи - 173 сторінки тексту, що містять 7 таблиць, 44 рисунка на 3 сторінках, список використаної літератури з 139 джерел на 12 сторінках, 3 додатки на 19 сторінках.

ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність задачі розробки методів і засобів підвищення якості даних в АСОУ. Показано зв'язок дисертації з науковими програмами, планами, темами. Сформульовано мету і задачі роботи. Відображено об'єкт, предмет і методи досліджень. Викладено наукову новизну і практичне значення отриманих результатів. Наведено інформацію про особистий внесок здобувача, а також про апробації й публікації результатів дисертаційної роботи.

У першому розділі “Сучасний стан проблеми якості даних в автоматизованих системах організаційного управління”, який складається з чотирьох підрозділів, проаналізовано відомі способи оцінки якості даних в АСОУ. Виходячи з прикладної спрямованості дослідження, вибрано підхід, що полягає у вимірюванні двох ортогональних характеристик якості, а саме - достовірності й доступності даних. Систематизовано типові неякісні дані й методи підвищення якості даних в АСОУ. Визначено недоліки існуючих методів підвищення якості даних, що полягають у недостатній продуктивності і точності одержуваних результатів. Виявлено схожість задач підвищення якості даних і задач забезпечення потрібної якості функціонування технічних систем. На прикладі сучасного вищого навчального закладу розглянуто складну організаційну систему та її інформаційні проблеми. На основі результатів аналізу існуючих розробок в галузі підвищення якості даних в АСОУ сформульовано наукові задачі дослідження.

Другий розділ “Дослідження процесу інтеграції неоднорідних і розподілених даних в АСОУ” включає в себе чотири підрозділи.

У першому із них виділено базові підсистеми АСОУ, а саме: “Фінансове планування”, “Облік кадрів”, “Бухгалтерський облік”, розглянуто основні функції підсистем і зв'язки між ними, показано, що у випадку неоднорідності й незалежності названих підсистем дані про співробітників організації будуть триразово дублюватися. Викладено необхідність інтеграції даних про співробітників для отримання цілісної й достовірної картини щодо кадрового складу організації.

В другому підрозділі на прикладі АСУ АФД вузу побудовано ER-моделі даних базових підсистем. Аналіз побудованих моделей даних дав можливість визначити конкретні сутності, що є у всіх трьох підсистемах.

У третьому підрозділі формалізовано процес вибору архітектури баз даних (БД) АСОУ, яка забезпечує інтеграцію та підвищення якості неоднорідних і розподілених даних. Для цього запропоновано її стратифіковане представлення виходячи з трьох рівнів абстрагування: фізичного, логічного та прикладного. Стратифікований опис архітектури БД АСОУ істотно спрощує задачу вибору, оскільки страти практично не залежать один від одного. У зв'язку з неоднорідністю і розподіленістю базових підсистем АСОУ найбільш важливим стає питання вибору архітектурного рішення на фізичній страті - способу інтеграції існуючих даних. Існує ряд альтернатив інтеграції розподілених даних. Серед них: 1) стандартизоване програмне забезпечення проміжного рівня; 2) об'єктно-орієнтовані розподілені технології; 3) шлюзи БД; 4) сховища даних. Як критерії вибору були використані: 1) можливість практичної реалізації архітектури БД; 2) рівень інтеграції розподілених даних і можливість застосування адекватних моделей даних для різних компонентів АСОУ; 3) відповідність стандартам відкритих систем; 4) можливість підвищення якості даних; 5) швидкість доступу до даних. За кожним критерієм проведено обґрунтоване вимірювання якості альтернатив. Для багатокритеріального вибору було використано метод зваженої суми, що найчастіше застосовується при вирішенні практичних задач. У результаті найбільшу сумарну корисність одержали сховища даних.

У четвертому підрозділі розглянуто місце засобів підвищення якості даних у процесі інтеграції неоднорідних і розподілених даних АСОУ в сховище даних. Оскільки сховище даних являє собою джерело незмінних даних для систем підтримки прийняття рішень, отже, дані повинні відновлюватися до надходження в сховище даних у спеціальному буфері. Далі викладено підхід до підвищення якості даних. Його основними принципами стали принципи системного підходу до забезпечення необхідної якості функціонування технічних систем:

Виявлення помилкових даних у базі даних з метою відновлення якісних даних так само, як і виявлення відмов у технічній системі з метою відновлення її працездатності, можливо тільки шляхом порівняння реальних даних з еталонними, тобто на основі необхідної та достатньої інформаційної надмірності.

Принципово неможливо із заданою глибиною автоматично знайти будь-яку відмову в технічній системі або помилку в даних. Тому на практиці необхідно проводити діагностування виходячи із заданої множини найбільш поширених, характерних видів відмов і помилкових даних.

Ефективним за швидкодією є послідовне зняття невизначеності щодо стану об'єкта діагностування, тобто виявлення, установлення місця, визначення класу й ідентифікація виду збурення у контрольованих даних. Стосовно до даних принцип послідовного зняття невизначеності, який використовується для послідовного підвищення якості даних сутностей за ступенем залежностей від інших сутностей, починаючи з незалежних, також є ефективним за точністю.

Ефективним за швидкодією є діагностування за непрямими ознаками наявності відмови або помилки.

Відповідно до принципу послідовного зняття невизначеності про стан даних треба було провести топологічне упорядкування реляційної моделі буфера сховища даних. Для цього її розглянуто як орієнтований граф G=(E,Г), що має порядкову функцію. За допомогою методу Демукрона, було одержано упорядкований граф. На першому етапі необхідно було за рахунок інформаційної надмірності підвищити якість довідників і незалежної сутності “Співробітник”. Далі потрібно було пов'язати еталонні дані з даними про вакансії, наукові ступені та звання співробітника. Третій етап передбачав підвищення якості даних про призначення, і, нарешті, на четвертому етапі необхідно було пов'язати відновлені дані про призначення співробітників з нарахуваннями й утриманнями за призначеннями.

Третій розділ “Розробка методів пошуку надмірних даних в АСОУ” включає в себе два підрозділи. У першому з них представлено метод пошуку схожих реквізитів у неоднорідних довідниках.

Відповідно до принципу діагностування даних щодо заданої множини найбільш поширених видів помилок: однократних транскрипцій, додавань символу, пропусків символу, транспозицій суміжних символів, дворазових транскрипцій як критерій схожості реквізитів було вибрано мінімум відстані Левенштейна між ними, тобто

d(sm₁, sm₂) ,(1)

де sm₁, sm₂ - рядкові значення двох реквізитів; d(sm₁, sm₂)- мінімальна кількість операцій редагування, необхідних для перетворення реквізиту sm₁ на реквізит sm₂; - деякий заданий поріг, N, причому якщо нерівність (1) виконується, тоді зазначені реквізити схожі. Вибір цього критерію зумовлено тим, що для інших відомих критеріїв схожості реквізитів, таких, як лексикографічна близькість рядків в упорядкованому наборі, рівність q-грам, рівність відображень “SOUNDEX”, не всі з перерахованих видів помилок можуть бути виявлені.

Постановка задачі пошуку схожих реквізитів має такий вигляд: нехай існує набір реквізитів SM = (sm₁,..., sm_n0,..., sm_n) і задано натуральне число . Необхідно поставити у відповідність множину , таку, що .

Використовуючи “наївний” підхід, ми повинні для кожного реквізиту і для кожного реквізиту перевірити, чи виконується умова d(sm_i, sm_j) . При цьому кількість таких перевірок складе n₀(n - n₀). Оскільки в реальному випадку (n - n₀) n₀, то при досить великому n₀ “наївний” підхід до виявлення потрібних пар стає неефективним.

Вирішення, що пропонується складається з двох етапів. Спочатку з набору випадково вибираються k реквізитів o₁, o_2,...,o_k, (k<n), що надалі будуть асоціюватися з осями k- мірного евклідова простору E^k. Потім кожному sm_iSM ставиться у відповідність точка цього гіперпростору P(sm_i), координати якої дорівнюють відстаням Левенштейна до осей, тобто . На другому етапі відстані Левенштейна розраховуються тільки для тих реквізитів, для яких виконуються викладені нижче необхідні умови схожості.

Твердження 1. Якщо sm_i, sm_j - реквізити, відстань Левенштейна між якими не більше деякого порога , тоді: а) точка P(sm_j) розміщується в E^k у межах гіперкуба з центром у точці P(sm_i) і стороною 2; б) абсолютне значення різниці відстаней від точок P(sm_i) і P(sm_j) до початку координат у E^k не перевищує ; в) абсолютне значення різниці довжин реквізитів sm_i, sm_j не перевищує .

Швидкодія запропонованого методу залежить від кількості реквізитів, які складають набір SN, вибраної кількості осей, а також порога . При невеликому часова складність методу не перевищує O(kn).

Другий підрозділ присвячено розробці методу пошуку надмірних кортежів у реляційному відношенні. Постановка задачі має такий вигляд: нехай R - відношення арності h, що включає в себе n- кортежів:

, (2)

де pk_iN - первинний ключ, що унікально ідентифікує кортеж m_i у відношенні R; sm_i1,...,sm_ih - рядкові значення реквізитів кортежу m_i. Тоді необхідно розбити R на z непересічних кластера (непорожні множини) так, щоб у кожному кластері всі кортежі були попарно схожі.

Ця задача може бути декомпозована на дві: пошук усіх пар схожих кортежів і об'єднання отриманих пар у кластери. Тоді рішенням першої задачі буде множина пар схожих кортежів (m_i,m_j), pk_i>pk_j. Очевидно, що задача пошуку схожих кортежів може бути зведена до задачі пошуку схожих реквізитів шляхом конкатенації всіх реквізитів кожного кортежу в рядок. Проте у випадку використання найбільш простого алгоритму Вагнера-Фішера для розрахунку відстані Левенштейна між двома рядками ефективність пошуку буде невисокою в силу того, що справедливе таке твердження.

Твердження 2. Часова складність обчислення відстані Левенштейна за допомогою алгоритму Вагнера-Фішера для двох рядків і , таких, що , , де - оператор конкатенації, перевищує часову складність h- обчислень відстаней Левенштейна для відповідних реквізитів кортежів m_i і m_j.

Виходячи з цього як критерій схожості кортежів і було вибрано .

Запропоноване вирішення задачі пошуку пар схожих кортежів базується на вирішенні попередньої задачі і також складається з двох аналогічних етапів. Теоретичною основою для цього стали доведені необхідні умови схожості кортежів, аналогічні необхідним умовам схожості реквізитів.

Для об'єднання отриманих пар кортежів у кластери було використано відому структуру даних - систему непересічних множин.

Часова складність розробленого методу при невеликому також складає O(kn).

Четвертий розділ “Розробка методу індексно-реквізитного діагностування і відновлення даних в АСОУ” включає в себе три підрозділи. Перший із них містить постановку задачі.

Виходячи з припущень про рівноймовірність усіх реквізитів і рівномірності їхнього відображення на відповідні діапазони індексів при розгляді четвертої вимоги за формулою Байєса були обчислені апостеріорні ймовірності ідентичності реквізитів за умови рівності індексів. Наприклад, ймовірність того, що при збігаються реквізити , при складає приблизно .

Основні результати і висновки