Комп'ютерні методи підвищення достовірності та повноти інтегрованих баз даних

7. Комп'ютерна програма “Утилита для обнаружения похожих кортежей в реляционном отношении”: А.с./ А.С. Кулик, А.Г. Чухрай, А.Ю. Завгородний, А.В. Гревцев. №8712. Зареєстр. 06.11.2003.

8. Автоматизированная подсистема управления персоналом вуза / А.С. Кулик, А.Г. Чухрай, Е.В. Мирная, А.Ю. Завгородний // Наука и предпринимательство: Сб. трудов междунар. симпозиума. Винница, 20 мая 2003г. Винница; Каменец-Подольский, 2003. С. 292-295.

9. Kulik A., Chukhray A., Zavgorodniy A. Similar strings detecting methods // 12th East-West Fuzzy Colloquium. Zittau, 21 - 23 sept. 2005. Zittau, 2005. P. 183-191.

10. Kulik А., Zavgorodniy A. Enterprise information systems data diagnosis based on native redundancy // 13th East-West Fuzzy Colloquium. Zittau, 13 - 15 sept. 2006. Zittau, 2006. P. 154-164.

11. Разработка подсистемы анализа данных административно-финансовой деятельности вуза / А.С. Кулик, А.Г. Чухрай, Е.В. Мирная, А.Ю. Завгородний // Автоматика-2002: Між. конф. з управління. Донецьк, 16-20 вересня 2002 р. Донецьк, 2002. Т.2. С. 55-56.

12. Кулик А.С., Завгородний А.Ю. Представление знаний в системе диагностирования данных университета «ХАИ» // Інтегровані комп'ютерні технології в машинобудуванні: Міжн. наук.-техн. конф. “ІКТМ-2002”. Харків, 26-29 листопада 2002 р. Xарків, 2002. С. 49.

13. Кулик А.С., Чухрай А.Г., Завгородний А.Ю. Методы нечеткого поиска данных // Наука и технологии против терроризма. Предотвращение угрозы и устранение последствий: Сб. трудов семинара. Харьков, июль 2006 г. Харьков, 2006. С. 38-40.

14. Чухрай А.Г., Завгородний А.Ю. Критерий похожести двух строк для обнаружения аббревиатур и сокращений // Інтегровані комп'ютерні технології в машинобудуванні: Міжн. наук.-техн. конф. “ІКТМ-2004”. Харків, 16-19 листопада 2004 р. Xарків, 2004. С. 198.

15. Кулик А.С., Чухрай А.Г., Завгородний А.Ю. Метод поиска похожих строковых наименований, содержащих аббревиатуры и сокращения // Дні науки «2005»: Міжн. наук.-практ. конф. Дніпропетровськ, 15-27 квітня 2005 р.Дніпропетровськ, 2005. Т. 34. С. 52-54.

16. Кулик А.С., Завгородний А.Ю. Использование промежуточных структур данных для создания быстрого метода поиска ассоциативных правил // Інтегровані комп'ютерні технології в машинобудуванні: Міжн. наук.-техн. конф. “ІКТМ-2005”. Харків, 22-25 листопада 2005 р. Xарків, 2005. С. 140.

17. Информационная система управления административно-финансовой деятельностью университета «ХАИ» / В.С. Кривцов, А.С. Кулик, Н.В. Нечипорук, А.Г. Чухрай, Е.В. Мирная, А.Ю. Завгородний // Інформаційні технології в системі керування вищою освітою України: Міжн. наук.-практ. конф. Херсон, 26-27 серпня 2004 р. Херсон, 2004. С. 7-8.

Анотація

Завгородній А.Ю. Комп'ютерні методи підвищення достовірності та повноти інтегрованих баз даних. - Рукопис.

Дисертація подана на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 - інформаційні технології. - Національний аерокосмічний університет ім. М.Є. Жуковського “Харківський авіаційний інститут”, Харків, 2008.

Дисертація присвячена розробці методів і засобів, впровадження яких дозволить підвищувати достовірність і повноту баз даних в автоматизованих системах управління в процесі їх інтеграції. Створено новий метод інтеграції даних, що окрім традиційних процедур включає в себе діагностування даних на основі природної надмірності, оцінку показників достовірності й повноти для формування множини атрибутів, що рекомендуються до подвійного введення. Вдосконалено за точністю й швидкодією методи злиття записів і пошуку асоціативних правил. Запропоновані методи стали головною частиною системи підвищення достовірності й повноти даних, ефективність якої було оцінено в результаті впроваджень у реальні АСУ.

Ключові слова: автоматизована система управління, достовірність і повнота даних, інтеграція баз даних.

АнНотация

Завгородний А.Ю. Компьютерные методы повышения достоверности и полноты интегрированных баз данных. - Рукопись.

Диссертацией представленная на соискание ученой степени кандидата технических наук по специальности 05.13.06 - информационные технологии. - Национальный аэрокосмический университет им. Н.Е. Жуковского “Харьковский авиационный институт”, Харьков, 2008.

Современные автоматизированные системы управления (АСУ) позволяют не только систематизировать труд персонала, сократить трудоемкость выполняемых операций, но и получить мощные инструменты анализа имеющихся данных в целях принятия управленческих решений. Однако такие инструменты оказываются неэффективными в случае использования ими недостоверных или неполных данных. Более того, решение, принятое на основании некачественных данных, может привести к катастрофическим последствиям. Особенно остро проблема недостоверных и неполных данных стоит в случае, когда АСУ включает в себя множество неоднородных и распределенных источников данных. Обеспечение двойного ввода данных хоть и является одним из возможных путей решения указанной проблемы, не может считаться эффективным в связи с неоправданно высоким увеличением трудоемкости выполняемых в АСУ операций. Вместе с тем данные АСУ зачастую содержат искусственную избыточность, когда одни и те же данные дублируются в различных источниках, и естественную, когда атрибуты связаны зависимостями, определяемыми предметной областью.

Наличие различных видов избыточности позволило создать новый метод интеграции данных, учитывающий необходимость повышения достоверности и полноты. Помимо традиционных составляющих предлагаемый метод содержит процедуры повышения достоверности данных на основе естественной избыточности и оценки показателей повышения достоверности и полноты. В случае, если методы повышения достоверности и полноты не позволяют получить удовлетворительные показатели, единственным возможным путем дальнейшего улучшения показателей остается двойной ввод атрибутов. В работе описана методика, основанная на принципе «жадного» выбора, позволяющая получить минимальное количество атрибутов, двойной ввод которых совместно с применением методов повышения достоверности и полноты данных даст возможность получать требуемые значения показателей.

В работе показано, что решение задачи повышения достоверности данных на основе естественной информационной избыточности должно базироваться на решении задачи диагностирования данных. Применение принципов сигнально-параметрического подхода, апробированного ранее при диагностировании объектов различной природы, позволило существенно повысить быстродействие созданного метода диагностирования данных АСУ.

Для повышения эффективности операции слияния записей предложена новая модель похожести строк, позволяющая учитывать распространенную ситуацию использования оператором сокращений и аббревиатур. Применение такой модели позволило последовательно создать быстрый метод поиска похожих строк, поиска похожих кортежей и слияния записей, точность результатов которого превышает точность результатов известных аналогов.

Поскольку традиционный процесс приобретения знаний в знаниеориентированных системах зачастую существенно осложняет процесс внедрения таких систем, был рассмотрен вопрос использования методов автоматического поиска правил для метода диагностирования данных. Критический анализ существующих методов показал их недостаточное быстродействие, что вызвано большим объемом данных. Введение компактного отображения исходных данных дало возможность усовершенствовать существующий метод поиска ассоциативных правил.

Эффективность разработанных методов была подтверждена в результате внедрений разработанной на их основе системы повышения достоверности и полноты данных в реальные АСУ. Внедрение в АСУ ПУ «ХАИ» такой системы позволило повысить показатели достоверности и полноты данных на 8 и 5% соответственно. Задача обеспечения соответствующих показателей на уровне 99,35 и 98,08% может быть решена при дополнительном вводе 16,3% атрибутов. Внедрение в АСУ СГП «Плант» такой системы дало возможность повысить показатели достоверности и полноты данных на 9,2 и 1,5% соответственно. Обеспечение дополнительного ввода 12% атрибутов позволит повысить соответствующие показатели в АСУ СГП «Плант» на 10,3 и 5,9%.

Ключевые слова: автоматизированная система управления, достоверность и полнота данных, интеграция баз данных.

summary

Zavgorodnii A.Ur. Computer methods for integrated databases soundness and completeness improvement. - Manuscript.

The dissertation given for a Technical Sciences Candidate's degree on specialty 05.13.06 -information technologies. - National aerospace university “Kharkiv aviation institute”, Kharkiv, 2008.

The dissertation is devoted to development of methods and tools implementation of which will improve data soundness and completeness of management automated systems during data integration. New method of data integration is created. Besides traditional parts it includes data diagnosis based on natural redundancy, estimation of data soundness and completeness and procedure of forming minimal set of attributes for which double input is recommended. Accuracy and performance of record linkage and association rules search are improved. Offered methods become a main part of data soundness and completeness improvement system, effectiveness of which was estimated during implementation in real-world OMS's.

Keywords: management automated systems, data soundness and completeness, database integration.

Размещено на Allbest.ru