Математичні моделі визначення ефективності методів зміщеного оцінювання

Размещено на http://www.allbest.ru/

ХАРКІВСЬКИЙ ДЕРЖАВНИЙ ТЕХНІЧНИЙ УНІВЕРСИТЕТ

РАДІОЕЛЕКТРОНІКИ

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата технічних наук

01.05.02 - математичне моделювання та обчислювальні методи

МАТЕМАТИЧНІ МОДЕЛІ ВИЗНАЧЕННЯ ЕФЕКТИВНОСТІ МЕТОДІВ ЗМІЩЕНОГО ОЦІНЮВАННЯ

Шатовська Тетяна Борисівна

Харків - 2000

Анотація

Шатовська Т.Б. Математичні моделі визначення ефективності методів зміщеного оцінювання. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 01.05.02 - математичне моделювання та обчислювальні методи. - Харківський державний технічний університет радіоелектроніки, Харків, 2000.

Дисертація присвячена питанням формалізованого визначення ефективних методів зміщеного оцінювання, що використовуються для побудови математичних моделей квазістаціонарних процесів при наявності лінійної залежності між вхідними змінними. У роботі запропоновано комплекс математичних моделей, які встановлюють залежність ефективності методів зміщеного оцінювання від властивостей вихідної інформації, та узагальнений критерій визначення їх ефективності, що дозволяє формалізовано обирати найбільш ефективний з точки зору точності метод синтезу моделі процесу. Розроблено систему імітаційного моделювання, на підставі якої досліджено вплив статистичних характеристик вихідної інформації на ефективність цих методів. Також отримав подальший розвиток метод ітераційного гребеневого оцінювання, що дозволяє підвищити точність статистичних моделей за рахунок зменшення дисперсії та зміщення оцінок їх коефіцієнтів. Результати дисертації були впроваджені в Українському науково-дослідному інституті екологічних проблем при розробці комплексу екологічного моніторингу, а також в інституті проблем кріобіології і кріомедицини НАН України при дослідженні процесів низькотемпературного заморожування насіння.

Ключові слова: ефективність методів, методи зміщеного оцінювання, оцінка адекватності математичних моделей, імітаційне моделювання.

Аннотация

Шатовская Т.Б. Математические модели определения эффективности методов смещенного оценивания. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности

01.05.02 - математическое моделирование и вычислительные методы. - Харьковский государственный технический университет радиоэлектроники, Харьков, 2000.

Диссертация посвящена проблеме формализации выбора наиболее эффективного метода построения математической модели квазистационарного процесса, подверженного влиянию линейной зависимости между входными переменными. Анализ проблемы показал, что применение методов смещенного оценивания позволяет повысить точность синтезируемых моделей за счет уменьшения величины дисперсии их коэффициентов.

На основе проведенного аналитического сравнения эффективности методов смещенного оценивания показано, что выбор эффективного метода осуществить достаточно сложно из-за нелинейного характера связи оценок эффективности и статистических характеристик исходной информации, что позволило обосновать необходимость проведения имитационных экспериментов. В качестве критерия оценки эффективности методов был предложен обобщенный критерий, основанный на индексе ошибки относительных критериев оценки точности метода, оценке меры его рассеивания, определяющей устойчивость эффективности метода для заданного набора статистических характеристик исходной информации, и ранговых оценках относительных критериев.

Для проведения экспериментальных исследований методов смещенного оценивания была разработана система имитационного моделирования, позволяющая генерировать выборки различной размерности, заданной степени коррелированности входных переменных, уровнем дисперсии помех, законами распределения, имитировать различную структуру моделей. Для моделирования уровня коррелированности входных переменных было предложено использование комбинированного итерационного алгоритма генерации корреляционной матрицы с заданной структурой.

На основе разработанной системы были получены статистические данные о зависимости эффективности методов смещенного оценивания от количественных характеристик мультиколлинеарности, дисперсии помех, количества независимых переменных, объема выборки и на их основе был разработан комплекс математических моделей определения эффективности исследуемых методов.

Исследование итерационных гребневых методов оценивания показало, что при уменьшении дисперсии оценок коэффициентов величина их смещения неограниченно возрастает, что в целом снижает их точность, а также при высоком уровне корреляции между независимыми переменными их сходимость замедляется. В связи с этим была предложена модификация итерационного гребневого метода в части преобразования исходной матрицы, критерия сходимости метода, выбора начальных условий итерационного процесса и выбора фактора деформации, что позволило за счет умеренного возрастания смещения и дисперсии оценок коэффициентов значительно повысить точность указанного метода, а также увеличить скорость его сходимости.

На основании обобщенного критерия оценки эффективности методов смещенного оценивания и комплекса математических моделей был предложен формализованный выбор наиболее эффективного метода смещенного оценивания в зависимости от статистических характеристик исходной информации.

Разработанные модели, методы и алгоритмы были реализованы в виде программной системы. Результаты диссертационных исследований могут быть использованы при разработке специализированных систем поддержки принятия решений, ориентированных на выбор методов построения математических моделей, а также при решении задач, связанных с синтезом статических моделей процессов, подверженных влиянию линейной зависимости между входными переменными.

Разработанные модели, методы и алгоритмы были использованы в Украинском научно-исследовательском институте экологических проблем при разработке математического обеспечения системы экологического мониторинга, что позволило сократить время выбора метода построения математической модели оценки степени загрязненности участка реки в зависимости от концентрации загрязняющих веществ в донных отложениях, а также повысить ее точность. Результаты диссертационных исследований были использованы в институте проблем криобиологии и криомедицины НАН Украины при построении математической модели оценки влияния уровня влажности семян кукурузы на их всхожесть после криовоздействия, что позволило определить значения влажности, при использовании которых наблюдается стимуляция интенсивности начального роста проростков.

Ключевые слова: эффективность методов, методы смещенного оценивания, оценка адекватности математических моделей, имитационное моделирование.

математичний квазістаціонарний інформація

Abstract

Shatovska T.B. Mathematical models for determining an efficiency of the biased estimation methods - Manuscript.

Thesis for a candidate degree of the technical sciences on specialty 01.05.02 - mathematical modeling and calculating methods. - Kharkiv State Technical University of Radioelectronics, Kharkiv, 2000.

The thesis deals with development a complex of mathematical models that establish dependence between the efficiency of biased estimation methods and statistic characteristics of the input information, that provides formalized selection of the most effective of them. The system of simulation modeling is developed, on the basis of which the influence of the statistical characteristics to accuracy of biased estimation methods is determined. A method of sequential ridge regression is updated that allows to increase accuracy of statistical models at the expense of decrease of variance and biased values of their coefficients. The received results are implemented in the Ukraine Scientific Institute of Ecological problems at system of ecological monitoring and in the Institute for Problems of Cryobiology and Cryomedicine of the National Academy of Sciences of Ukraine in researching of low temperature pre-treatment of seeds.

Key words: efficiency of methods, methods of biased estimations, adequacy estimation of mathematical models, simulation methods.

1. Загальна характеристика роботи

Актуальність теми. В умовах ринкових реформ все актуальнішою задачею є вироблення і прийняття ефективних рішень на основі математичних моделей, які синтезуються для технічних, соціально-економічних, біологічних, екологічних систем і процесів. На сьогоднішній день розроблено велику кількість статистичних методів побудови математичних моделей. Основна більшість цих методів орієнтована на розв'язання конкретного класу задач в умовах виконання теоретичних передумов та припущень кожного методу, що визначає певні практичні труднощі їх ефективного використання. Останнім часом має місце тенденція застосування спеціалізованих систем підтримки прийняття рішень, які допомагають фахівцям у предметній галузі коректно обрати метод синтезу математичної моделі процесу. У зв'язку з цим дослідження ефективності статистичних методів побудови моделей та визначення припустимих областей їх застосування, які спрямовані на формалізацію їх вибору, сьогодні набувають особливого значення.

Для синтезу математичних моделей об'єктів і процесів за наявності лінійної залежності між вхідними змінними використовуються методи обробки, які є нечутливими до такого роду їх специфічної особливості. Широке застосування при розв'язанні такого класу задач знайшли статистичні методи зміщеного оцінювання, що дозволяють використовувати переваги, які досягнуто при відмові від незміщеності оцінок, і як наслідок дозволяють підвищити точність математичних моделей, що синтезуються. Але різноманіття методів зміщеного оцінювання, їх модифікацій, що мають специфічні властивості, визначає труднощі у їх виборі відповідно до статистичних характеристик вихідної інформації. Некоректний вибір методу зміщеного оцінювання може привести до великого зростання величини зміщення і дисперсії оцінок коефіцієнтів моделі і як наслідок до неадекватності математичної моделі процесу.

У зв'язку з цим оцінка впливу властивостей вихідної інформації процесу на ефективність методів зміщеного оцінювання та розробка методів їх формалізованого вибору для синтезу математичних моделей процесів є складною науково-дослідною задачею. Розв'язання цієї задачі дозволить підвищити надійність рішень, які приймаються по моделях з метою управління, прогнозування та діагностики, що має велику користь для підприємств України.

Слід відзначити, що значний внесок у розв'язання проблеми визначення ефективності методів зміщеного оцінювання параметрів статистичних моделей процесів та об'єктів зроблено Кописіцьким Т.І, Андреєвим Н.І., Руденко О.Г., Бодянським Є.В., Єрмаковим С.М та ін. Але у зв'язку з поширенням галузей застосування цих методів, роботи в цьому напрямку не втрачають актуальності і потребують подальшого розвитку.

Дослідження, що проведені у даній дисертаційній роботі, спрямовані на розробку комплексу математичних моделей визначення ефективності методів зміщеного оцінювання, що дозволяє здійснити формалізований вибір найбільш ефективного методу побудови математичних моделей процесів, які мають лінійну залежність між вхідними змінними, відповідно до статистичних характеристик вихідної інформації.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконувалась згідно з планом науково-дослідних робіт Харківського державного технічного університету радіоелектроніки в рамках держбюджетних тем: № 372 “Обгрунтування та розробка нового методичного та інтелектуального програмного забезпечення для комп'ютерно-орієнтованих дидактичних систем” (№ДР 0197U014156) та №101-1 “Розробка концепції, методик і моделей дистанційного навчання в умовах багатоступеневої системи освіти в Україні” (діє з 2000р.).

Мета і задачі дослідження. Метою роботи є розробка математичних моделей визначення ефективності методів зміщеного оцінювання параметрів статистичних моделей квазістаціонарних процесів, які мають лінійну залежність між вхідними змінними, та формалізація вибору найбільш ефективного методу відповідно до статистичних характеристик вихідної інформації.

Поставлена мета роботи обгрунтувала такі задачі дослідження:

1. Провести аналіз і теоретичне обгрунтування підвищення точності математичних моделей процесів, які мають лінійну залежність між вхідними змінними, при застосуванні методів зміщеного оцінювання для їх побудови.

2. Розробити узагальнений критерій порівняння методів зміщеного оцінювання за ефективністю.

3. Розробити імітаційну модель для дослідження ефективності методів зміщеного оцінювання у залежності від статистичних характеристик вхідних даних.

4. Удосконалити метод ітераційного гребеневого оцінювання параметрів математичних моделей процесів при наявності високого рівня кореляційної залежності між вхідними змінними.

5. Розробити математичні моделі визначення ефективності методів гребеневого оцінювання, методів дробового рангу, методів стислого оцінювання.

6. Формалізувати вибір найбільш ефективного методу зміщеного оцінювання параметрів статистичних моделей на підставі комплексу математичних моделей та узагальненого критерію оцінки ефективності цих методів.

Об'єктом дослідження є квазістаціонарні процеси, які характеризуються наявністю лінійної залежності між вхідними змінними, для побудови математичних моделей яких використовуються методи зміщеного оцінювання.

Предметом дослідження є математичні моделі визначення ефективності методів зміщеного оцінювання параметрів моделей квазістаціонарних процесів в умовах лінійної залежності вхідних змінних.

Методи дослідження. Для дослідження впливу статистичних характеристик вихідної інформації процесу на ефективність методів зміщеного оцінювання, а також при побудові математичних моделей оцінки ефективності даних методів застосовувались методи планування експерименту, методи імітаційного моделювання, теорія статистичного оцінювання, методи стохастичного математичного аналізу та методи оптимізації.

Наукова новизна одержаних результатів.

1. Удосконалено узагальнений критерій порівняння методів зміщеного оцінювання за ефективністю. На відміну від існуючих, запропонований критерій базується на індексі помилки відносних критеріїв оцінки ефективності методу, оцінці міри його розсіювання і рангових оцінках відносних критеріїв, що надає можливість оцінити середню помилку методу порівняно з середньою помилкою альтернативних методів і дозволяє підвищити точність вибору ефективного методу зміщеного оцінювання.

2. Розроблено імітаційну модель, яка дозволяє досліджувати вплив статистичних характеристик вхідних даних на ефективність методів зміщеного оцінювання і визначити залежність оцінок фактора деформації від рівня кореляційного зв'язку між вхідними змінними (отримано вперше).

3. Розроблено комплекс математичних моделей визначення ефективності методів зміщеного оцінювання, які встановлюють залежність між ефективністю методів і статистичними характеристиками вихідної інформації, що дозволяє здійснити формалізований вибір найбільш ефективного з них для конкретної реалізації вхідних даних (отримано вперше).

4. Удосконалено ітераційний гребеневий метод оцінювання коефіцієнтів моделі у частині перетворення інформаційної матриці, критерію збіжності методу та вибору початкових умов ітераційного процесу, що дозволило зменшити величину зміщення і дисперсії оцінок коефіцієнтів моделі, а також підвищити швидкість збіжності методу.

Практичне значення одержаних результатів. Запропонований у дисертаційній роботі комплекс математичних моделей та алгоритмів реалізовано у вигляді програмної системи. Одержані результати можуть бути використані при розробці спеціалізованих систем підтримки прийняття рішень, орієнтованих на вибір методу побудови математичної моделі процесу при наявності лінійної залежності між вхідними змінними. Розроблені математичні моделі та алгоритми використано при розробці програмного комплексу екологічного моніторингу у вигляді компонентів математичного забезпечення для реалізації оцінки ступеня забрудненості рік промисловими підприємствами (акт впровадження від 5.05.2000 р.). Комплекс використовується в Українському науково-дослідному інституті екологічних проблем, що дозволяє скоротити час вибору ефективного методу побудови математичних моделей оцінки впливу концентрації шкідливих речовин у донних відкладеннях на ступінь забрудненості рік та підвищити їх точність для проведення короткострокових і довгострокових екологічних прогнозів.

Розроблені моделі, метод та алгоритми використано у наукових дослідженнях процесів біоконсервації насіння в інституті проблем кріобіології і кріомедицини НАН України (акт впровадження від 4.04.2000 р.). Зокрема, застосування ітераційного методу гребеневої регресії для побудови математичної моделі оцінки впливу умов вологості насіння кукурудзи на його збереження після низькотемпературного заморожування дозволило зменшити дисперсію та зміщення оцінок коефіцієнтів моделі, що підвищило її адекватність і дозволило визначити режими вологості насіння, при використанні яких спостерігається стимуляція інтенсивності початкового росту проростків.

Особистий внесок здобувача. Всі результати дисертації отримані автором самостійно. У роботі [1] автором запропоновано стратегію експериментальних досліджень на підставі імітаційної моделі для оцінки ефективності методів зміщеного оцінювання і правило вибору фактора деформації у залежності від статистичних характеристик вхідної інформації для методів гребеневого оцінювання. У роботі [2] автором запропоновано критерій оцінки якості вхідних даних у вигляді чутливості параметрів моделі до шуму, а також визначено їх вплив на точність оцінок параметрів під час побудови математичних моделей методами зміщеного оцінювання. У роботі [3] автором досліджено залежність між ефективністю методів зміщеного оцінювання та статистичними характеристиками вихідної інформації, а також показано, що при аналізі ефективності гребеневих методів побудови моделей доцільно мати суб'єктивне уявлення про апріорну інформацію. У роботі [6] запропоновані умови ефективного вибору фактора деформації для методів стислого оцінювання та дробового рангу, а також запропоновано коефіцієнт перетворення для оцінки стабільності сліду гребеневої матриці.

Апробація результатів дисертації. Основні положення і результати дисертаційної роботи були викладені на:

- I молодіжному форумі “Радиоэлектроника и молодежь в XXI веке”, Харків, 1997 р.;

- II молодіжному форумі “Радиоэлектроника и молодежь в XXI веке”, Харків, 1998 р.;

- VI міжнародній науково-технічній конференції “Информационные технологии: наука, техника, технология, образование, здоровье”, Харків, 1998 р.;

- IV міжнародній конференції “Теория и техника передачи, приема и обработки информации”, Туапсе, 1998 р.;

- VII міжнародній науково-технічній конференції “Информационные технологии: наука, техника, технология, образование, здоровье”, Харків, 1999 р.;

- 6-й Українській конференції з автоматичного управління “Автоматика - 99”, Харків, 1999 р.

Публікації. За результатами дисертаційної роботи опубліковано 9 робіт, з них 5 статей у наукових фахових виданнях, згідно з переліком ВАК України, 2 доповіді та 2 тези доповідей на конференціях.

2. Основний зміст роботи

У вступі обгрунтовано актуальність дисертаційної роботи, сформульовано основну мету і задачі дослідження, наведено відомості про зв'язки обраного напрямку досліджень із планами організації, де виконана робота, відзначено наукову новизну та практичну цінність одержаних результатів і наведено дані про їх використання у народному господарстві.

У першому розділі дисертаційної роботи виконано аналіз основних причин неефективності застосування методу регресійного аналізу для побудови математичних моделей процесів при наявності кореляційної залежності між вхідними змінними. Досліджено вплив кореляції між незалежними змінними моделі на величину її відносної помилки і дисперсію оцінок коефіцієнтів моделі. Проведено аналіз критеріїв оцінки мультиколінеарності та підходів до її усунення. Він виявив неефективність їх застосування для підвищення точності моделей. У результаті обгрунтовано умови переходу до методів зміщеного оцінювання, завдяки яким вдається підвищити точність оцінок і зменшити їх дисперсію за рахунок відмови від їх незміщеності.

Досліджено методи зміщеного оцінювання, дана порівняльна характеристика методів гребеневого оцінювання, стислого оцінювання, методів дробового рангу та узагальнених гребеневих методів. Проведено огляд та аналіз основних підходів до вибору фактора деформації, який виявив їх різноманіття, і показано, що ефективність методів зміщеного оцінювання безпосередньо залежить від підходу до вибору цього фактора, який в свою чергу залежить від статистичних характеристик інформаційної матриці, що визначає труднощі у виборі методу побудови математичної моделі. Це обгрунтовує необхідність дослідження впливу статистичних характеристик вихідної інформації на ефективність методів зміщеного оцінювання з метою отримання нової інформації та розробки обгрунтованих рекомендацій щодо їх вибору.

У роботі розглядається клас квазістаціонарних об'єктів і процесів, які мають лінійну залежність між вхідними змінними та описуються лінійними за параметрами статистичними моделями.

На підставі проведених досліджень сформульовані наведені вище мета і задачі дисертаційної роботи.

Другий розділ присвячено дослідженню відомих критеріїв оцінки точності методів зміщеного оцінювання, на підставі яких може бути визначений найбільш ефективний метод відповідно до статистичних характеристик вихідної інформації та дослідженню властивостей класів методів зміщеного оцінювання.

Пошук конкретного методу зміщеного оцінювання, який виявляється найбільш ефективним для вихідної інформації, відбувається в рамках певного класу, до якого належить цей метод, згідно з підходом до вибору фактора деформації.

На підставі проведеного аналізу класів методів зміщеного оцінювання відповідно до характеристик вихідної інформації запропоновано алгоритм у вигляді набору статистичних критеріїв і правил перевірки умов їх виконання, який дозволяє здійснювати попередній вибір класу методів, що досліджуються.

Можливість використання класу стислих оцінок заснована на перевірці гіпотези H*: z1l1=…=zplp, де li - власні числа інформаційної матриці, критерієм перевірки якої є статистика стиску у вигляді

, (1)

яка розподілена як F(p-1, n-p-1, 1-a), де n-обсяг вибірки, p-кількість незалежних змінних, a-рівень значимості, - середнє значення коефіцієнтів кореляції.

Вибір між гребеневими та узагальненими гребеневими оцінками заснований на перевірці гіпотези Hm*: z12l1m=…=zp2lpm на підставі статистиці

SS(m)=(n-p-1)R2(1-cos(m))[(p-1)(1-R2)], (2)

де cos(m)=, m - кут між коефіцієнтами кореляції (,….,) та власними числами () матриці; R2 - коефіцієнт множинної кореляції.

Перевірка можливості використання оцінок дробового рангу заснована на критерії аналізу власних чисел коваріаційної матриці незалежних змінних та виборі такого рангу r, при якому виконується нерівність

(3)

де L - матриця власних чисел. У разі виконання критерію (1) віддається перевага класу гребеневих оцінок, ніж класу стислих, якщо виконується (2) - класу узагальнених гребеневих оцінок, якщо нерівність (3) не виконується, доцільно використовувати клас гребеневих оцінок. Якщо обирається клас гребеневих оцінок, то необхідно виконати перевірку ефективності гребеневих оцінок двопараметричного класу. Після визначення класу методів побудови моделей необхідно знайти найбільш ефективний метод зміщеного оцінювання в рамках обраного класу.

Було проведено аналіз відомих критеріїв оцінки ефективності методів зміщеного оцінювання та показано, що порівняння ефективності методів за допомогою одного критерію не дасть повного уявлення про стійкість ефективності методу на наборі даних. Тому було запропоновано використання сукупності критеріїв: критерію відносної середньоквадратичної похибки, що обумовлено зручністю при проведенні порівняльного аналізу методів зміщеного оцінювання з методом найменших квадратів і дозволяє отримати результати в єдиному масштабі, критеріїв оцінки зміщення коефіцієнтів, оцінки дисперсії коефіцієнтів, оцінки нормованої середньоквадратичної помилки. Як критерій оцінки ефективності конкретного методу зміщеного оцінювання запропоновано використання індексу помилки у вигляді

, , (4)

де А - метод зміщеного оцінювання;

Н - вибірка вхідних даних;

Li - значення i -го відносного критерію оцінки ефективності;

- найкраще значення Li;

k - кількість альтернативних методів, що досліджується;

g -кількість критеріїв, що досліджується.

У разі, якщо <1, для набору даних Н метод А має меншу помилку, ніж середня помилка для k альтернативних методів. Також для критерію (4) запропоновано використання міри розсіювання у вигляді

(5)

яка визначає варіації характеристики S(Ч) від набору до набору вхідних даних і нестійкість методу в області, яка визначається Hj, j=. Невеликі значення міри (5) характеризує метод зміщеного оцінювання як стійкий. Також запропоновано рангові оцінки p(A,H) ефективності методу в області наборів вихідних даних Hi, які враховують кращі та гірші результати при іспитах методу, їх індекс помилки і міру розсіювання. Необхідно враховувати, що у силу специфічних властивостей методів зміщеного оцінювання для певних ситуацій деякі критерії оцінки їх ефективності можуть бути суперечливими один одному. У такій ситуації пропонується виділити домінуючий критерій і представити інші у вигляді сукупності обмежень.

На підставі критерію, який дозволяє враховувати і довжину оцінки, і її зміщення, у вигляді матриці зміщення W()=s2C+(СiX-I)b, де (СiX-I)b - вектор зміщення оцінки, s2 - дисперсія, С - матриця, для якої вірно =СY, було проведено аналітичне порівняння ефективності методів гребеневого оцінювання, методів стислого оцінювання, методів ітераційного оцінювання. Показано, що здійснити аналітичне визначення найбільш ефективного з цих методів важко через необхідність знання апріорної інформації про b і s2, а також нелінійний характер залежності ефективності методів зміщеного оцінювання від статистичних характеристик вихідної інформації, що обгрунтувало необхідність використання методу імітаційного моделювання для встановлення цієї залежності.

Третій розділ дисертаційної роботи присвячений розробці імітаційної моделі для проведення статистичних іспитів методів зміщеного оцінювання, що дозволяє досліджувати залежність ефективності методів від статистичних характеристик вихідної інформації, та на її підставі проведенню обчислювальних експериментів.

Дослідження експериментальної характеристики ефективності m-го методу зміщеного оцінювання запропоновано здійснювати на підставі моделі у вигляді

, (6)

де - сукупність показників ефективності m-го методу;

- множина статистичних характеристик вихідних даних, які впливають на ;

- деяка детермінована функція.

Для одержання залежностей (6) було здійснено серію імітаційних експериментів, у яких незалежними змінними є hj, а залежними - кожний із . Враховуючи, що основною вимогою до моделей, які синтезуються, є мінімум залишкової дисперсії та дисперсії оцінок коефіцієнтів моделі, було запропоновано використовувати D-оптимальні плани. Крім того, були визначені основні параметри вибірки вихідних даних hj, які впливають на ефективність методів зміщеного оцінювання: h1 = n - обсяг вибірки; h2 = р - кількість незалежних змінних; h3 = показник мультиколінеарності; h4=- відношення дисперсії шум/сигнал для незалежних і залежної змінних; h5 - тип автокореляційної функції; h6 - вид закону розподілу; h7 - коваріація помилок з незалежними змінними.

Статистичні характеристики інформаційної матриці впливають на підхід до вибору фактора деформації k, який визначає величину зміщення вектора коефіцієнтів моделі. Аналітичне визначення оптимального значення k відповідно до статистичних характеристик вхідних змінних здійснити важко, тому що на практиці апріорно дійсний вектор коефіцієнтів моделі та дисперсія випадкової помилки невідомі. Вирішення цієї проблеми також потребує проведення серії імітаційних експериментів, зокрема генерації інформаційної матриці з заданими кореляційними властивостями, на підставі яких може бути встановлена залежність підходів до вибору фактора деформації від кореляційного зв'язку між вхідними змінними.

Представимо кореляційну матрицю у вигляді R=QL, де Q - матриця власних векторів, L=diag(l1,…,lр), тоді її діагональні елементи повинні підкорятися умові

rii=, i=, (7)

де - власні числа матриці, - власні вектора матриці, р - кількість незалежних змінних.

Необхідно обрати таку матрицю Q, щоб при заданих значеннях li задовольнялась умова (7). Одним із відомих методів розв'язання цієї задачі є використання ітераційного процесу, який засновано на ортогоналізації матриці випадкових чисел, з нормуванням її векторів, крім першого, та визначенням елементів її першого власного вектора з (7), вважаючи, що при j№1 є фіксовані. Але іноді належить до комплексного простору C(n).

Для підвищення ефективності методу було запропоновано використання комбінації розглянутого ітераційного процесу з послідовним обертанням рядків матриці Q, та вибором кута обертання у вигляді

, (8)

де .

У випадку, коли при обертанні для рядка виконується умова g12<(1-dl)(1-fl), рядок пропускається. Відповідний комбінований ітераційний процес має критерій збіжності , де величина e - задана похибка збіжності, яка обиралась як функція від p, e=pe0, а e0 - величина припустимого відхилення критерію, яка не може бути більшою ніж 10-5, тому що при її великих значеннях матриця R втрачає властивість позитивного напіввизначення. Слід відзначити, що похибка при генерації кореляційної матриці не перевищувала чотири відсотка.

У результаті проведених експериментів для відомих алгоритмів визначення фактора деформації для методів зміщеного оцінювання розраховано середні значення коефіцієнтів моделі та їх дисперсії, середнє значення k, стандартне відхилення значень k, кореляція між поточною оцінкою k та найкращою оцінкою k, кількість іспитів, у яких оцінка найкраща або найгірша серед отриманих. Це дозволило визначити залежність вибору фактора деформації від статистичних характеристик вхідної інформації, а також отримати якісні показники методів зміщеного оцінювання. Усі експерименти проводились на підставі розробленої програмної системи імітаційного моделювання, яка включає такі блоки: формування вибірок різного обсягу, формування структури об'єкту, генерацію законів розподілу, генерацію вибірок із заданим рівнем кореляційного зв'язку, дисперсією завад, отримання залежних змінних (Y), блок методів зміщеного оцінювання, блок критеріїв оцінки ефективності методів зміщеного оцінювання. На підставі проведених експериментів було встановлено статистичну залежність (6) для кожного методу зміщеного оцінювання, що досліджується. Також було проаналізовано похибку генерації для кожного блока системи імітаційного моделювання.

У четвертому розділі проведено аналіз отриманої залежності ефективності методів зміщеного оцінювання від встановленого набору статистичних характеристик вихідної інформації. Виявлено, що при обробці багатомірних процесів використання ітераційних методів гребеневого оцінювання дозволяє отримати необхідну точність моделі щодо величини дисперсії та зміщення її коефіцієнтів. Проте при наявності високого рівня кореляції та дисперсії завад зростає швидкість збільшення величини зміщення та уповільнюється збіжність методу на множині ітерацій.

У зв'язку з цим була запропонована модифікація ітераційного методу гребеневого оцінювання, заснованого на псевдообертанні матриці

X(m,k)=k, (9)

який дозволяє отримати послідовні оцінки b(m,k)=X(m,k)Y, де k - фактор деформації, який впливає на швидкість збіжності ітераційного процесу інверсії, m - визначає закінчення ітераційного процесу, - інформаційна матриця, Y - вихідна змінна. При практичному застосуванні (9) труднощі виникають при виборі фактора k та m.

На підставі проведеного аналізу виявлено, що для досягнення мінімуму функції суми квадратів відхилень, що є монотонною та безупинною при 0<k<, у вигляді

Q(m,k)=[Y-Xb(m,k)[Y-Xb(m,k)], (10)

вибір фактора деформації необхідно здійснювати в інтервалі [0, 1/lmax], оскільки при такому виборі швидкість збіжності процесу зростає.

Вибір фактора деформації, що дорівнює своїй верхній межі k=1/lmax, забезпечує мінімум (10) та мінімум середньоквадратичної помилки моделі

[b(m,k)]=E[b(m,k)-b*[b(m,k)-b*], (11)

де b* - коефіцієнти, отримані методом найменших квадратів.

Але при такому підході вихідна послідовність вироджується. Якщо запропонувати для (9) значення фактора деформації у вигляді , то чим ближче lmin до нуля, тим ближче k до .

Модифікація методу стосується також критерію, що визначає доцільність продовження ітераційного процесу, який прийняв вигляд

, (12)

де hm+1=(I-k)hm, визначає близькість оцінок на m та m+1 ітераціях;

T=I-k - знаменник геометричної прогресії;

d0 - значення малої константи.

Важливим етапом є вибір значення параметра m0. Його вибір пропонується здійснювати за умови , де m0 - найменше ціле, при якому виконується дана нерівність, а l - визначається за умови = ls2, де s2 - дисперсія завад. Запропонована модифікація методу ітераційного гребневого оцінювання підвищує швидкість його збіжності та зменшує швидкість зростання зміщення коефіцієнтів, що дозволяє підвищити його ефективність в умовах високого рівня кореляції між вхідними змінними. Також було запропоновано ітераційний алгоритм визначення фактора деформації для методу послідовної гребеневої регресії, який засновано на відношенні власних чисел інформаційної матриці та дисперсії оцінки , що дозволило зменшити швидкість зростання зміщення та дисперсії оцінок коефіцієнтів.

На підставі проведених імітаційних експериментів було розроблено математичні моделі для класів методів зміщеного оцінювання, які встановлюють залежність ефективності методу від рівня мультиколінеарності a, дисперсії завад s2, кількості незалежних змінних. Наприклад, для критерію середньоквадратичної похибки методу, математичні моделі мають вигляд: для методів гребеневого оцінювання - М=a+bs+cs2+ds3+…+ksn, М=; для методів узагальненого гребеневого оцінювання - М=, М=; для методів стислого оцінювання М=a+bs+cs2+ds3+…+ksn, М=; для методів дробового рангу: M=ab1/sЧsc, M=, де a,b,c,d - коефіцієнти моделі індивідуального методу. Також розроблено математичні моделі для інших критеріїв оцінки ефективності методів зміщеного оцінювання та математичні моделі визначення комплексного впливу рівня мультиколінеарності, дисперсії завад, кількості незалежних змінних на ефективність цих методів. Адекватність розроблених математичних моделей забезпечується за умови знаходження рівня мультиколінеарності, дисперсії завад, кількості незалежних змінних у діапазонах aО[0;100], s2О[0;1], рО[2;10].

На підставі розробленого алгоритму вибору класу методів зміщеного оцінювання, комплексу математичних моделей визначення їх ефективності та узагальненого критерію було запропоновано формалізоване визначення найбільш ефективного з цих методів у залежності від рівня кореляційного зв'язку вхідних змінних, рівня дисперсії завад, кількості незалежних змінних, що забезпечує побудову адекватних математичних моделей об'єктів і процесів, які мають лінійну залежність між вхідними змінними.

У п'ятому розділі дисертаційної роботи розглядалося практичне застосування розробленого комплексу математичних моделей, методів та алгоритмів, які було використано при розробці математичного забезпечення системи екологічного моніторингу та дослідженні процесів низькотемпературного заморожування біооб'єктів. На підставі отриманих теоретичних результатів було побудовано математичну модель визначення ступеня забрудненості екосистеми відрізка ріки у залежності від концентрації шкідливих речовин у донних відкладеннях, на підставі якої здійснюється дослідження екологічної обстановки. За допомогою статистичних критеріїв та аналізу залишків моделі обгрунтована її адекватність процесу, що досліджується. Також було побудовано математичну модель впливу рівня вологості насіння кукурудзи на процес його зростання після низькотемпературного заморожування і виконано оцінку її адекватності досліджуваному процесу. Розроблена модель дозволила оцінити оптимальні рівні вологості насіння, при використанні яких спостерігається стимуляція інтенсивності початкового росту проростків. Отримані чисельні результати добре узгоджуються з даними експериментальних досліджень. Цей результат вказує на ефективність використання запропонованого комплексу моделей та алгоритмів, що забезпечує визначення ефективного методу синтезу статистичних моделей об'єктів і процесів у випадку лінійної залежності між вхідними змінними.

У додатках наведено результати експериментів по дослідженню ефективності методів зміщеного оцінювання, а також акти про впровадження результатів дисертаційного дослідження.

Висновки

У дисертації наведене теоретичне узагальнення і нове розв'язання наукової задачі, що полягає в розробці математичних моделей визначення ефективності методів зміщеного оцінювання, які дозволяють формалізовано обирати ефективний метод синтезу статистичних моделей квазістаціонарних процесів при наявності лінійної залежності між вхідними змінними. Отримані результати можуть бути використані при розв'язанні задач синтезу математичних моделей процесів в соціології, економіці, екології, кріобіології, що дозволить підвищити точність моделей, які синтезуються, і як наслідок підвищити надійність рішень, які приймаються по моделях. Також розроблені математичні моделі та алгоритми можуть бути використані при розробці спеціалізованих систем підтримки прийняття рішень, орієнтованих на вибір статистичних методів побудови моделей.

1. Обгрунтована ефективність застосування методів зміщеного оцінювання для синтезу математичних моделей процесів при наявності лінійної залежності між вхідними змінними, які дозволяють за рахунок відмови від незміщеності оцінок коефіцієнтів моделі зменшити їх дисперсію та підвищити точність моделей, що синтезуються.

2. Розроблено узагальнений критерій порівняння методів зміщеного оцінювання за ефективністю, що базується на індексі помилки відносних критеріїв оцінки ефективності методу, оцінці міри його розсіювання і рангових оцінках відносних критеріїв, який дозволяє оцінити середню помилку методу порівняно з середньою помилкою альтернативних методів, визначити стійкість ефективності методу на наборі даних та обрати найбільш точний метод побудови математичної моделі.

3. Розроблено імітаційну модель дослідження ефективності методів зміщеного оцінювання, яка дозволила встановити статистичну залежність ефективності методів від рівня кореляційного зв'язку між вхідними змінними, дисперсії завад, кількості незалежних змінних, обсягу вибірки, а також визначити залежність оцінок фактора деформації від рівня кореляційного зв'язку між вхідними змінними. Запропоновано використання комбінованого ітераційного алгоритму генерації інформаційної матриці із заданими кореляційними властивостями, що дозволяє досліджувати вплив рівня кореляції незалежних змінних на величину зміщення та дисперсії оцінок коефіцієнтів моделі.

4. Розроблено алгоритм вибору класу методів зміщеного оцінювання у вигляді набору статистичних критеріїв і правил перевірки умов їх виконання, що дозволяє відповідно до властивостей вихідної інформації здійснювати попередній вибір класу гребеневих, стислих оцінок, класу методів дробового рангу та узагальненого гребеневого оцінювання.

5. Удосконалено ітераційний метод гребеневої регресії, заснований на послідовному оцінюванні коефіцієнтів моделі, у частині перетворення інформаційної матриці, критерію збіжності методу та вибору початкових умов ітераційного процесу, що дозволило підвищити швидкість його збіжності, зменшити швидкість зростання зміщення коефіцієнтів моделі. Це забезпечило підвищення його ефективності в умовах високого рівня кореляції між вхідними змінними.

6. Розроблено комплекс математичних моделей визначення ефективності методів зміщеного оцінювання у залежності від статистичних характеристик вихідної інформації, зокрема мультиколінеарності, дисперсії завад, кількості незалежних змінних, обсягу вибірки, які дозволяють кількісно порівнювати точність методів, що забезпечує необхідний рівень надійності результатів під час розв'язання прикладних задач.

7. Формалізовано вибір найбільш ефективного методу зміщеного оцінювання параметрів моделей у залежності від сформульованого набору статистичних характеристик вихідних даних, який реалізовано на підставі розробленого комплексу математичних моделей та узагальненого критерію оцінки ефективності методів. Це забезпечує підвищення точності математичних моделей процесів при наявності лінійної залежності між вхідними змінними.

8. Розроблені моделі, методи та алгоритми реалізовано у вигляді програмної системи. Результати дисертаційних досліджень використано в Українському науково-дослідному інституті екологічних проблем при синтезі математичної моделі оцінки впливу концентрації шкідливих речовин у донних відкладеннях на ступінь забрудненості ріки, на підставі якої проводиться дослідження екологічної обстановки, що дозволило підвищити точність прогнозів по моделі. Також отримані результати були використані в інституті проблем кріобіології і кріомедицини НАН України при побудові моделі оцінки впливу рівня вологості насіння кукурудзи на його зростання після кріовпливу, що дозволило визначити режими вологості насіння, при використанні яких спостерігається стимуляція інтенсивності початкового росту проростків.

Список опублікованих автором праць за темою дисертації

1. Шамша Т.Б., Репка В.Б., Антонов В.А. Концептуальная модель системы идентификации в современных системах управления технологическими объектами // Автоматизированные системы управления и приборы автоматики. - 1998. -№ 108. - С.214-223.

2. Лесная Н.С., Репка В.Б., Шамша Т.Б. Об одном подходе к оценке качества исходной информации при обработке данных // Проблемы бионики. - 1999. - №50. - С.71-74.

3. Лесная Н.С., Шамша Т.Б., Витько А.В., Скибенко Т.И. Эффективность применения гребневых и робастных методов оценивания // Вестник Харьковского государственного политехнического университета. - 1999. - Вып.42. - С.42-47.

4. Шатовская Т.Б. Оценка предела ошибок в определении показателей эффективности в гребневых и робастных методах // Проблемы бионики. - 1999. -№ 51. - С.60-66.

5. Шамша Т.Б. Сравнительный анализ качественных показателей методов смещенного оценивания // Вестник Харьковского государственного политехнического университета. - 1999. - Вып. 71. - С.181-185.

6. Лесная Н.С., Шамша Т.Б. Сравнительная оценка характеристик автоматического выбора параметров устойчивых методов построения статических моделей // Информационные технологии: наука, техника, технология, образование, здоровье. - 1998. - №6. - С. 358-362.

7. Шамша Т.Б. Итерационная процедура определения оценок гребневой регрессии // Информационные технологии: наука, техника, технология, образование, здоровье. - 1999. - № 7. - С. 227-232.

8. Лесная Н.С., Шамша Т.Б. Искусственный интеллект в адаптивной системе обработки информации // Тезисы докладов 1-го Международного молодежного форума ”Электроника и молодежь в XXI веке”. - Харьков: ХТУРЭ. - 1997. - С. 251.

9. Лесная Н.С., Шамша Т.Б. Исследование алгоритмов распознавания в системе принятия решений по выбору метода идентификаци // Тезисы докладов 4-й Международной конференции “Теория и техника передачи, приема и обработки информации”. - Харьков-Туапсе: ХТУРЭ. - 1998. - С.279-283.

Размещено на Allbest.ru

...