Запропонований метод бутстреп-аналізу атестовано на реальних даних - результатах прецизійних фазових GPS-вимірювань. Використані дані GPS-спостережень станцій CHME і NCAL мережі перманентних GPS-станцій CORS (США). Відстань між вказаними станціями - 62 км. Всі три компоненти вектора = (bx, by, bz) базової лінії, яка сполучає фазові центри антен, відомі в системі координат WGS-84 із точністю не гірше 1 мм, що дозволяє визначати істинну похибку оцінок bx, by, bz. Добові спостереження для вказаної пари станцій (без попереднього "чищення") були розбиті на інтервали T=512 і T=1024 с. Для кожного інтервалу і частоти (L1 і L2) на основі вирішення системи нелінійних рівнянь щодо приросту третіх різниць фази формувалися оцінки x, y, z компонент і визначалася похибка оцінок. Одночасно на основі запропонованого узагальненого блокового бутстрепа для кожної оцінки формувався 95%_ний довірчий інтервал.

Результат для T=1024 с. і частоти L1. Зображено діаграму розсіяння для значень абсолютної похибки (вісь абсцис) і бутстреп-оцінки верхньої межі 95% довірчого інтервалу (вісь ординат). Область над діагональною лінією відповідає попаданню похибки в довірчий інтервал. Набуті значення ймовірності виходу за 95% довірчий інтервал для чотирьох серій експериментів. Незважаючи на те, що значення абсолютної похибки змінюються в широких межах (від 0 до 4 м), бутстреп-оцінка довірчого інтервалу зберігається адекватною.

Сьомий розділ присвячений методам синтезу непараметричних процедур для задач відновлення полів і сигналів на основі некласичних статистичних методів. Запропоновано методи оптимізації процедур відновлення на основі неметричних критеріїв якості й статистично оптимального узгодження скінченновимірного підпростору рішень із способом реєстрації поля, що використовується в РТС. Показано, що для практичної реалізації вказаних підходів необхідні непараметричні методи вибору параметра регуляризації бr, тобто параметра, що визначає компроміс між систематичною та флуктуаційною похибками відновлення. Відзначено, що в статистично первинних вимірювань вибір бr може бути ефективно здійснений на основі бутстрепа, і запропоновано загальний конструктивний алгоритм для вибору бr на основі бутстреп-оцінок.

Показано, що в тих ситуаціях, коли статистична надмірність спостережень відсутня, немає можливості застосувати бутстреп. Для цього практично важливого випадку розвинено метод вибору бr, що використовує слабку апріорну інформацію про відновлюване поле E() у вигляді припущення про наявність неоднорідних зон на реальних радіозображеннях. Метод оснований на використанні узагальнених мір Hв неоднорідності розподілу, запропонованих в розд. 2, і припускає вибір б з умови

= argHв(Bб()); Hв(Bб())B0,

де Bб() - зображення, відновлене при значенні параметра регуляризації б. Для дискретного радіозображення B()міра Hв неоднорідності визначається виразом

Нв (B())=n, в > 0,

де i, j - мультиіндекси, що пробігають всі n елементів зображення; () - результат згладжування зображення B() низькочастотним фільтром. Вибір параметра в дозволяє змінювати властивості міри Hbeta відповідно до специфіки конкретної задачі (збільшення в), робить міру Hbeta чутливішої до наявності малих за площею ділянок великої радіояскравості, і навпаки).

На рис. 8 показано істинне реальне радіозображення (а), результат відновлення в шумах без регуляризації (б) і при зростаючому значенні б (в_е), а в табл. 5 наведені відповідні значення H2, H4 і коефіцієнта кореляції с з істинним зображенням. Як регуляризатор використано лінійний рівномірний фільтр із розміром вікна (б + 1) Ч (б + 1). Результати, показані на рис. 8 і наведені в табл. 5, свідчать про те, що запропонований метод дозволяє визначити порігове значення б, адекватне як зоровому сприйняттю (див. рис. 8), так і об'єктивному кількісному показнику кореляції з істинним зображенням (див. табл. 5).

Таблиця 5 Значення Hв[Bб()] і коефіцієнта кореляції з істинним зображенням

Основні результати й висновки

У дисертаційній роботі одержано рішення наукової проблеми створення основ теорії й методології оперативного синтезу непараметрично стійких статистичних вирішальних процедур для вторинної обробки сигналів, полів і зображень у РТС, що функціонують в умовах істотної апріорної невизначеності щодо статистичних властивостей зондованих об'єктів і завадової обстановки. Запропоновані підходи до вирішення вказаної проблеми основані на використанні некласичних методів статистичного аналізу, які поки не знайшли широкого використання при обробці даних у РТС.

Основні результати й висновки можна сформулювати таким чином:

1. Показано, що застосування некласичних методів статистичного аналізу - бутстрепа і наближених пермутаційних критеріїв - для синтезу процедур вторинної обробки даних у РТС дозволяє здійснити оперативний синтез нових непараметричних СВП, працездатних в умовах істотної апріорної невизначеності. При цьому внаслідок числової природи бутстреп-методів процес синтезу істотно спрощується, виключається необхідність використання аналітичних викладок, істотно розширюється множина статистик, які потенційно застосовуються, що дозволяє на етапі синтезу максимально врахувати специфіку конкретної РТС і вирішуваної задачі. Показано, що, незважаючи на істотно великі обчислювальні витрати в порівнянні з традиційними методами, сучасний рівень розвитку обчислювальної техніки дає можливість використовувати бутстреп-методи для вирішення широкого кола задач вторинної обробки даних у РТС.

Запропоновано підхід до синтезу параметричних сімей дескриптивних статистик на основі розвиненої концепції узагальнених моментів дробового порядку, що дозволяє значно розширити множину статистик для кількісного опису центрального положення, дисперсії, асиметрії, важкості хвоста і нерівномірності розподілу вимірювальних даних. Показано, що використання синтезованих статистик на основі моментів низького порядку дає можливість істотно підвищити потужність критеріїв, орієнтованих на виявлення негауссовості розподілів, наприклад, знизити до 10_30 разів ймовірність помилок II роду на вибірках помірного обсягу 30_40 елементів при рівні значущості критерію 0,01 .

Запропоновано підхід до непараметричного синтезу робастних СВП оцінки параметрів, оснований на адаптивному виборі процедури з набору первинних СВП на базі бутстреп-оцінок їх статистичної точності. Підхід робить можливим оперативний синтез непараметричних СВП, оскільки не накладає яких-небудь обмежень на властивості первинних СВП і не припускає завдання параметричних моделей. Доведено, що процедури, синтезовані в рамках запропонованого підходу, мають істотно більшу робастність в порівнянні з будь-яким із первинних алгоритмів. Наприклад, у порівнянні з традиційною робастною оцінкою по медіані вибірки, адаптивні алгоритми забезпечують максимальний виграш у СКВ похибки до 10 разів при максимальному програші в точності не більше 10_15% при помірному розмірі вибірки (30_40 елементів. Показано, що прийнятна якість адаптації досягається вже при використанні 5_10 бутстреп-вибірок, тобто ціною помірного збільшення обчислювальної складності алгоритму.

Запропоновано та досліджено підхід до синтезу "надробастних" процедур для оцінювання параметрів і фільтрації, що зберігає працездатність в умовах складної й апріорно невідомої завадової обстановки, коли ймовірність аномальних вимірювань може досягати 80_90% і традиційні робастні процедури непрацездатні. Підхід оснований на використанні принципу оцінювання за мінімумом приведеної інтенсивності нев'язок, розвиненого в роботі. Синтезовані й досліджені надробастні алгоритми для задач оцінювання параметрів і фільтрації зображень.

Запропоновано та розвинено підхід до оперативного синтезу адаптивних непараметричних процедур перевірки статистичних гіпотез на основі загальної схеми пермутаційних критеріїв і розвиненого в роботі методу агрегації результатів паралельного використання декількох критеріїв. Підхід дозволяє на основі множини довільних статистик, чутливих до відхилення від нульової гіпотези, автоматично одержати непараметричний критерій без виконання яких-небудь аналітичних викладок. Показано, що для будь-якого розподілу потужність результуючого критерію близька до потужності, забезпечуваної якнайкращою для даного розподілу первинною статистикою: ймовірність помилки другого роду лише на 10_30% вища, ніж якнайкращого первинного критерію, але досягається без використання апріорної інформації про закон розподілу.

Розвинено підхід до вторинної обробки вимірювань у РТС на основі узагальнення блокового бутстрепа. Цей підхід має ширшу область застосовності і дозволяє застосовувати бутстреп-аналіз для обробки реальних сигналів, полів і зображень, які характеризуються істотною статистичною залежністю елементів. Підхід дає можливість оперативно, без проведення аналітичних викладень і без залучення апріорної інформації про розподіл оцінити довірчі інтервали для емпіричних значень довільних функцій від спостережуваних даних. Показано, що використання традиційного бутстрепа в таких ситуаціях може приводити до заниження реального розкиду в 5_10 і більше разів. На прикладі обробки реальних даних прецизійних фазових GPS-вимірювань доведено працездатність методу в реальних умовах.

Запропоновано та досліджено непараметричний підхід до побудови регуляризованих процедур відновлення полів і сигналів, який дозволяє адаптивно вибрати значення параметра регуляризації, що забезпечує компроміс між систематичною й флуктуаційною похибками відновлення в умовах істотної невизначеності щодо характеристик сигналів і завад. Запропоновано методи оптимізації відновлювальних процедур на основі неметричних критеріїв і узгодження підпростору рішень із способом реєстрації поля або сигналу, що використовується в РТС.

Визначені обмеження на практичну застосовність розроблених методів - необхідність у запасі обчислювальної потужності в порівнянні з однократним обчисленням використовуються статистик. Показано, що нижня межа такого запасу складає 5_10 разів для методів, основаних на бутстрепі, і 50_100 разів - для методів, основаних на пермутаційних критеріях. Тому запропоновані підходи рекомендується застосовувати для вирішення тих задач вторинної обробки даних у РТС, де проблема оперативності обробки і обчислювальної простоти алгоритму не є першорядною.

9. Показано, що алгоритми, одержані в рамках розроблених методів синтезу, максимально підходять для реалізації засобами паралельних і розподілених обчислень через високий ступінь їх обчислювальної однорідності, а також достатньо просто реалізуються базовими засобами більшості сучасних мов програмування.

10. Для запропонованих у роботі підходів до синтезу непараметричних СВП наведені приклади конструктивних алгоритмів їх реалізації, рекомендації щодо вибору параметрів, а також результати моделювання на даних із контрольованими статистичними характеристиками і на реальних даних. Таким чином, доведена можливість практичної реалізації синтезованих СВП та їх працездатність в умовах дефіциту або відсутності апріорної інформації, характерної для умов функціонування багатьох класів сучасних РТС.

Публікації за темою дисертації

1. Колядин В.Л., Кравченко В.Ф. Об оптимальном решении операторных уравнений при конечной размерности исходных данных // Дифференциальные уравнения. - 1989. - Т.25, № 11. - С. 1891-1897.

2. Колядин В.Л., Кравченко В.Ф. О статистически оптимальном решении операторных уравнений при конечной размерности исходных данных // Докл. АН СССР. - 1990. - Т.310., № 3. - С. 532-535.

3. Колядин В.Л. Исследование потенциальных возможностей сверхразрешения при восстановлении полей и сигналов // Радиотехника и электроника. - 1989. - Т.34, № 10. - С. 2066-2074.

4. Колядин В.Л. Повышение робастности статистических оценок параметров на основе техники бутстреп // Технология приборостроения. - 2001. - № 1-2. - С. 124-127.

5. Колядин В.Л. Синтез адаптивных робастных оценок на основе техники бутстреп // Радиоэлектроника и информатика. - 2001. - № 4. - С. 18-22.

6. Колядин В.Л. Построение статистических мер на основе моментов дробного порядка // АСУ и приборы автоматики. - 2001. - Вып. 117. - C. 19-28.

7. Колядин В.Л. Повышение робастности LP-оценок путем адаптивного выбора оценки на основе "бутстрепа" // Вестник НТУ ``ХПИ'': Сер. Новые решения в современных технологиях. - 2001. - №.14. - C. 110-115.

8. Колядин В.Л. Исследование выигрыша в точности, обеспечиваемого Lp-оценками высокого порядка // Авиационно-космическая техника и технология. - 2002. - Вып. 27. - C. 108-111.

9. Колядин В.Л. Распределения с бесконечной дисперсией и ограниченность классической статистики // Радиоэлектроника и информатика. - 2002. - № 2. - С. 4-11.

10. Колядин В.Л. Применение моментов дробного порядка в задачах статистического описания и анализа // АСУ и приборы автоматики. - 2002. - Вып. 118. - C. 17-27.

11. Колядин В.Л. Неметрические критерии в задачах восстановления полей и сигналов // Авиационно-космическая техника и технология. - 2002. - Вып. 29. - C. 70-73.

12. Колядин В.Л. Неклассические подходы к задачам восстановления полей и сигналов по конечному набору данных // Вестник НТУ ``ХПИ'': Сер. Новые решения в современных технологиях. - 2002. - №.20. - C. 14-18.

13. Колядин В.Л. Пермутационные критерии как универсальный непараметрический подход к проверке статистических гипотез // Радиоэлектроника и информатика. - 2002. - № 3. - С. 7-14.

14. Колядин В.Л. Применение статистик дробного порядка для обнаружения негауссовости случайных сигналов по амплитудным измерениям. // Радиотехника. - 2002. - Вып. 128. - C. 180-186.

15. Колядин В.Л. Об одном заблуждении относительно нестационарных случайных процессов // АСУ и приборы автоматики. - 2002. - Вып. 119. - C. 84-95.

16. Колядин В.Л. Обобщенные меры свойств распределений и их применение в задачах распознавания // Авиационно-космическая техника и технология. - 2002. - Вып. 32. - C. 276-281.

17. Колядин В.Л. Непараметрический подход к анализу автокоррелированных данных на основе техники бутстреп // АСУ и приборы автоматики. - 2002. - Вып. 120. - C. 148-158.

18. Колядин В.Л. Применение бутстрепа при анализе данных на основе обобщенных мер // Авиационно-космическая техника и технология. - 2002. - Вып. 33. - C. 306-309.

19. Колядин В.Л. Синтез робастных процедур проверки статистических гипотез на основе пермутационных критериев // Радиоэлектроника и информатика. - 2002. - № 4. - С. 13-20.

20. Колядин В.Л. Сверхробастное оценивание на основе бутстрепа // Вестник НТУ ``ХПИ'': Сер. Новые решения в современных технологиях. - 2003. - №.5. - C. 34-38.

21. Колядин В.Л. Cинтез сверхробастных оценок на основе бутстрепа // Радиоэлектроника и информатика. - 2003. - № 1. - С. 4-6.

22. Колядин В.Л. Исследование возможностей сверхробастного оценивания векторных параметров // АСУ и приборы автоматики. - 2003. - Вып. 123. - C. 28-36.

23. Колядин В.Л. Динамический подход к синтезу адаптивных алгоритмов селекции сигналов на фоне коррелированных помех с изменяющимися параметрами // II Всесоюзная научно-техническая конференция "Методы представления и обработки случайных сигналов и полей": Тезисы докладов. 30 сентября - 2 октября 1991. - Харьков: ХИРЭ, 1991. - C. 236.

24. Koliadin V.L Determination of the signal-subspace dimension: A nonparametric approach based on the eigenvectors analysis.// Signal Processing VII: Theories and Applications, Vol.1 (Proceedings of EUSIPCO-94 Seventh European Signal Processing Conference, Edinburgh, Scotland, U.K., 13-16 September 1994). - Lausanne (Switzerland): EURASIP, 1994. - P. 268-271.

25. Колядин В.Л. Обобщенные меры неравномерности распределения и их применение // 8-я Международная конференция "Теория и техника передачи, приема и обработки информации" ("Интегрированные информационные системы, сети и технологии") "ИИСТ-2002": Сб. научных трудов. - Харьков: ХНУРЭ, 2002. - C. 531-533.

26. Колядин В.Л. Неклассические методы статистики в задачах обработки больших информационных массивов // Мiжнародна науково-практична конференцiя "Iнформацiйнi технологii управлiння екологiчною безпекою, ресурсами та заходами у надзвичайных ситуацiях". - Харкiв:: НАКУ "ХАI", 2002. - C. 42-44.

27. Колядин В.Л. Обобщенные меры свойств распределений и их применение в задачах распознавания // Труды одиннадцатой международной конференции "Новые технологии в машиностроении". - Харьков: НАКУ "ХАИ", 2002. - C. 52.

28. Колядин В.Л. Анализ автокоррелированных данных на основе статистической методологии бутстреп // V Мiжнародна молодiжна науково-практична конференцiя "Людина i космос": Збiрник тез. - Днепропетровск: НЦАОМУ, 2003. - C. 169.

29. Koliadin V. APE (Analysis on pseudoensembles) // RSS News. - 1994. - Vol. 22, № 1. - P. 3-4.

30. Koliadin V. The sceptical analyst // RSS News. - 1994. - Vol. 22, N 2. - P. 3-4.

31. Koliadin V. A point regarding intervals // RSS News. - 1995. - Vol. 22, N 7. - P. 6.

Анотація

Колядин В.Л. Синтез непараметричних процедур вторинної обробки даних в радіотехнічних системах на основі некласичних методів статистики. - Рукопис.

Дисертація на здобуття наукового ступеня доктора технічних наук за фахом 05.12.17 - Радіотехнічні і телевізійні системи. Національний аерокосмічний університет ім. М.Є. Жуковського "ХАІ", Харків, 2005.

У дисертації розроблені основи теорії і практичної методології оперативного синтезу непараметричних процедур вторинної обробки даних в радіотехнічних системах, що функціонують в умовах високої апріорної невизначеності щодо статистичних характеристик перешкод, сигналів і параметрів зондованих об'єктів. Основні результати базуються на залученні бутстреп-методів - некласичних методів числового непараметричного статистичного виводу, що дозволило алгоритмізувати процес синтезу нових непараметричних процедур і розширити множину статистик, що потенційно використовуються. Запропоновані і досліджені методи синтезу непараметричних вирішальних процедур для вирішення ряду задач робастного оцінювання параметрів, перевірки гіпотез, фільтрації і відновлення сигналів і зображень. Загальною рисою запропонованих підходів до синтезу є адаптивний вибір вирішальної процедури з набору первинних процедур і непараметричний характер результуючого алгоритму.

Ключові слова: радіотехнічні системи, вторинна обробка, бутстреп, непараметричні процедури, робастне оцінювання, перевірка гіпотез, фільтрація зображень.

Аннотация

Колядин В.Л. Синтез непараметрических процедур вторичной обработки данных в радиотехнических системах на основе неклассических методов статистики. - Рукопись.

Диссертация на соискание ученой степени доктора технических наук по специальности 05.12.17 - Радиотехнические и телевизионные системы. Национальный аэрокосмический университет им. Н.Е. Жуковского "ХАИ", Харьков, 2005.

В диссертации разработаны основы теории и практической методологии оперативного синтеза непараметрических процедур вторичной обработки данных в радиотехнических системах (РТС), функционирующих в условиях высокой априорной неопределенности относительно статистических характеристик помех, сигналов и параметров зондируемых объектов. Разработанные теория и методология основаны на использовании неклассических методов численного непараметрического статистического вывода - т.н. бутстреп методов (БМ), которые позволяют исключить необходимость в аналитических выкладках на этапе синтеза. Это позволило упростить процесс синтеза новых непараметрических процедур и существенно расширить множество потенциально используемых статистик - вплоть до сложных функций радиоданных, не имеющих обозримого аналитического представления, а заданных алгоритмически или программно. Предложены и исследованы методы синтеза непараметрических решающих процедур для решения ряда задач оценивания параметров, проверки гипотез, фильтрации и восстановления сигналов и изображений. Общей чертой предложенных подходов к синтезу является адаптивный выбор решающей процедуры из набора первичных процедур и непараметрический характер результирующего алгоритма.

Предложены и исследованы общий непараметрический метод синтеза робастных процедур оценивания, основанный на адаптивном выборе оценки параметра из множества первичных оценок на базе бутстреп-оценок точности последних. Доказано, что в условиях непараметрической априорной неопределенности синтезированные таким образом новые оценки существенно превосходят по робастности любую из первичных оценок.

На основе предложенной концепции оценивания по минимуму приведенной интенсивности невязок в сочетании с БМ разработаны и исследованы методы синтеза т.н. "сверхробастных" процедур оценивания и фильтрации, которые сохраняют работоспособность при наличии в выборке до 80-90% аномальных измерений - т.е. могут обеспечить функционирование РТС в условиях, когда традиционные робастные оценки на основе метода наименьших модулей, в частности, методы на основе медианной фильтрации, не работоспособны.

Предложен и исследован метод синтеза непараметрических критериев проверки гипотез относительно радиоданных, основанный на применении приближенных пермутационных критериев (подкласса БМ). Метод позволяет синтезировать новый непараметрический критерий на основе агрегирования результатов применения множества первичных критериев. Показано, что синтезированный таким образом результирующий критерий в условиях сильной априорной неопределенности обладает существенно большей гарантированной мощностью, чем любой и из первичных критериев.

Для задач восстановления сигналов и изображений разработаны и исследованы непараметрические методы адаптивного выбора параметра регуляризации, обеспечивающие приемлемый компромисс между разрешающей способностью и флуктуационными ошибками. Для случая избыточных первичных измерений предложен метод выбора параметра регуляризации на основе бутстрепа. Для случая незбыточных первичных измерений разработан и исследован метод выбора параметра регуляризации на основе предложенных автором дескриптивных статистик на основе обобщенных моментов дробного порядка. На примере реальных радиоизображений показана работоспособность метода.

Для каждого из рассмотренных классов задач приведены примеры синтеза алгоритмов и рекомендации по выбору параметров. На примерах обработки модельных данных, а также реальных GPS измерений и радиоизображений доказана работоспособность предложенных методов синтеза.

Отмечается, что значительная вычислительная сложность разработанных процедур на основе БМ позволяет рекомендовать их, главным образом, для вторичной обработки данных в РТС, когда требования к вычислительной простоте не являются первоочередными.

Ключевые слова: радиотехнические системы, вторичная обработка, обработка сигналов, обработка изображений, статистический синтез, бутстреп, пермутационные критерии, непараметрические методы, робастное оценивание, адаптивные алгоритмы.

Abstract

Koliadin V.L. Synthesis of nonparametric procedures for secondary data processing in radiosystems on the basis of non-classical statistical methods. - Manuscript.

Thesis for the degree of Doctor of Technical Science in speciality 05.12.17 - Radio and television systems. - National Aerospace University named after N.Ye. Zhukovsky (KhAI), Kharkov, 2005.

In the thesis foundations of a theory and practical methodology for operative synthesis of nonparametric procedures of secondary data processing in the radiosystems that operate in conditions of strong a priori uncertainty in respect to statistical characteristics of interferences, signals and parameters of objects

are developed.

The main results are based on application of bootstrap methods, non-classical methods for numerical nonparametric statistical inference; this permitted algorithms for synthesis of new nonparametric procedures and extended the set of statistics that can be potentially used. Methods for synthesis of nonparametric procedures has been proposed and investigated for solving problems in the fields of robust estimation of parameters, hypothesis testing, image and signals filtration and restoration. General features of the proposed approaches to synthesis are adaptive choice of the inferential procedure from a set of primary procedures, and nonparametric character of the resultant algorithm.

Keywords: radiosystems, secondary data processing, bootstrap, nonparametric methods, robust estimation, hypothesis testing, filtration of images.

Размещено на Allbest.ru