Асимптотичні властивості оцінок параметрів нелінійних регресійних моделей з похибками в змінних

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Асимптотичні властивості оцінок параметрів нелінійних регресійних моделей з похибками в змінних

Автореферат

дисертації на здобуття наукового ступеня кандидата фізико-математичних наук

Загальна характеристика роботи

Актуальність теми. Моделі регресії з похибками вимірювання використовуються в економетриці і при обробці біомедичної інформації. Відомо кілька способів оцінювання параметрів таких моделей, вони застосовуються при різних додаткових припущеннях. Серед цих способів є такі, що приводять до конзистентної оцінки параметрів моделі і у випадку, коли похибки вимірювання немає, співпадають з методом максимальної правдоподібності. Наприклад, такими є метод виправлення оціночної функції, запропонований Stefanski та Nakamura, та структурний метод зважених найменших квадратів в узагальнених лінійних моделях (інколи цей метод називають Quasi-Likelihood). Для того, щоб визначити, яку оцінку краще використовувати, потрібно порівняти ефективності цих оцінок. У роботах О.Г. Кукуша, H. Schneeweiss'а, R. Wolf'а, А.Л. Маленка ці ефективності порівнювались при малих дисперсіях похибок вимірювання. У даній дисертаційній роботі дисперсії похибок довільні, щобільше відповідає реальним застосуванням.

C.-L. Cheng та H. Schneeweiss запропонували оцінку параметрів поліноміальної регресії при відомому відношенні дисперсій похибок вимірювання регресора та відгуку. Система рівнянь для визначення оцінки, запропонована Cheng'ом та H. Schneeweiss'ом, має кілька розв'язків, і алгоритм розв'язання цієї системи не завжди збіжний. Потрібно так виправити означення цієї оцінки, щоб воно приводило до конзистентної оцінки. Це зроблено в даній дисертації: система рівнянь для визначення оцінки залишилась така сама, яка була запропонована Cheng'ом та H. Schneeweiss'ом, але розв'язок системи обирається іншим способом.

Є чимало робіт, присвячених оцінюванню параметрів еліпса за спостереженням точок на еліпсі, збурених деяким шумом. Ця задача актуальна в метеорології, у теорії машинного зору (computer vision) тощо. О.Г. Кукуш, І. Марковський, S. Van Huffel побудували конзистентну оцінку для параметрів еліпса та дисперсії шуму. У дисертації були значно послаблені умови конзистентності цієї оцінки.

Дисертаційна робота виконана в рамках держбюджетної дослідницької теми №06БФ038-03 «Аналітичні та стохастичні методи дослідження динамічних систем» яка входить до програми «Математичні проблеми природознавства та економіки» (номер державної реєстрації 0101U002472).

Мета і задачі дослідження. Метою роботи є порівняння асимптотичних коваріаційних матриць (АКМ) оцінок та побудова конзистентних оцінок параметрів моделей з похибками вимірювання.

Об'єкт дослідження - моделі з похибками вимірювання. Предмет дослідження - асимптотичні властивості оцінок параметрів цих моделей.

Наукова новизна одержаних результатів. У моделі пуассонівської регресії з нормальним розподілом регресора і відгуку та в нормальній моделі поліноміальної регресії зроблено порівняння АКМ статистичних оцінок параметрів регресії: оцінки, отриманої методом виправлення оціночної функції, простої структурної оцінки та структурної оцінки зважених найменших квадратів.

Доведено, що рівняння для структурної оцінки найменших квадратів у моделі пуассонівської регресії з похибками вимірювання зрештою (тобто майже напевно для достатньо великого обсягу вибірки) має рівно один розв'язок.

Запропоновано оцінку параметрів моделі у функціональній та структурній неявних поліноміальних моделях та доведено її конзистентність.

Апробація результатів. Результати дисертації доповідались та обговорювались на таких семінарах: семінарі з теорії ймовірностей та математичної статистики на фізико-математичному факультеті Національного технічного університету України «КПІ» (2002); семінарі «Асимптотичні методи в статистиці» на механіко-математичному факультеті Київського національного університету імені Тараса Шевченка (2004-2008); семінарі з економетрики та статистики в інституті статистики Мюнхенського університету (2004); семінарі в Інституті математики НАНУ (2008); семінарі в Інституті кібернетики ім. В.М. Глушкова НАНУ (2008). Результати дисертації доповідались на конференціях: Міжнародній конференції, присвяченій 90-річчю Б.В. Гнеденка (Київ, 2002); Десятій міжнародній конференції імені академіка М. Кравчука (Київ, 2004); 24-й щодворічній конференції Society for Multivariate Analysis in Behavioral Sciences (Єна, Німеччина, 2004).

Публікації. Результати дисертації викладено в 5 статтях [1-5] (з них 2 у фахових виданнях з переліку, затвердженого ВАК України, та 3 у наукових фахових журналах інших країн) та тезах 3 доповідей на конференціях [6-8]. У статті [3] результати отримано спільно з H. Schneeweiss'ом. У спільних статтях О.Г. Кукушу, H. Schneeweiss'у, S. Van Huffel належать постановка задачі та деякі результати, що не виносяться на захист. У роботі [4] І. Марковському належить побудова контрприкладів.

Структура та обсяг роботи. Дисертація складається з трьох розділів. Повний обсяг роботи складає 189 сторінок. Обсяг роботи без списку посилань та додатку складає 164 сторінки. Список посилань містить 42 назви.

Основний зміст роботи

асимптотичний коваріаційний матриця регресія

Конзистентність та порівняння ефективності оцінок параметрів явних моделей з похибками вимірювання

У першому розділі зроблено огляд літератури, наведено статистичні моделі та відомі оцінки параметрів цих моделей.

Статистична модель. Ми розглядаємо структурну модель з нормальним розподілом регресора та похибок вимірювання регресора.

Розподіл одної реалізації задається так: - регресор; ,  - відгук, - умовний розподіл відгуку при фіксованому значенні регресора; - похибка вимірювання регресора, яка не залежить від (похибка адитивна: спостерігається ). Вважаємо, що , .

Нехай є послідовність незалежних однаково розподілених реалізацій описаної моделі. Спостерігається вибірка , де .

Приклад 1.4 (пуассонівська регресія з похибками вимірювання). Регресори мають нормальний розподіл: . Умовний розподіл є розподілом Пуассона з середнім . Похибка вимірювання має нормальний розподіл та не залежить від . Спостерігаються , де .

Приклад 1.6 (поліноміальна регресія з похибками вимірювання: нормальна модель). Випадкові величини , , незалежні та мають нормальний розподіл:

,??,??.

Випадкова величина є поліноміальною функцією від степеня не вище , тобто

Спостерігаються

,??

Можна розглядати моделі з векторним регресором - такі моделі називаються множинними. Приклад 1.4 є частковим випадком більш загального прикладу 1.3.

Приклад 1.3 (пуассонівська регресія з похибками вимірювання: структурна модель - множинна або скалярна). Нехай регресори мають k-вимірний нормальний розподіл з невиродженою матрицею , а умовний розподіл - це розподіл Пуассона з середнім . Нехай похибка вимірювання має k-вимірний нормальний розподіл та не залежить від вектора . Вважаємо, що реалізації , незалежні в сукупності та однаково розподілені. Спостерігається вибірка , де . За таких умов є незалежними, однаково нормально розподіленими випадковими векторами, , де .

Ідентифіковність моделей. Показано, що в скалярній моделі пуассонівської регресії з похибкою вимірювання (приклад 1.4) параметр ідентифіковний завжди. Ця модель ідентифіковна, якщо . Множинна модель (приклад 1.3 з ) неідентифіковна.

Припущення про відомі значення параметрів. Незважаючи на те, що модель може бути ідентифіковною, коли всі параметри невідомі, ми будемо припускати, що деякі параметри відомі. Ми розглянемо такі випадки:

1. Невідомий лише параметр . Параметри , , , а також у моделі поліноміальної регресії - відомі.

2. Параметр відомий. У моделі поліноміальної регресії також відомий параметр .

3. У моделі поліноміальної регресії відомі параметри , , , невідомі , .

4. У моделі поліноміальної регресії відомий лише параметр .

Оціночні функції. Параметричний простір - це відкрита множина, що містить істинне значення параметра . Позначимо умовні математичне сподівання та дисперсію відносно :

(математичне сподівання береться, коли «істинні» значення параметрів моделі , , дорівнюють аргументам функцій та ).

Будемо розглядати елементарні оціночні функції , означені на множині , , , , , що набувають значень в . Ці функції також залежать від параметрів та , але цю залежність не будемо ніяк позначати, доки вважаємо параметр відомим (при порівнянні ефективності оцінок вважаємо параметр відомим завжди).

, (1)

умовно-незміщену (відносно ) лінійну по

, (2)

елементарну оціночну функцію структурної оцінки зважених найменших квадратів

. (3)

Тут та - векторні функції такої ж розмірності, як і .

Умови регулярності. На елементарні оціночні функції накладемо такі умови:

Формула для така:

де не залежить від . Зауважимо, що функції не залежать від .

Розглянемо оцінку найменших квадратів. Незважена оціночна функція - це , див. (4). Зважена оціночна функція дорівнює

Вивчимо випадок, коли відомі параметри

Теорема 2.13. Нехай оцінки задовольняють умови

Тоді оцінка асимптотично нормальна, з такою самою АКМ, як і у випадку, коли параметр відомий (усі параметри, окрім , також відомі). Цю АКМ оцінки можна знайти за лемою 2.7.

Тепер розглянемо випадок, коли відомий лише параметр .

Теорема 2.14. Нехай оцінки задовольняють умови

Тоді оцінка асимптотично нормальна, , де АКМ така сама, як і у випадку, коли параметри відомі. Цю АКМ можна знайти за лемою 2.9.

Конзистентність оцінки параметрів поверхні, заданої поліноміальною функцією зв'язку

У розділі 3 розглянуто клас статистичних моделей, в який входять, зокрема, поліноміальна регресія з нормальними похибками вимірювання, а також модель, в якій спостерігаються зі збуреннями точки поверхні (у двовимірному випадку - кривої) другого порядку.

Статистичні моделі. Нехай істинна поверхня задається рівнянням

де - набір з многочленів від змінних, ,

- істинне значення параметра моделі.

Функціональна модель. Невипадкові точки лежать на поверхні. Похибки вимірювання незалежні, мають однаковий d₁-вимірний нормальний розподіл: . Замість спостерігається .

Структурна модель. Точки мають однаковий d₁-вимірний розподіл і лежать на поверхні майже напевно. Похибки вимірювання мають однаковий d₁-вимірний нормальний розподіл . Випадкові елементи простору незалежні в сукупності. Замість спостерігається .

Вважаємо, що параметр відомий. Оцінюються параметри та .

Умови на модель та істинне значення параметра. Умови на набір многочленів :

1. Многочлени з набору лінійно незалежні.

2. Для всіх існує така матриця , що має місце тотожна рівність .

3. Існують такі матриці розміру , що для

Друга та третя умови рівносильні. За умови 1 матриці визначаються в умовах 2 та 3 однозначно.

Умова на параметр (умова ідентифіковності параметра ). Нехай виконуються умови на набір многочленів . Будемо вимагати виконання умови

(8)

де взято з третьої умови на набір многочленів .

Оцінка параметрів моделі. Позначимо через розв'язок задачі деконволюції

- це симетрична матриця розміру , складена з многочленів від елементів . Позначимо

В означеннях - довільне число, а не обов'язково істинне значення параметра .

Оцінка параметра визначається з рівняння

Оцінка параметра означається як власний вектор матриці , відповідний власному числу 0.

Для того, щоб та були статистичними оцінками, їх слід означати так, щоб вони були випадковими величинами (тобто вимірними). Це зробити можливо.

Загальні теореми про конзистентність. При формулюванні теорем 3.11, 3.14 і 3.15 розглядаємо структурну чи функціональну модель, таку що умови на набір многочленів виконуються, та вважаємо, що істинне значення параметра задовольняє умову (8).

Теорема 3.11 (конзистентність оцінки в структурній моделі). Припустимо, що однаковий для різних спостережень розподіл істинних точок задовольняє умови:

Тоді для оцінок та параметрів та мають місце збіжності

де «» позначає збіжність випадкових величин майже напевно.

Конзистентність оцінки у функціональній моделі.

Теорема 3.14. Припустимо, що розташування істинних точок задовольняє умови:

де позначає друге найменше власне число дійсної симетричної матриці . Тоді для оцінок параметрів мають місце збіжності

Теорема 3.15. Припустимо, що розташування істинних точок задовольняє умови:

де - оператор у просторі симетричних матриць порядку d₂ (тут - елементи матриці , а матриці D_j взято з умови на набір многочленів );

Тоді для оцінок параметрів мають місце збіжності

Приклади застосування загальних теорем: конзистентність оцінки параметрів у моделі поліноміальної регресії з похибками вимірювання та в неявній квадратичній моделі. Поліноміальна регресія. Нехай - істинні значення регресора, є поліноміальною функцією від степеня не вище k. Числа спостерігаються з похибками, тобто спостереженнями є

Похибки вимірювання незалежні, мають однаковий нормальний розподіл

У цій моделі

оцінки параметрів - це елементи власного вектора матриці , відповідного власному числу 0 та нормованого так, щоб найперший елемент дорівнював .

У функціональній моделі невипадкові; у структурній моделі мають невідомий, але однаковий розподіл.

Ця модель відрізняється від розглянутої раніше тим, що ми, по-перше, не вимагаємо знання розподілу регресора, а по-друге, вважаємо відомим відношення дисперсій похибок вимірювання регресора та відгуку (для самих дисперсій можна побудувати конзистентні оцінки).

У наступних твердженнях встановлено достатні умови конзистентності оцінок параметрів поліноміальної регресії.

Твердження 3.18. Розглядаємо поліноміальну регресію з похибками в змінних, функціональну модель. Нехай розташування істинних значень регресора задовольняє умови:

Нехай істинний многочлен має степінь k, тобто . Нехай коваріаційна матриця похибок діагональна, , причому ( може дорівнювати 0). Тоді оцінки параметрів сильно конзистентні.

Твердження 3.20. Розглядаємо поліноміальну регресію з похибками в змінних, структурну модель. Нехай розподіл істинних значень регресора задовольняє умови:

причому розподіл не зосереджений на жодній k-точковій множині. Нехай також виконується умова (8). Тоді оцінки параметрів сильно конзистентні.

Оцінка параметрів кривої 2-го порядку. Розглянемо таку статистичну модель: істинні невипадкові точки лежать на поверхні

та спостерігаються з похибкою вимірювання, тобто спостереженнями є . Припускаємо, що незалежні в сукупності та мають однаковий нормальний розподіл .

У цій моделі

де I₂ - одинична матриця порядку 2.

Наведемо достатні умови конзистентності оцінки в цій моделі.

Твердження 3.25. Якщо виконуються умови:

то оцінка параметра задовольняє граничне співвідношення

У дисертації розглянуті також інші приклади моделей: суміш нормальних розподілів з однаковою дисперсією, дробово-лінійну регресію, збурення точок, що лежать на колі.

Висновки

Основні результати дисертації:

Доведено, що зрештою рівняння для структурної оцінки найменших квадратів для векторного параметра пуассонівської регресії з похибками вимірювання має лише один розв'язок.

У моделях пуассонівської регресії та поліноміальної регресії з нормальним розподілом регресора та похибок вимірювання порівняно асимптотичні коваріаційні матриці таких трьох оцінок параметра регресії: а) оцінки, отриманої методом виправлення оціночної функції; б) простої структурної оцінки (в моделі поліноміальної регресії - структурної оцінки незважених найменших квадратів); в) структурної оцінки зважених найменших квадратів. Порівняння здійснене як у випадку, коли параметри розподілу регресора відомі, так і у випадку, коли вони попередньо консистентний оцінюються (параметри розподілу похибки вимірювання регресора завжди вважаємо відомими). При цьому з трьох оцінок оцінка в) є найбільш ефективною (в сенсі порядку Левнера (Loewner) асимптотичних коваріаційних матриць), оцінка б) є менш ефективною і оцінка а) - найменш ефективною.

Розглянуто клас моделей, в яких спостерігаються з нормально розподіленою похибкою точки, що лежать на поверхні, яка задається поліноміальною функцією зв'язку (оцінюються коефіцієнти полінома). До цього класу належить поліноміальна регресія з похибками вимірювання. Побудовано оцінку параметрів моделі та знайдено достатні умови її сильної конзистентності. У випадку поліноміальної регресії з усіх параметрів моделі вважається відомим лише відношення дисперсій похибок вимірювання відгуку та регресора.

Роботи автора за темою дисертації

1. Shklayr S. A comparison of asymptotic covariance matrices of three consistent estimators in the Poisson regression model with measurement errors / S. Shklyar, H. Schneeweiss // J. Multivariate Anal. - 2005. - Vol. 94, issue 2. - P. 250-270.

2. Шкляр С. Порівняння оцінок в моделі пуассонівської регресії з похибками вимірювання / С. Шкляр // Вісник Київського університету. Серія: фізико-математичні науки. - 2006. - №3. - С. 60-67.

3. Shklayr S. Quasi score is more efficient than corrected score in a polynomial measurement error model / Sergiy Shklyar, Hans Schneeweiss, Alexander Kukush // Metrika. - 2007. - Vol. 65, No. 3. - P. 275-295.

4. Shklayr S. On the conic section fitting problem / Sergiy Shklyar, Alexander Kukush, Ivan Markovsky, Sabine Van Huffel // J. Multivariate Anal. - 2007. - Vol. 98, issue 3. - P. 588-624.

5. Шкляр С. Конзистентність оцінки параметрів поліноміальної регресії при відомому відношенні дисперсій похибок вимірювання регресора та відгуку / С.В. Шкляр // Теорія ймовір. та матем. статист. - 2007. - Вип. 76. - С. 160-175.

6. Shklayr S. A comparison of ACM of three estimators in Poisson measurement error model / S.V. Shklyar // International Gnedenko conference: abstracts, Kyiv, June 3-7 2002. - [Київ]: Kyiv national Taras Shevchenko university [etc.], 2002. - P. 102.

7. Шкляр С. Порівняння асимптотичних коваріаційних матриць в структурній моделі регресії / Шкляр С.В. / 10-та наукова конференція імені акад. М. Кравчука: матеріали конференції, 13-15 травня 2004 року, Київ. - Київ: Задруга, 2004. - C. 645.

Размещено на Allbest.ru