Асимптотичні властивості simex-оцінок в моделях регресії з похибками у змінних

Размещено на http://www.allbest.ru/

КИЇВСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ

ІМЕНІ ТАРАСА ШЕВЧЕНКА

ГОНТАР Олена Борисівна

УДК 519.21

АСИМПТОТИЧНІ ВЛАСТИВОСТІ SIMEX-ОЦІНОК В МОДЕЛЯХ РЕГРЕСІЇ З ПОХИБКАМИ У ЗМІННИХ

01.01.05 - теорія ймовірностей і математична статистика

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата фізико-математичних наук

Київ - 2009

Дисертацією є рукопис.

Робота виконана на кафедрі теорії ймовірностей та математичної статистики Київського національного університету імені Тараса Шевченка.

Науковий керівник: доктор фізико-математичних наук, професор КУКУШ Олександр Георгійович, Київський національний університет імені Тараса Шевченка, професор кафедри математичного аналізу.

Офіційні опоненти:

доктор фізико-математичних наук, старший науковий співробітник ГАСАНЕНКО Віталій Олексійович, Інститут математики НАН України, провідний науковий співробітник;

кандидат фізико-математичних наук, доцент КЛЮШИН Дмитро Анатолійович, Київський національний університет імені Тараса Шевченка, доцент кафедри обчислювальної математики.

Захист відбудеться “16” березня 2009р. о 14 годині на засіданні спеціалізованої вченої ради Д.26.001.37 у Київському національному університеті імені Тараса Шевченка за адресою: 03022, м.Київ-22, просп. Академіка Глушкова, 2, корпус 7, механіко-математичний факультет.

З дисертацією можна ознайомитися в науковій бібліотеці Київського національного університету імені Тараса Шевченка (01033, м. Київ, вул. Володимирська, 58).

Автореферат розісланий “12” лютого 2009р.

Вчений секретар спеціалізованої вченої ради Моклячук М.П.



ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Останнім часом активно досліджуються моделі регресії з похибками у змінних. Вони застосовуються в економетриці та при аналізі біометричної інформації. Дж. Кук та Л.А. Стефанскі у 1994 році запропонували Simex-оцінку в подібних нелінійних моделях з похибками у змінних.

Цей метод є ефективним у складних моделях із простою структурою похибки вимірювання. Чисельне моделювання показує, що ця оцінка із квадратичною екстраполяційною функцією для малих та середніх вибірок поводиться краще, ніж відомі конзистентні оцінки.

У працях Дж. Польцель та С. Цванціг2, Р. Керролла3, Г. Кюхенхоффа4 та ін. розглядається поведінка Simex-оцінки у лінійних та нелінійних моделях регресії. Показано, що у лінійному випадку оцінка асимптотично схожа на відомі конзистентні оцінки, доведено асимптотичну нормальність у нелінійній моделі при певних припущеннях. Також Г. Кюхенхофф5 запропонував застосовувати метод Simex-оцінювання у задачах з помилкою класифікації.

Актуальним є дослідження конзистентності Simex-оцінки у цих моделях. Важливим є також теоретичне обгрунтування того факту, що поліноміальна екстраполяційна функція при побудові Simex-оцінки забезпечує гарні чисельні результати для малих та середніх вибірок.

Ці питання і досліджувались у даній дисертаційній роботі.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконана в рамках держбюджетної дослідницької теми № 06БФ038-03 “Аналітичні та стохастичні методи дослідження динамічних систем”, яка входить до програми “Математичні проблеми природознавства та економіки” (номер державної реєстрації № 0101U002472).

Мета і завдання дослідження. Об'єктом дослідження є моделі регресії з похибками у змінних. Предметом дослідження є Simex-оцінка в цих моделях. Метою дослідження є вивчення асимптотичної поведінки Simex-оцінок у моделях регресії з похибками у змінних.

Основні задачі дослідження:

вивчення асимптотичної поведінки модифікацій Simex-оцінки для лінійної структурної моделі з похибками у змінних - у випадках як відомої, так і невідомої дисперсії похибок вимірювання;

знаходження асимптотичної коваріаційної матриці Simex-оцінки в обох випадках. Дослідження асимптотичних властивостей Simex-оцінки в неявній лінійній структурній моделі з похибками у змінних;

вивчення асимптотичної поведінки Simex-оцінки в поліноміальній моделі регресії з похибками у змінних, побудова екстраполяційної функції, яка б забезпечувала конзистентність Simex-оцінки. Побудова модифікованої Simex-оцінки, яка б зберігала асимптотичні властивості і при цьому показувала кращі чисельні результати для малих вибірок;

дослідження асимптотичних властивостей Simex-оцінки в нелінійних моделях з похибками у змінних, побудова Simex-оцінок для експоненційних моделей з похибками у змінних, у моделях середнього та дисперсії, для задачі помилкової класифікації.

Методика дослідження. У дисертаційній роботі для розв'язання сформульованих задач використовуються результати і методи теорії ймовірностей, математичної статистики (а саме, теорії оціночних рівнянь) та математичного аналізу.

Наукова новизна одержаних результатів. Основними результатами, які визначають наукову новизну і виносяться на захист, є такі:

Доведено, що в лінійних моделях при певному виборі функції екстраполяції Simex-оцінка є конзистентною та асимптотично еквівалентною у сильному сенсі оцінці методу повних найменших квадратів при невідомій дисперсії похибок вимірювання, тобто різниця оцінок прямує до нуля майже напевно. Показано асимптотичну нормальність Simex-оцінки як у випадку відомої, так і у випадку невідомої дисперсії похибок вимірювання та знайдено явний вигляд асимптотичних коваріаційних матриць.

Доведено конзистентність Symex-оцінки - модифікації Simex-оцінки для неявної лінійної моделі регресії - у випадку рівності дисперсії похибок у відгуку і у регресорах.

Доведено, що при певному виборі функції екстраполяції Simex-оцінка буде конзистентною у поліноміальній моделі регресії з похибками у змінних. При виборі функції екстраполяції використовуються спостережувані змінні. Запропоновано також модифікацію Simex-оцінки для малих вибірок, яка зберігає асимптотичні властивості оцінки.

Показано, що в нелінійній моделі регресії з похибками у змінних асимптотичним відхиленням Simex-оцінки від істинного значення невідомого параметра можна знехтувати у порівнянні з дисперсією похибки вимірювання, в той час як відхилення наївної оцінки від істинного значення параметра є асимптотично пропорційним до дисперсії похибки вимірювання. Подібні результати отримано і в задачі помилкової класифікації.

Практичне значення одержаних результатів. Отримані в дисертаційній роботі результати мають теоретичне спрямування та є внеском у теорію моделей регресії з похибками у змінних. Вони можуть знайти практичне застосування в задачах економетрики та при аналізі біометричної інформації.

Особистий внесок здобувача. Усі результати дисертаційної роботи отримані здобувачем самостійно. За результатами дисертації опубліковано три роботи у фахових журналах. Робота [1] написана без співавторів. У роботі [3] професору Гельмуту Кюхенхоффу належить лише постановка задачі. А.Маленко брав активну участь в обговоренні результатів [2] та запропонував застосовувати поліноми Ерміта у цій задачі. У роботах [2], [3] усі формулювання теорем і доведення належать здобувачу.

Апробація результатів. Результати дисертаційного дослідження доповідалися й обговорювалися на таких конференціях та наукових семінарах:

Міжнародна наукова конференція “Сучасні проблеми теорії ймовірностей та перспективи її розвитку” (Чернівці, 2005);

Міжнародна наукова конференція “Сучасна стохастика: теорія і застосування”, присвяченій пам'яті професора М.Й. Ядренка (Київ, 2006);

Одинадцята міжнародна наукова конференція імені академіка М.Кравчука (Київ, 2006);

Міжнародна наукова конференція “Простір Скорохода. 50 років потому” (Київ, 2007);

VI Міжнародна науково-практична конференція студентів, аспірантів та молодих вчених “Шевченківська весна” (Київ, 2008);

Дванадцята міжнародна наукова конференція імені академіка М. Кравчука (Київ, 2008);

науковий семінар в Київському національному університеті імені Тараса Шевченка “Асимптотичні методи в статистиці” під керівництвом О.Г. Кукуша та Р.Є. Майбороди (Київ, 2006-2008);

науковий семінар з теорії ймовірностей та математичної статистики при кафедрі теорії ймовірностей та математичної статистики механіко-математичного факультету Київського національного університету імені Тараса Шевченка (Київ, 2007);

науковий семінар при відділі теорії випадкових процесів Інституту математики НАН України; (Київ, 2008);

Публікації. За результатами дисертаційної роботи опубліковано 9 наукових праць [1] - [9]. З них три статті [1] - [3] в фахових виданнях з переліку, затвердженого ВАК України, та шість тез доповідей [4] - [9] на міжнародних конференціях.

Структура та обсяг роботи. Дисертація складається зі вступу, чотирьох розділів, розбитих на підрозділи, висновків, одного додатку та списку використаних джерел, який містить 45 найменуваннь. Повний обсяг роботи становить 123 сторінки.



ОСНОВНИЙ ЗМІСТ РОБОТИ

модель оцінка модифікація дисперсія

У вступі обґрунтовано актуальність дисертаційної роботи, визначено мету і задачі дослідження, висвітлено наукову новизну, теоретичне та практичне значення отриманих результатів, особистий внесок здобувача, апробацію отриманих результатів.

Перший розділ містить огляд літератури за тематикою даної роботи та спорідненими питаннями. Коротко, ідея побудови Simex-оцінки полягає в тому, що природу впливу похибок у регресорах можна дослідити певним моделюванням, а потім позбутись цього впливу. Так, до регресорів додаються величини із відомою дисперсією, а для оцінювання використовуються "наївні" оцінки, які фактично нехтують наявністю похибки вимірювання регресора. Вплив додаткової дисперсії описується параметричною моделлю, a потім за допомогою екстраполяції позбуваються впливу похибок у змінних.

Опишемо побудову Simex-оцінки більш детально. Розглянемо модель регресії з відгуком і -вимірним регресором. Вважаємо, що регресор не спостерігається, натомість спостерігається. Доданок - це -вимірна похибка вимірювання. У дисертації розглядається структурний випадок, тобто є незалежними і однаково розподіленими копіями вектора Усі вектори в дисертації вважаються векторами-стовпчиками. Задача полягає в оцінюванні невідомого векторного параметра, що описує сумісний розподіл.

Припускається також, що якщо випадкові величини спостережувані, то можна конзистентно оцінити параметр, розв'язавши відносно оціночне рівняння.

Тут - борелева вектор-функція зі значеннями в. Оцінка, що отримується з аналогічного оціночного рівняння, не беручи до уваги похибки вимірювання, називається наївною оцінкою, тобто наївна оцінка є розв'язком рівняння

Будемо позначати наївну оцінку через. Зауважимо, що прямої функціональної залежності наївної оцінки від немає, таким позначенням ми підкреслюємо, що при побудові оцінки використані регресори з дисперсією похибки вимірювання. Наївні оцінки використовуються для побудови Simex-оцінки на етапі моделювання. На етапі екстраполяції здійснюється зменшення відхилення, що виникає завдяки наявності похибки вимірювання. Два етапи побудови Simex-оцінки виглядають так.

Моделювання. Нехай Для всіх, де - число допоміжних вибірок, генерується набір стандартних нормально розподілених випадкових величин. Для кожного з до регресорів додаються додаткові похибки вимірювання: Використовуючи замість в рівнянні (1) і усереднюючи по розв'язки рівняння, будується множина осереднених наївних оцінок.

Екстраполяція. Нехай обрано параметричну модель, що наближено описує залежність наївної оцінки від, а саме модель, і - це оцінка параметра методом найменших квадратів, тобто є точкою мінімуму наступного виразу, що залежить від :

Тоді Simex-оцінка означається так:

Застосовувані на практиці моделі відрізняються від справжньої моделі, яка наближає наївну оцінку. Але навіть і для таких моделей Simex-оцінка показує кращі чисельні результати для малих і середніх вибірок у порівнянні з часто вживаною конзистентною оцінкою "виправленої" оціночної функції.

Другий, третій та четвертий розділи дисертаційного дослідження присвячені вивченню асимптотичних властивостей Simex-оцінок у лінійних, поліноміальних та нелінійних моделях регресії з похибками у змінних.

У другому розділі вивчається Simex-оцінка у лінійній моделі регресії з похибками у змінних. Розглядаються три модифікації Simex-оцінки.

1. Simex (Ordinary Simex): Simex-оцінка будується, коли є відомим значення дисперсії похибок у змінних. Саме ця величина і визначає крок екстраполяції.

2. Asimex (Adaptive Simex): Asimex-оцінка використовує замість невідомого значення дисперсії похибок у змінних її оцінку.

3. Symex (Symetrical Simex): Symex-оцінка застосовується до неявної моделі, в яку всі змінні входять симетрично.

Важливою особливістю цих модифікацій є те, що функція екстраполяції будується із використанням спостережуваних змінних, що в результаті і забезпечує конзистентність цих оцінок.

Досліджувана лінійна модель регресії з похибками у змінних описується так:

де та - це величини, що спостерігаються, а - параметр, що оцінюється. Приховані змінні - це незалежні, однаково розподілені випадкові вектори. Невідоме математичне сподівання вектора позначимо через та припустимо, що коваріаційна матриця має наступну структуру:, де - невідома додатна величина, - одинична матриця розміру p. Похибки та - незалежні випадкові величини та вектори з нульовим математичним сподіванням та сукупною кореляційною матрицею де - додатні величини. Величина невідома, а величина може бути як відомою, так і невідомою. Похибки та не залежать від .

Для довільного векторного набору позначимо і для довільних наборів та, позначатимемо

Нехай Якщо матриця невироджена, тоді наївну оцінку невідомого параметра можна подати у вигляді У моделі з похибками у змінних ця оцінка не буде конзистентною. Добре відомими конзистентними оцінками в такій моделі є оцінка методу моментів та оцінка методу повних найменших квадратів Ці оцінки визначені, якщо відповідні матриці невироджені. Можна показати, що при необтяжливих умовах матриці та є невиродженими при всіх з імовірністю 1.

Simex-оцінка у другому розділі будується, коли відоме значення дисперсії похибок у змінних. Вважається, що наївна оцінка залежить від наступним чином:

Покладаємо

де - це оцінка методу найменших квадратів.

Теорема 2.3. Нехай значення відоме. У моделі (2) оцінка є строго конзистентною і асимптотично нормальною з коваріаційною матрицею граничного розподілу є асимптотичною коваріаційною матрицею оцінки методу моментів у цій моделі.

Модифікація Simex-оцінки - Asimex-оцінка - будується у випадку невідомої дисперсії похибок вимірювання регресорів. Вважається, що наївна оцінка залежить від наступним чином:

Параметр шукається методом найменших квадратів.

Покладаємо

Теорема 2.4. a) Нехай у моделі (2) має місце рівність дисперсій похибок та . Тоді оцінка є строго конзистентною і асимптотично нормальною з коваріаційною матрицею граничного розподілу

б) Без вимоги рівності похибок та виконується:

тобто оцінки та асимптотично еквівалентні у сильному сенсі.

Тут і надалі через будемо позначати збіжність послідовності векторів з імовірністю 1.

Інша модифікація Simex-оцінки - Symex-оцінка - будується для неявної лінійної моделі. Модель (2) можна переписати у вигляді неявної моделі, а саме:

Нехай усі коефіцієнти лінійної регресії відмінні від 0, тобто при побудові Symex-оцінки використовується симетричність моделі (3). У дисертації доведено, що Symex-оцінка є строго конзистентною у випадку

Крім теоретичного дослідження, зроблено моделювання Simex-оцінок, результати якого проілюстровані емпіричною щільністю розподілу оцінок для різних реалізацій. Для порівняння наведено аналогічну щільність для оцінки методу повних найменших квадратів. Моделювання показує, що розподіл Simex-оцінки має легші хвости, ніж розподіл оцінки методу повних найменших квадратів.

Третій розділ присвячений дослідженню Simex-оцінки у поліноміальній моделі регресії. Тут, як і в другому розділі, для побудови екстраполяційної функції використовуються спостережувані змінні, в той час як екстраполяційна функція класичної Simex-оцінки є невипадковою. Завдяки саме такому використанню спостережуваних змінних досягається конзистентність оцінки.

Розглядається наступна поліноміальна модель регресії з похибками у змінних. Для фіксованого,

Тут - три послідовності однаково розподілених випадкових величин, причому усі ці величини незалежні у сукупності. Припустимо також, що, відомі, Дисперсії величин, і вважаються додатними.

Позначимо. Тоді наївну оцінку параметра регресії визначає наступне співвідношення (якщо відповідна матриця невироджена):

Тут рискою зверху позначається осереднення за n.

Для побудови "виправленої" оцінки найменших квадратів введемо поліноми Ерміта від , для яких виконуються рекурентні співвідношення

Тут виступає в якості параметра, причому є зведеним поліномом степеня при. Нехай матриця має наступну структуру:

Нехай і Матрицю будемо називати матрицею переходу, якщо виконується рівність. Існування такої матриці випливає з означення поліномів Ерміта.

Через позначимо матрицю і через вектор

За допомогою введених позначень оцінка означається як розв'язок лінійного рівняння:

Для кожного означимо матрицю. Тоді екстраполяційну функцію в цій моделі означимо наступним чином:

Параметр оцінюється за допомогою методу найменших квадратів:

Означимо Simex-оцінку для поліноміальної моделі регресії з похибками в змінних наступним чином:

Теорема 3.1. Для моделі (4) Simex-оцінка є строго конзистентною, тобто виконується

Оцінка є розв'язком рівняння

Оскільки, то звідси випливає, що дана матриця буде додатно визначеною при з ймовірністю 1. Проте для малих вибірок може не бути додатно визначеною, і це може призвести до значних відхилень Simex-оцінки від істинного значення параметра. Ми хочемо побудувати таку модифікацію Simex-оцінки, яка б зберігала асимптотичні властивості оцінки і при цьому не призводила до відхилень при малих обсягах вибірки.

Розглянемо наступну матрицю:

Осереднивши за n, отримаємо

Використовуючи це співвідношення, оціночне рівняння (5) можна переписати у вигляді

Означимо як найменший додатний корінь рівняння де

Припустимо, що A - додатно визначена матриця. Модифіковану Simex-оцінку будемо шукати як розв'язок рівняння

Тут означається наступним чином: з деяким фіксованим, яке вибирається так, щоб результуюча оцінка мала кращі властивості для малих вибірок.

Теорема 3.3. Для моделі (4) модифікована оцінка асимптотично еквівалентна звичайній (немодифікованій) оцінці, тобто

У четвертому розділі Simex-оцінка розглядається для нелінійної структурної моделі з похибками у змінних. Пропонується Simex-оцінка з поліноміальною екстраполяційною функцією. Розклад Simex-оцінки базується на асимптотичному розкладі наївної оцінки для малих похибок вимірювання. Показано, що асимптотичним відхиленням Simex-оцінки від істинного значення невідомого параметра можна знехтувати у порівнянні з дисперсією похибки вимірювання, в той час як відхилення наївної оцінки від істинного значення параметра є асимптотично пропорційним до дисперсії похибки вимірювання.

Припускається, що незалежні однаково розподілені випадкові вектори і для всіх виконується. Вважається також, що регресори вимірюються з похибкою і спостерігаються, тоді як є прихованими змінними і не спостерігаються. Тут, і - відоме. Відгуки - скалярні змінні. Змінні незалежні у сукупності.

Припустимо, що - це істинне значення параметра , де опуклий компакт в. Функція - вектор-функція, що є достатньо гладкою, де U - деяка відкрита множина в, що містить . Наївна оцінка є розв'язком наступного оціночного рівняння:

Припустимо, що на області визначення виконується і для похідних також, де - додатні сталі. Тут під мається на увазі похідна функції по . Позначимо. Тоді

У рівності (6) дозволимо набувати і від'ємних значень або дорівнювати . При цьому, оскільки розподіли і однакові.

Нехай виконуються всі вищевказані припущення про модель. Наступна теорема дає можливість розкласти наївну оцінку відносно дисперсії похибки вимірювання.

Теорема 4.1. Нехай виконуються наступні умови.

1. Функція, де - відкрита.

2. Для функції існує єдиний розв'язок рівняння на компакті .

3. Матриця є невиродженою.

Тоді існує таке, що для всіх рівняння має єдиний розв'язок в , більше того, функція є парною функцією від.

Теорема дозволяє отримати розклад наївної оцінки.

Означення. Послідовність випадкових величин будемо позначати через , якщо вона збігається до нуля з імовірністю 1.

Теорема 4.2. Нехай виконуються умови 2 та 3 теореми 4.1, і для фіксованого виконується наступне.

1. Оціночна функція (тут гладкість вимагається по і ), де відкрита.

2. Для довільної частинної похідної порядку по компонентах та компонентах , де - додатні сталі.

Тоді існує таке, що для всіх

Це означає, що спочатку в (7) майже напевно і отримана границя оцінки дорівнює, а потім і отримується асимптотичний розклад (8) для функції.

У четвертому розділі, на відміну від двох попередніх, екстраполяційна функція обирається невипадковою. Таким чином, означення Simex-оцінки є загальноприйнятим.

Будемо наближати справжню залежність -тої координати наївної оцінки від поліноміальним законом де - фіксоване. За екстрполяційну функцію візьмемо. Невідомий параметр оцінюється методом найменших квадратів:

Simex-оцінка означається як

Теорема 4.4. Нехай виконані умови теореми 4.2 та. Тоді справедливий наступний розклад:

де Теорему 4.4 можна застосувати і до експоненційної моделі регресії з похибками у змінних. Розглянемо регресійну модель, що описується умовним розподілом за умови з невідомим векторним параметром. Нехай цей розподіл описується щільністю відносно деякої скінченої міри на борелевій алгебрі в

де ? векторний параметр регресії, а ? додатний параметр розсіяння, і та ? відомі функції.

Функція є достатньо гладкою, і. Припустимо, що - справжнє значення параметра, де - опуклий компакт в, і, - справжнє значення параметра. Однак ми не спостерігаємо, а натомість спостерігаємо , що відрізняється від прихованої змінної на похибку вимірювання, яка є незалежною від та. Ми припускаємо, що, і відоме. Оціночна функція у цій моделі має вигляд

Якщо параметр розсіяння відомий, тоді друга компонента (10) опускається.

Наслідок 4.1. Розглянемо модель (9). Нехай наступні умови виконуються для фіксованого .

* Функція і для всіх похідна для деяких додатних сталих.

* Функція (тут гладкість вимагається лише за змінною ), і для всіх будь-яка частинна похідна порядку по компонентах експоненційно обмежена, тобто для деяких додатних сталих.

* Умова ідентифікованості для моделі без похибок у змінних: рівняння де, має єдиний розв'язок.

* Матриця невироджена, і для всіх і для деяких додатних сталих і виконується нерівність.

Тоді для кожного має місце розклад Simex-оцінки з поліноміальною екстраполяційною функцією: де Якщо оцінюється також і , тоді Теорему 4.4 можна також застосувати для побудови Simex-оцінки в моделі середнього і дисперсії. Нехай зв'язок між скалярним відгуком та регресором описується умовним математичним сподіванням та умовною дисперсією:

де скалярний параметр розсіяння. Модель (11) - це модель середнього та дисперсії. Нехай також для всіх. Припустимо, що справжнє значення параметра, де - опуклий компакт в і, - справжнє значення параметра. За припущенням регресори - незалежні однаково розподілені випадкові вектори і для всіх.

Ми не спостерігаємо, а натомість спостерігаємо, яке дорівнює.

Припустимо, що і відомі. Введемо новий параметр і позначимо його справжнє значення через. Оціночна функція у цій моделі має вигляд

Якщо параметр розсіяння відомий, тоді друга компонента (12) опускається.

Наслідок 4.2. Нехай для моделі (11) виконуються наступні умови при фіксованому.

* Функція і для всіх будь-яка частинна похідна по порядку задовольняє нерівність для деяких додатних сталих.

* Функція, і для всіх будь-яка частинна похідна порядку по задовольняє для деяких додатних сталих, та і для деяких додатних сталих.

* Виконується умова ідентифікованості для моделі без похибок у змінних: система рівнянь має єдиний розв'язок.

* Матриця є невиродженою і.

Тоді для має місце розклад Simex-оцінки з поліноміальною екстраполяційною функцією:

Ідею Simex-оцінки, що полягає у дослідженні взаємозв'язку між відхиленням оцінки невідомого параметра і величиною похибки вимірювання, можна адаптувати до випадку помилкової класифікацї; аналог Simex-оцінки у цьому випадку має назву MC-Simex. Помилки у класифікації характеризуються матрицею міскласифікації. Перевагою MC-Simex підходу є відсутність умов на розподіли змінних, що помилково класифіковані.

Розглянемо модель регресії із відгуком та дискретним регресором . Нехай - регресор, який помилково класифікується, - спостережувана змінна. Процес помилкової класифікації описується за допомогою матриці міскласифікації з елементами.

У дисертації розглядається лише випадок бінарної помилкової класифікації, тобто регресор може набувати лише значень { 1}, а матриця є матрицею. Позначимо невідомий параметр через , а його істинне значення через . Як і раніше, якщо похибка (а в даному випадку наявність помилкової класифікації) ігнорується при побудові оцінки, то отримана оцінка називається наївною. Позначимо через границю наївної оцінки майже напевно, коли обсяг вибірки прямує до нескінченості. Припустимо також, що, тобто це означає, що у випадку відсутності помилки у класифікації оцінка є конзистентною.

Для бінарного регресора граничне значення наївної оцінки буде залежати від та, тобто матриця міскласифікації виглядає наступним чином:

При побудові MC-Simex використовується, де - діагональна матриця з власних значень матриці , а матриця - матриця, що складається з відповідних власних векторів матриці . У випадку бінарного регресора матрицю можна записати явно:

де. У даному випадку для існування матриці достатньо, щоб . Це виконується, наприклад, коли . Це означає, що імовірність правильної класифікації для кожного значення є більшою, ніж імовірність неправильної класифікації.

Основна ідея MC-Simex полягає у додаванні додаткової помилкової класифікації до уже класифікованого з помилкою регресора. Будемо вважати, що якщо отримано з за допомогою помилкової класифікації, що описується матрицею, а отримано з за допомогою помилкової класифікації, що описується матрицею, то матриця, що описує помилку класифікацію між та, буде, якщо обидва механізми помилкової класифікації є незалежними.

Процес побудови MC-Simex складається з двох кроків:

Генерування допоміжних вибірок. Для фіксованого набору генерується нових псевдовибірок (тут - фіксоване велике натуральне число) за правилом:

де операція позначає генерування змінної, що буде пов'язана з за допомогою матриці міскласифікації. Далі регресори заміняємо на, і для кожного набору псевдовибірок будується множина наївних оцінок, які осереднюються за . Позначимо осереднену оцінку через

Екстраполяція. Для екстраполяції використовується функція, що наближено дорівнює граничному значенню наївної оцінки. Параметр оцінюється за допомогою методу найменших квадратів на основі пар. Отриману в результаті оцінку параметра позначимо через . Оцінка MC-Simex означається за допомогою функції:

Нехай істинне значення невідомого параметра є внутрішньою точкою деякого компакту . Вважаємо, що при відсутності помилки класифікації оцінка параметра може бути отримана як розв'язок оціночного рівняння

Наївна оцінка із матрицею міскласифікації знаходиться як розв'язок оціночного рівняння

Відповідно, граничне значення наївної оцінки буде розв'язком рівняння

Аналогічно граничне значення наївної оцінки з матрицею міскласифікації буде розв'язком рівняння

Надалі розглянемо побудовану функцію. Нас цікавить поведінка цієї функції для з околу одиничного вектора:.

Теорема 4.5. Нехай виконуються припущення про модель, та U - відкрита множина із. Припустимо, що виконуються наступні умови.

1. Функція, де - фіксоване.

2. Оператор - невироджений на.

3. Рівняння має єдиний розв'язок на компакті. Цей розв'язок дорівнює .

Тоді існує число і єдине відображення, яке є розв'язком рівняння і задовольняє умови:

Теорема 4.6. Нехай виконуються умови 2 та 3 теореми 4.5 і для фіксованого виконується наступне.

1. Оціночна функція, де відкрита.

2. Для довільної частинної похідної порядку по компонентах виконується де - додатні сталі.

3. Для довільної сталої виконується.

Тоді існує таке, що для всіх стохастичних матриць

Виберемо на роль екстраполяційної функції для MC-Simex-оцінки наступну модель залежності для кожної координати:

де вектор. Оцінку MC-Simex отримуємо так:

Теорема 4.7. При виконанні теореми 4.6 та умови має місце розклад

(Тут спочатку майже напевно, а потім).



ВИСНОВКИ

Дисертаційна робота присвячена вивченню асимптотичної поведінки Simex-оцінки у моделях регресії з похибками у змінних. Зокрема, розглянуто лінійну, поліноміальну та загальну нелінійну моделі регресії.

У дисертаційній роботі розглянуто три модифікації методу Simex для лінійної структурної моделі регресії з похибками у змінних. Показано, що ці оцінки є близькими до відомих конзистентних оцінок, доведено конзистентність та асимптотичну нормальність модифікацій Simex-оцінок для явної моделі регресії і доведено конзистентність модифікації Simex-оцінки для неявної моделі регресії. Результати моделювання ілюструються емпіричною щільністю розподілу оцінок.

Побудовано Simex-оцінку для поліноміальної моделі регресії з похибками у змінних. Доведено конзистентність побудованої Simex-оцінки, крім того, побудовано модифіковану оцінку так, що вона показує хороші чисельні результати для малих вибірок і не втрачає асимптотичних властивостей для великих вибірок. Результати моделювання підтверджують теоретичні викладки.

Обгрунтовано застосування поліноміальної екстраполяційної функції для побудови Simex-оцінки в загальній нелінійній моделі регресії з похибками в змінних. Ключовою ідеєю є застосування розкладу за формулою Тейлора граничних значень наївних оцінок за степенями дисперсії похибки у регресорах. Показано, що асимптотичним відхиленням Simex-оцінки від істинного значення невідомого параметра можна знехтувати у порівнянні з дисперсією похибки вимірювання, в той час як відхилення наївної оцінки від істинного значення параметра є асимптотично пропорційним до дисперсії похибки вимірювання.

Результат, отриманий для нелінійної моделі регресії, застосований до задачі помилкової класифікації бінарного регресора. Побудовано таку екстраполяційну модель, що асимптотичним відхиленням Simex-оцінки від істинного значення параметра можна знехтувати у порівнянні з нормою відхилення матриці міскласифікації від одиничної матриці.

Результати даної дисертаційної роботи можуть знайти практичне застосування в задачах економетрики і при аналізі біометричної інформації.



РОБОТИ АВТОРА ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Гонтар О.Б. Асимптотична поведінка Simex-оцінки у лінійній структурній моделі регресії з похибками у змінних / О.Б. Гонтар // Теорія ймовірностей та математична статистика. ? 2007. ? № 78. ? C.1-11.

2. Gontar O. Simex estimator for polynomial errors-in-variables model / O. Gontar, A. Malenko // Theory of Stochastic Processes. - 2007. - № 3(29), 1-2. - P. 57-65.

3. Gontar O. The expansion of simex estimator in nonlinear errors-in-variables model with small measurement errors. / O. Gontar, H. Kuechenhoff // Theory of Stochastic Processes. - 2008. - № 14(30), 1. - P. 39-48.

4. Gontar O. Asymptotic Behavior of Simex Estimators in the Linear Errors-in-variables Regression Model / O. Gontar // International Conference „Modern Problems and new Trends in Probability theory”, Chernivtsi, June 19-26, 2005: book of abstracts. 2005. - № 1. - P.55.

5. Sidelnyk O. Asymptotic Behavior of Simex Estimators in the Linear Errors-in-variables Model / O. Sidelnyk // Одинадята Міжнародна наукова конференція імені Академіка М. Кравчука, Київ, 18-20 травня, 2006: матеріали конференції. - 2006. - С. 593

6. Sidelnyk O. Consistency of Simex estimators in polynomial errors-in-variables model / O. Sidelnyk // International Conference „Modern Stochastics: Theory and Applications” Kyiv, June 19-23, 2006: book of abstracts. 2006. - P. 241-242.

7. Gontar O. Expansion of Simex estimator in nonlinear regression model with small measurement errors / O. Gontar // Skorokhod Space. 50 years оn. International conference, Kyiv, June 17-23, 2007: book of abstracts. - 2007. - №2(7-8). - P. 115-116.

8. Gontar O.B. Simex estimators in misclassification regression problem / O.B. Gontar // Дванадцята Міжнародна наукова конференція імені Академіка М. Кравчука, Київ, 15-17 травня, 2008: матеріали конференції. - 2008. - С. 46

9. Gontar O. Simex estimator in nonlinear errors-in-variables model / O. Gontar // Міжнародна науково-практична конференції „Шевченківська весна”. Київ, 20-23 березня, 2008: матеріали конференції вип. VІ: у 4-х част. - 2008. - Ч.2. - С. 121-122.



АНОТАЦІЯ

Гонтар О.Б. Асимптотичні властивості Simex-оцінок в моделях регресії з похибками у змінних. ? Рукопис.

Дисертація на здобуття наукового ступеня кандидата фізико-математичних наук за спеціальністю 01.01.05 ? теорія ймовірностей і математична статистика. ? Київський національний університет імені Тараса Шевченка, Київ, 2009.

Розглянуто лінійну, поліноміальну та загальну нелінійну моделі регресії.

Показано, що в лінійних моделях при певному виборі функції екстраполяції Simex-оцінка є конзистентною та асимптотично еквівалентною

(у сильному сенсі) до оцінки методу повних найменших квадратів при невідомій дисперсії похибок вимірювання. Також показано асимптотичну нормальність Simex-оцінки як у випадку відомої, так і у випадку невідомої дисперсії похибок вимірюваня та знайдено явний вигляд асимптотичних коваріаційних матриць.

У дисертації доведено, що при певному виборі функції екстраполяції Simex-оцінка для поліноміальної моделі регресії з похибками в змінних буде конзистентною. Запропоновано модифікацію Simex-оцінки для малих вибірок, яка зберігає асимптотичні властивості оцінки.

Показано, що в нелінійній моделі регресії з похибками у змінних асимптотичним відхиленням Simex-оцінки від істинного значення невідомого параметра можна знехтувати у порівнянні з дисперсією похибки вимірювання, в той час як відхилення наївної оцінки від істинного значення параметра є асимптотично пропорційним до дисперсії похибки вимірювання. Подібні результати отримані і для задачі помилкової класифікації.

Ключові слова: Simex-оцінка, моделі регресії з похибками у змінних, оціночні рівняння.



АННОТАЦИЯ

Гонтарь Е.Б. Асимптотические свойства Simex-оценок в моделях регрессии с ошибками в переменных. ? Рукопись.

Диссертация на соискание ученой степени кандидата физико-математических наук по специальности 01.01.05 ? теория вероятностей и математическая статистика. ? Киевский национальный университет имени Тараса Шевченко, Киев, 2009.

В последнее время активно исследуются модели регрессии с ошибками в переменных. В дисcертации рассматривается асимптотическое поведение Simex-оценки в моделях регрессии c ошибками в переменных. Этот метод оценивания эффективен в сложных моделях с простой структурой ошибки измерения. Рассматриваются линейная, полиномиальная и общая нелинейная модели регрессии.

Показано, что в линейных моделях при некотором выборе функции экстраполяции Simex-оценка будет состоятельной и асимптотически эквивалентной (в сильном смысле) оценке метода полных наименьших квадратов при неизвестной дисперсии ошибок измерения. Также показана асимптотическая нормальность Simex-оценки как в случае известной, так и в случае неизвестной дисперсии ошибок измерения и получен явный вид асимптотических ковариационных матриц.

Рассмотрен также случай неявной линейной модели регрессии с ошибками в переменных и доказана состоятельность Simex-оценки при условии равности дисперсий ошибок отзыва и регрессора.

В диссертации доказано, что при определенном выборе функции экстраполяции Simex-оценка для полиномиальной модели регрессии с ошибками в переменных будет состоятельной. Предложена также модификация Simex-оценки для малых выборок, которая сохраняет асимптотические свойства оценки.

Для линейной и полиномиальной моделей регрессии при построении Simex-оценки использовались функции экстраполяции, которые зависят от наблюдаемых переменных. Именно эта зависимость делает Simex-оценку в этих моделях состоятельной.

Исследовалось и асимптотическое поведение Simex-оценки в нелинейной модели регрессии с ошибками в переменных. Показано, что асимптотическим отклонением Simex-оценки от истинного значения неизвестного параметра можно пренебречь по сравнению с дисперсией ошибки измерения, в то же время отклонение наивной оценки от истинного значения параметра асимптотически пропорционально дисперсии ошибки измерения. Этот результат применен к экспоненциальной модели регрессии с ошибками в переменных, а также к модели среднего и дисперсии.

Сходные результаты получены и для задачи ошибочной классификации.

Ключевые слова: Simex-оценка, модели регрессии с ошибками в переменных, оценочные уравнения.



ANNOTATION

Gontar O.B. Asymptotic behavior of Simex-estimator in errors-in-variables regression models. ? Manuscript.

The thesis for obtaining the Candidate of Physical and Mathematical Sciences degree on the specialty 01.01.05 ? Probability Theory and Mathematical Statistics. ? Kyiv National Taras Shevchenko University, Kyiv, 2009.

Linear, polynomial, and general nonlinear regression models are considered.

It is shown that with some extrapolation function, Simex-estimator in linear models is consistent and asymptotically equivalent to the Total Least Squares estimator in case of uknown measurement error variance. Asymptotic normality of Simex-estimator in linear errors-in-variables model is proved and explicit form of asymptotical covariance matrix is obtained.

The consistency of Simex-estimator in case of certain extrapolation function for polynomial errors-in-variables regression model is shown. The modification of Simex-estimator for small samples is proposed. This modification has good numerical perfomance for small samples and preserves asymptotic properties of unmodified estimator.

The asymptotic behavior of Simex-estimator in general nonlinear errors-in-variables regression models is considered. It is shown that asymptotic deviation of Simex-estimator is negligible compared to the measurement error variance, meanwhile the asymptotical deviation of naive estimator is proportional to the variance. Similar results are obtained for the misclassification problem.

Key words: Simex-estimator, errors-in-variables regression model, estimating equations.

Размещено на Allbest.ru

...