Размещено на http://www.allbest.ru/

Міністерство освіти і науки, молоді та спорту України

Національний технічний університет України

"Київський політехнічний інститут"

Методичні вказівки до комп'ютерного практикуму

АНАЛІЗ ДАНИХ ТА СТАТИСТИЧНА ОБРОБКА СИГНАЛІВ

для студентів Фізико-технічного інституту НТУУ “КПІ”

спеціальності: 8.080201 - прикладна математика

Архипов О.Є., Архіпова С.А.

Київ

2012

Вступ

математичний регресійний тренд прогноз

Аналіз даних - сукупність дій, що здійснюються дослідником у ході вивчення та обробки даних з метою формування уявлень про основні закономірності та характеристики явищ чи процесів, які описуються цими даними. Традиційно аналіз даних сприймався як напрям математико-статистичних досліджень, представлений комплексом методів обробки результатів спостережень за об'єктом досліджень, функціонування якого описується множиною ознак, чиї значення припускають вимірювання та фіксацію. Метою обробки було встановлення прихованих причинно-наслідкових зв'язків на множині цих ознак з подальшою реконструкцією всього механізму функціонування об'єкту. Як правило, ці дослідження базувалися на моделях та методах регресійного аналізу, в повній мірі використовуючи розвинену методологічну базу регресійного підходу, зокрема численні критерії та процедури перевірки адекватності та точності моделей.

Стрімкий розвиток сучасних інформаційних технологій супроводжується суттєвими змінами як кількісних, так і якісних характеристик даних. Виникла необхідність аналізу величезних за обсягом та дуже різнопланових за походженням, способами вимірювання та форматами представлення масивів даних, що в свою чергу обумовило зміни погляду на базові концепції аналізу даних та технології їх реалізації. Пріоритетним стало створення автоматизованих засобів обробки даних, які у своїх діях орієнтовані на процедури аналізу, застосування та виконання яких раніше було притаманним лише людині або певним біологічним спільнотам. Цей новий напрям аналізу отримав назву "інтелектуальний аналіз даних", його підходи та методи вельми різноманітні, часто мають предметно- або галузево-орієнтований характер.

Метою даних методичних вказівок є знайомство з елементами "традиційних" технологій аналізу даних, реалізованих з використанням електронних таблиць Excel. Матеріал книги поділено на дві частини. Перша містить виклад теоретичних аспектів побудови математичних моделей за експериментальними даними, включаючи питання структурно-параметричної ідентифікації та верифікації моделей і описи відповідних лабораторних робіт. Друга - теоретичні засади застосування математичних моделей для прогнозу часових рядів, зокрема опис ряду методів прогнозування та відповідних лабораторних робіт.

1. Загальні відомості про моделі та проблему ідентифікації

У загальному випадку модель - це штучно створений аналог реального об'єкту (оригіналу), який певною мірою відтворює структуру, властивості та характеристики оригіналу.

Існують різні класифікації моделі залежно від ознаки, покладеної в основу класифікації. Наприклад розрізняють [6] предметні, фізичні, знакові та інші моделі. Однак серед множини моделей пріоритетне місце міцно займають математичні моделі (ММ), що пояснюється рядом їх визначальних особливостей: компактною формою представлення інформації, практичною відсутністю витрат на реалізацію, можливістю застосування математико-аналітичних методів аналізу та оптимізації, практично необмеженим ресурсом використання засобів обчислювальної техніки для потреб моделювання.

Розглянемо типову постановку задачі побудови ММ.

Маємо об'єкт дослідження (ОД), зображений на рис. 1, функціонування якого може бути описане двома групами змінних: першу з них становлять так звані вхідні, незалежні змінні або фактори, упорядкована сукупність яких утворює вектор , другу - вихідні, залежні змінні, вектор . Для подальшого спрощення задачі вважатимемо, що вихід об'єкта дослідження є скаляром, тобто .



Рис. 1. Об'єкт моделювання

Тоді під ММ об'єкта досліджень будемо розуміти формальну систему, що складається з елементів , зв'язки між якими визначаються відношенням , функція якої полягає в відтворенні невідомого відображенні , яке реалізується функціонуючим ОД. Найчастіше ММ має вигляд алгебраїчного чи диференційного рівняння, наприклад:

, (1)

системи рівнянь, сукупності логіко-математичних співвідношень.

Слід зазначити, що не обов'язково всі вхідні змінні будуть використані у виразі (1), деякі з них можуть зовсім не впливати на залежну змінну і ході побудови ММ мають бути вилучені з подальшого розгляду. Тобто фактори, що входять у праву частину рівняння (1), утворюють - вимірний вектор, для якого .

Для побудови ММ зазвичай використовують інформацію, отриману шляхом спостережень за ОД у режимі його природного функціонування (пасивний експеримент) чи в ході спеціально організованих досліджень (активний експеримент). При цьому процедуру побудови ММ за експериментальними даними, отриманими при спостереженні вхідних та вихідних змінних ОД, називають ідентифікацією об'єкта [5] .

У загальному випадку маємо наступні етапи ідентифікації:

1) визначення сукупності "суттєвих" факторів, з яких формується вектор ;

2) встановлення характеру зв'язків (відношень) між елементами ММ;

3) оцінювання значень вектору параметрів (коефіцієнтів) ММ;

4) верифікація ММ, тобто перевірка її придатності до прикладного застосування.

Сукупність елементів, що включені до складу ММ, між якими встановленні певні відношення, утворюють структуру моделі:

. (2)

Зважаючи на це, перший і другий етапи, результатом виконання яких є визначення структури ММ, часто поєднують під назвою структурна ідентифікація. Безумовно структурна ідентифікація є визначальним етапом ідентифікації в цілому. Отримані на цьому етапі негативні результати унеможливлюють позитивне рішення всієї задачі. Однак інколи структура ММ може бути визначена ще до проведення експерименту з ОД шляхом безпосереднього аналізу причинно-наслідкових зв'язків, що дають змогу визначити механізми (алгоритми) дії ОД, або застосуванням сучасної системи знань про технічні, фізичні, біологічні, соціальні та інші принципи функціонування механізмів ОД, що дозволяє виключно теоретично визначити структуру моделі. У цьому випадку немає потреби в структурній ідентифікації і процедуру ідентифікації слід починати з третього етапу - параметричної ідентифікації або, як її називають, ідентифікацією в вузькому сенсі [7]. Зміст задачі параметричної ідентифікації - якнайточніше обчислити кількісні значення параметрів ММ за експериментальними даними, які поряд з корисною інформацією містять випадкову шумову складову, що й обумовлює появу помилок в розрахованих значеннях (оцінках) параметрів.

Останній етап ідентифікації має на меті перевірку "споживчих" якостей ММ, у першу чергу можливості її ефективного й надійного використання відповідно до мети ідентифікації. Здебільшого механізм підтвердження моделі полягає у зіставленні вихідних реакцій ОД та ММ за однією і тією самою вибіркою вхідних сигналів. Практичну однаковість цих реакцій вважають достатнім підтвердженням якості моделі.

Однак об'єктивнішими слід вважати висновки з аналізу якості ММ, отримані з урахуванням ряду аспектів, пов'язаних з цільовим призначенням ММ, яке здійснює суттєвий вплив на особливості ідентифікації та використання моделей. Зокрема, один з найпоширеніших видів ММ - це так звані пізнавальні моделі, що являють собою системи для накопичення, концентрації, зберігання знань та інформації навчально-пізнавального та наукового характеру. Пізнавальні моделі, не орієнтовані на застосування в конкретних прикладних задачах, тяжіють до масштабного, глобального відображення суті проблем, явищ, процесів. Прикладом таких моделей є деякі фундаментальні концепції та природні закони: модель Сонячної системи, закон всесвітнього тяжіння, моделі земної кулі та ін. Різновидом пізнавальних моделей є так звані феноменологічні, або концептуальні моделі, які дають спрощені схематичні описи явищ, процесів, об'єктів, уникаючи деталізації чи локальних уточнень та зосереджуючи головну увагу на найсуттєвіших елементах механізму причинно-наслідкових зв'язків у досліджуваних явищах, процесах, не враховуючи впливу менш значущих, другорядних факторів.

Інший аспект використання моделей - прогностичні моделі, призначені, в першу чергу, для застосування в системах управління. Цей прогноз може бути отримано як за допомогою засобів математичного моделювання, так і застосуванням моделей інших типів, наприклад, фізичних.

Серед ММ поширені так звані апроксимативні моделі, характерною особливістю яких є те, що структура цих моделей не відображає внутрішнього механізму тих явищ і процесів, що визначають зміст об'єкта ідентифікації. Вибір структури апроксимативної моделі (від approximation (англ.) - наближення) реалізується тільки формально за критерієм близькості виходу моделі до значень експериментально отриманих вихідних даних за умов подання на вхід моделі реального вхідного впливу.

Сфера практичного використання апроксимативних моделей надзвичайно широка. Обставинами, що сприяють цьому, є як певні особливості ОД, так і умови проведення самого дослідження: погана структурованість та вимірюваність даних про ОД, низький рівень формалізації відомостей та інформованості про спосіб його функціонування. В подібній ситуації єдиним джерелом інформації про ОД часто є лише вибірка експериментально отриманих даних.

2. Застосування елементів регресійного аналізу в ідентифікації моделей

2.1 Загальні відомості

Побудова моделей за експериментальними даними, тобто ідентифікація ММ, має істотний теоретичний та практичний доробок, зокрема, широкий арсенал методів і засобів структурної та параметричної ідентифікації, можливості та сфера застосування яких залежить від рівня інформованості обробника щодо внутрішнього механізму дії ОД, властивостей вихідних даних, рівня випадкової похибки в цих даних тощо. Крім того, ці засоби та методи можуть мати як універсальний характер, так і бути певною мірою орієнтованими на специфічні предметні галузі, різний рівень формалізації та математизації задачі.

Зважаючи на це, в рамках загального курсу доцільно обмежитися розглядом відносно невеликої за обсягом підбірки матеріалу, зміст якого орієнтовано на певний тип ММ, який, з одного боку, достатньо розповсюджений і в своєму застосуванні не має певних галузевих вузькоспеціальних обмежень, а з іншого боку характеризується добре відпрацьованим механізмом оцінювання структури та параметрів. В достатній мірі цим вимогам відповідають так звані лінійні регресійні моделі, для структурно-параметричної ідентифікації яких застосовують регресійний аналіз. Термін "регресія" (від латинського regressio - рух назад) запропонував статистик-біолог Ф. Гальтон у 19 сторіччі. В подальшому цей термін втратив своє буквальне значення та став використовуватися для визначення залежності між взаємопов'язаними змінними. Зміна функції (залежної змінної, результату) в залежності від зміни одного чи декількох аргументів (незалежних змінних, факторів) називається регресією.

Методи регресійного аналізу успішно використовуються для аналізу експериментальних даних в економіці, соціології, біології, психології, медицині, техніці тощо, причому найбільш поширені так звані лінійні регресійні моделі.

Розглянемо, чим обумовлена популярність цих моделей і чому таке звуження класу ММ під час роботи з апроксимативними моделями за певних обставин видається цілком виправданим.

Якщо припустити, що в процесі свого функціонування певний досліджуваний об'єкт описується невідомою нелінійною функцією , яка в околі точки дозволяє розвинення у ряд Тейлора

(3)

то, розкривши дужки, виконавши зведення подібних членів і замінивши в (3) усі алгебраїчні вирази, до складу яких входять лише постійні члени, коефіцієнтами (наприклад ), отримаємо:

(4)

Введемо в співвідношення (4) нові змінні та обмежимо їх загальну кількість індексом , вважаючи вплив кожної із змінних несуттєвим, а їх сукупну дію еквівалентною прояву випадкової помилки апроксимації . То ж маємо:

, (5)

(6)

- функція, що апроксимує нелінійну залежність в околі точки .

Експериментально отримані дані про функціонування досліджуваного об'єкту звичайно містять помилки вимірювання, вплив яких узагальнюється шляхом представлення виміряних значень у вигляді випадкової величини

. (7)

Вводячи до виразу (7) апроксимуючу функцію (6) та застосовуючи заміну

, (8)

отримуємо співвідношення

. (9)

Змінна е в рівнянні (9) комплексно враховує вплив випадкових збурень під час вимірювання значень та дію випадкового сумарного ефекту відкинутих змінних .

Якщо відносно змінних, що входять до рівняння (9), виконуються вимоги:

1) експериментально отримані значення факторних змінних не містять помилок;

2) змінна y відома лише із випадковою похибкою е , математичне очікування якої , причому вплив цієї похибки від експерименту до експерименту змінюється абсолютно випадково, однак дисперсія лишається незмінною:

то вираз (9) відповідає моделі класичної лінійної регресії. Через те, що змінна y лінійно залежить від невідомих параметрів , , регресійна модель (9) називається лінійною за параметрами (або просто лінійною), а співвідношення (6) - лінійним регресійним рівнянням. Працюючи з лінійними регресійними моделями, отримуємо суттєве спрощення розв'язку задачі ідентифікації ММ, пов'язане з тим, що задачі другого та третього етапів ідентифікації співпадають із задачами та змістом регресійного аналізу, який в своєму практичному застосуванні спирається на добре розвинений методичний та алгоритмічний апарат [9,10,11,12]. Зазначимо, що його використання обумовлює деякі термінологічні особливості стосовно формалізації та опису вирішуємих задач. Так, незалежні змінні в рівнянні лінійної регресії (9) називаються регресорами, параметри - коефіцієнтами регресії. Регресор може співпадати з факторною змінною або може бути довільною функцією від факторів, що не містить невідомих параметрів.

До змісту наведеної вище вимоги 2) в регресійному аналізі часто додається умова нормального розподілу випадкової похибки е, що відповідає випадку нормальної лінійної регресії, зокрема, рівняння (9) в цьому разі - нормальна лінійна регресійна модель (Classical Normal Linear Regression model).

Серед моделей лінійної регресії розділяють парну регресію, що характеризує взаємозв'язок одного результативного признаку Y з одним фактором Х, та множинну (або багатофакторну) регресію - взаємозв'язок одного результативного признаку Y з декількома факторами .

Парні (прості) лінійні регресійні моделі [28] встановлюють лінійну залежність між двома змінними, наприклад врожайністю зернових від кількості опадів; витратами на відпустку та кількістю членів родини; обсягами реалізованої продукції та витратами на рекламу і т. ін.

В загальному випадку парна вибіркова регресійна модель має вигляд:

, (10)

де Z - вектор значень залежної змінної, ;

Х - вектор значень незалежної змінної, ;

а0, а1 - невідомі параметри регресійної моделі;

Е - вектор значень випадкових величин (помилок спостережень) , .

Модель (10) є лінійною регресійною моделлю. Її можна трактувати і як пряму на площині, де а0 - перетин з віссю ординат або вільний член регресії, а а1 - нахил (звичайно, якщо абстрагуватися від випадкової величини Е).

2.2 Множинна лінійна регресія

Модель множинної (багатофакторної) регресії в загальному випадку має вигляд:

, (11)

причому, як це вже зазначалося у розділі 1, найважливішим етапом побудови прикладної моделі, призначеної для цілком конкретного застосування є визначення її фактичної структури. Для лінійної регресії, зважаючи що форма зв'язку між залежною змінною та регресорами вже апріорно відома, невирішеним є лише питання про склад регресорів у правій частині моделі (11). При розв'язанні цієї задачі регресійного аналізу доводиться шукати розумний компроміс між повнотою та точністю ММ. Очевидно, що із збільшенням кількості регресорів, введених до складу моделі, обов'язково буде зростати точність апроксимації моделлю вихідних даних. Однак справа в тому, що повнота та точність такої складної моделі можуть виявитися ілюзорними із-за обмеженого обсягу даних, на яких перевіряються апроксимативні можливості моделі. З іншого боку, застосування занадто простих моделей може призвести до невиправдано великих помилок. Тому необхідні моделі розумного рівня складності. Як завжди в подібних випадках, компромісне рішення не може бути однозначним. Більше того, моделі, отримані різними методами, часто трудно порівнювати між собою або неможливо віддати остаточну перевагу якій-небудь з них. Тому коректніше казати не про оптимальну модель, а про кращу з множини розглянутих моделей.

На практиці підбір структури ММ проводиться здебільшого емпірично, шляхом побудови варіантів моделі і порівняння їх між собою за критерієм точності апроксимації ними вихідних даних.

Зазначимо, що в регресійному аналізі відсутній строго доведений алгоритм, який можна було б застосовувати для структурної ідентифікації моделі. Відомо кілька евристичних методів формування рівняння регресії вигляду (9), серед яких найпоширенішим можна вважати метод крокової регресії [8,9,10]. Цей метод являє собою процедуру послідовного покрокового відбору та введення у модель незалежних змінних, один із варіантів якої наведено нижче у розділі 3.

Нехай об'єкт досліджень реалізує невідоме відображення . Значення факторних змінних і залежної змінної Y, представлених векторами: , , , , отримані експериментально вимірюванням своїх значень. Припустимо, що шляхом перетворень вихідних наборів значень факторів згенерована скінченна послідовність наборів значень потенційних регресорів, перші l з яких співпадають з векторами , а наступні отримані у розрахунковий спосіб, зважаючи на те, що в загальному випадку регресор, як це вже зазначалось вище, являє собою довільну функцію факторів, яка не містить невідомих параметрів. Тоді вся інформація про об'єкт досліджень виявляється зосередженою в так званій розширеній матриці вихідних даних виду:

. (12)

Зауважимо, що насправді у матриці (12) представлені ідеалізовані дані, бо, по-перше, в реальній ситуації вимірювання виконуються з певними похибками. Звичайно припускають, що при вимірюванні значень факторів цими похибками, через їх малість можна знехтувати. Тому при описі вихідних даних враховують лише похибки вимірювання залежної змінної, вважаючи, що вони мають адитивний характер:

, , (13)

де - похибки вимірювань, що є реалізацією випадкової величини з параметрами , , - реалізація випадкової величини , для якої , . Звичайно припускається гіпотеза гомоскедастичності, тобто рівності похибок: та їх некорельованості: при .

Тому реальна розширена матриця вихідних даних матиме вигляд:

. (14)

По-друге, реальна структура факторних змінних невідома, тому в експерименті звичайно вимірюється те, що доступно вимірюванню та на думку дослідника, є доцільним для вимірювання. В зв'язку з цим експериментально отриманий набір факторів може бути неповним, повним або надмірним. Це ж саме стосується і згенерованого набору потенційних регресорів. Тому головною метою структурної ідентифікації в даному випадку є вибір з усієї множини потенційних регресорів їх певної підмножини, використання якої в рамках лінійної моделі (9) дозволяє достатньо повно відобразити головні властивості об'єкта досліджень [28].

2.3 Нелінійні регресійні моделі

Найбільш вивченою і методично відпрацьованою серед усіх багатовимірних регресійних моделей є лінійна. Нажаль далеко не всі соціально-економічні, природні процеси, явища та об'єкти технічного характеру можна моделювати за допомогою лінійних моделей. Їх вибір в першу чергу залежить від особливостей досліджуваного процесу (об'єкту або явища). Деякі процеси можна з певним наближенням, локально моделювати за допомогою лінійної багатофакторної моделі. Однак для повного опису процесу в межах, ширших за рамки локального наближення, як правило, необхідно використовувати нелінійні регресійні залежності.

В даному підрозділі розглядаються нелінійні моделі [27], що припускають перетворення до лінійної форми, зокрема, логарифмуванням вихідної моделі. Як і в разі простої лінійної регресії, основне завдання полягає в розрахунку невідомих параметрів і в подальшому аналізі обраної моделі.

У ряді випадків нелінійні регресійні функції можуть бути зведені до простих лінійних застосуванням нелінійних випрямних перетворень. Для степеневої та експоненціальної регресії таке перетворення реалізується через логарифмування. Наприклад, для , , відповідно маємо: , , .

Увівши нові змінні: , приходимо до лінійних рівнянь: , , , що дає змогу розраховувати параметри методом найменших квадратів та використовувати подальший аналіз моделі, як і в разі простої лінійної регресії.

3. Структурна ідентифікація лінійних регресійних моделей методом крокової регресії

Для регресійних моделей існує декілька покрокових процедур (англ. stepwise - поступово, поетапно) відбору змінних: процедура послідовного приєднання, процедура приєднання-видалення та процедура послідовного видалення.

Ми детально розглянемо один із можливих способів організації розрахунків в покроковій процедурі приєднання, який називається методом крокової регресії.

Метод крокової регресії дає можливість визначити структуру функціональної залежності між вихідною та незалежними змінними [8,9,10].

Алгоритм методу крокової регресії містить таку послідовність дій.

1. Сформувати набір регресорів, які можуть впливати на значення вихідної змінної, зокрема, фактори (тобто вхідні змінні), квадрати факторів, їх добутки тощо.

2. Розрахувавши вибіркові коефіцієнти парної кореляції кожного регресора з вихідною змінною Z, вибрати та ввести регресор , який має максимальний за модулем коефіцієнт кореляції, до складу початкового варіанта моделі - так званої моделі першого l=1 наближення

.

3. Обчислити вектор оцінок параметрів моделі першого наближення, розрахувати модельні значення та нев'язки цієї моделі:

.

Термін нев'язка (залишок, похибка) означає різницю між значенням залежної змінної zi та її модельним значенням

: , .

4. Розрахувати суму квадратів нев'язок моделі:

.

5. Розрахувати вибіркові коефіцієнти кореляції не введених у модель регресорів з нев'язками , , де l - номер наближення для попереднього кроку підбору структури моделі, визначити найбільш корельований (максимальний за модулем коефіцієнта кореляції) з нев'язками регресор і ввести його до складу моделі чергового (l+1)-го наближення.

6. Обчислити вектор оцінок параметрів ускладненої моделі на поточному l+1 кроці процедури підбору структури моделі , розрахувати нев'язки та відповідну суму квадратів нев'язок

.

7. Розрахувати -статистику Фішера для двох послідовно отриманих моделей для перевірки ефективності ускладнення моделі за формулою:

, (15)

- сума квадратів нев'язок для регресійної моделі попереднього -го кроку,

- сума квадратів нев'язок для моделі поточного ()-го кроку,

k - ступінь вільності для моделі ()-го кроку.

Ступінь вільності k дорівнює різниці між кількістю спостережень (або обсягом вибірки) n та кількістю параметрів m в моделі, тобто

. (16)

В загальному випадку F-статистику розраховують за такою формулою:

, (17)

де

k1 - кількість додатково введених регресорів у поточну (ускладнену) модель порівняно з попередньою (при ускладненні моделі на один елемент k1=1 і тоді з формули (23) отримуємо формулу (2)),

k2 - ступінь вільності для ускладненої моделі.

8. Порівняти розраховане значення F-статистики з критичним значенням , що визначається за статистичними таблицями (див. додаток), де - довірча ймовірність.

Якщо , чергове () ускладнення моделі слід вважати доцільним: воно обумовило суттєве зменшення рівня нев'язок і покращило точність апроксимації моделлю вихідних даних. В цій ситуації виникає потреба в перевірці можливості подальшого ускладнення моделі. Тепер останню модель вже вважатимемо попередньою і задля її ускладнення перейдемо до виконання п.5.

Пункти 5-8 повторюються, поки покрокове ускладнення моделі є ефективним.

Якщо , останнє ускладнення структури моделі не ефективне, процедура крокової регресії переривається і в якості моделі для подальшої роботи використовується більш проста модель, а саме модель, отримана не на поточному, а на попередньому -ому кроці підбору елементів структури моделі.

9.Як тільки процес покрокового ускладнення моделі буде перервано, слід виконати перевірку значущості оцінок параметрів найкращої моделі за -критерієм Стьюдента:

, , (18)

де

- оцінка j-го параметра моделі;

- оцінка середнього квадратичного відхилення для -го параметра моделі.

10. Розраховані значення порівняти з критичними із статистичних таблиць t-розподілу статистики Стьюдента (див. додаток), де р - довірча ймовірність, зазвичай р=0,95, k - ступінь вільності для обраної моделі

Для значущих параметрів моделі обов'язкова умова . Це означає, що задіяна у моделі сукупність регресорів не містить надмірності, зокрема, відсутні регресори, лінійно залежні від інших.

Якщо будуть виявлені незначущі оцінки, для яких , треба по одному виключити кожен з регресорів з моделі та виконати для отриманих таким чином спрощених варіантів моделі перевірку значущості оцінок їх коефіцієнтів за критерієм Стьюдента. Серед спрощених варіантів, що успішно пройшли перевірку, визначити найкращий (шляхом проведення зіставлення та додаткового аналізу цих варіантів за значеннями їх коефіцієнтів детермінації , залишковими сумами квадратів нев'язок, t-статистиками), який надалі слід використовувати у якості прикладної математичної моделі.

Слід зазначити, що на практиці набагато більш поширеним способом вирішення проблеми надлишковості регресорів є видалення з моделі тих регресорів, яким відповідають незначущі оцінки коефіцієнтів. Цей спосіб не є коректним з методичної точки зору, однак у багатьох випадках він дозволяє доволі легко, а головне, оперативно отримати відносно пристойний розв'язок проблеми.

4. Параметрична ідентифікація лінійних регресійних моделей

4.1 Метод найменших квадратів

За достатнього обсягу апріорної інформації про ОД та про властивості експериментально отриманих вихідних даних, зокрема, про характеристики їх шумової складової е, можливе застосування широкого кола добре відпрацьованих методів і способів структурної та параметричної ідентифікації [5,7,12]. Серед останніх найвідомішим є метод максимальної правдоподібності [10,12], який у ряді випадків, спираючись на відомі статистичні характеристики вихідних даних, дозволяє побудувати ефективні алгоритми параметричної ідентифікації.

Однак при побудові моделі ОД за експериментально отриманими даними поширеною є ситуація, для якої практично вся інформація, що використовується обробником для розв'язання поставленої задачі, обмежується вибіркою вихідних даних. Тому для розв'язання задачі параметричної ідентифікації використовують методи, орієнтовані виключно на інформацію про нев'язки моделі.

В загальному випадку для довільної моделі відомої структури рівень нев'язок , залежить тільки від вибору параметрів моделі, тобто елементів вектора . Тому, якщо ввести показник якості параметричної ідентифікації, який інтегрує в собі всю інформацію про рівні нев'язок , і містить відомості про залежність рівня нев'язок від значень параметрів моделі, то екстремізація (зазвичай мінімізація) цього показника дозволить визначити оптимальні параметри моделі.

Найпоширенішими в задачах параметричної ідентифікації є два типи показників: (19)

. (20)

Оскільки структура не змінюється під час оцінювання параметрів , кількісні значення функціоналів є залежними тільки від вибору значень оцінок , тобто можна розглядати як функції цих параметрів: , . Тоді задачу параметричної ідентифікації можна сформулювати так: підібрати на множині можливих значень параметрів моделі такі значення оцінок , щоб функції , досягли своїх мінімумів, тобто метою цього аналізу є пошук

, . (21)

На практиці більш поширеним є показник , бо функція неперервно залежить від і дозволяє обчислити частинні похідні , , скласти з них систему рівнянь виду

, (22)

та знайти оптимальні параметри моделі. Отримані таким шляхом оцінки називають МНК-оцінками (оцінками за методом найменших квадратів), бо оптимізація параметрів моделі призводить до мінімуму (19) показника , тобто за мінімумом суми квадратів нев'язок.

Оцінки, знайдені за умов мінімуму (20) - мінімуму суми модулів нев'язок, називають МНМ-оцінками (оцінками за методом найменших модулів).

При оцінюванні параметрів регресійної моделі, виходячи з умов мінімізації суми квадратів нев'язки, загальні формули для обчислення МНК-оцінок легко отримати у матричній формі запису:

(23)

Матриця коваріацій МНК-оцінок [9,10,11] має вигляд

. (24)

Оцінка дисперсії помилки розраховується за формулою:

, (25)

де - кількість параметрів регресійної моделі, - сума квадратів нев'язок цієї моделі.

4.2 Властивості оцінок параметрів

Виникають запитання: наскільки задовільні отримані вище МНК- оцінки, чи можна їх поліпшити та наскільки це доцільно, наскільки вдалим є вибраний спосіб обчислення оцінок і, нарешті, наскільки адекватною, прийнятною є обрана структура моделі. Відповіді на ці запитання тією чи іншою мірою дає математична статистика [2,3,9-13].

Уведемо деякі визначення.

Сукупність значень, отриманих у ході спостереження ряду величин під час проведення досліджень (експериментів), називають вибіркою. Кількість спостережень (експериментів) n визначає обсяг вибірки.

Будь-яку функцію вибіркових даних, що не залежить від невідомих параметрів, називають статистикою. Статистика є випадковою величиною.

Статистику, обчислену за вибірковими даними, яку беруть як невідоме значення параметра, називають оцінкою цього параметра.

Якість оцінки, її близькість до невідомого істинного значення параметра характеризується трьома властивостями: незсуненістю, спроможністю та ефективністю.

Оцінка є незсуненою, якщо її математичне сподівання дорівнює істинному значенню параметра:

. (26)

Розраховану оцінку за вибіркою обсягом n називають спроможною, якщо вона збігається за ймовірністю до істинного значення параметра, тобто для будь-якого

при . (27)

Оцінка є ефективною в певному класі оцінок , якщо вона найбільш точна серед цих оцінок, тобто має найменшу дисперсію:

(28)

Наприклад, якщо невідоме значення а параметра можна оцінити кількома методами параметричної ідентифікації , внаслідок чого отримуємо сукупність оцінок , які відповідно мають дисперсії , то ефективною буде та з оцінок, що має мінімально можливу дисперсію.

Аналіз властивостей МНК-оцінок без припущення нормальності розподілу помилок дозволяє стверджувати [10] єдинність, незсуненість і ефективність оцінок (23) у класі лінійних незсунених оцінок, а за достатньо слабких додаткових обмежень - також спроможність та асимптотичну нормальність. Оцінка дисперсії (25) є незсуненою і спроможною.

У випадку нормальності розподілу помилки МНК-оцінки параметрів регресії ефективні в класі усіх незсунених оцінок (як лінійних, так і нелінійних) і мають нормальний розподіл із середнім та коваріаційною матрицею [10].

4.3 Властивості методу найменших квадратів

1. Сума вихідних даних дорівнює сумі значень, розрахованих за моделлю:

. (29)

2.Сума нев'язок дорівнює нулю:

. (30)

3. Нев'язки некорельовані з , тобто

. (31)

4. Нев'язки некорельовані з , тобто

. (32)

5. Оцінки, розраховані за МНК, якщо виконуються усі припущення щодо випадкової величини Е, є лінійними, без відхилень, мають найменшу дисперсію з усіх можливих методів оцінювання.

Таким чином, метод найменших квадратів є найкращим методом для оцінювання невідомих параметрів лінійної регресії.

Властивості методу найменших квадратів у випадку простої лінійної моделі збігаються з випадком багатофакторної регресії.

4.4 Розрахунок параметрів моделі засобами Excel

Регресійний аналіз передбачає значний об'єм необхідних обрахунків та застосування складних рівнянь для аналізу великої кількості даних. З появою потужної обчислювальної техніки використання методів регресійного аналізу стало більш доступним та успішно застосовується для аналізу експериментальних даних в економіці, соціології, біології, психології, медицині, техніці тощо.

Електронні таблиці Microsoft Excel пропонують широкий діапазон засобів для аналізу та обробки даних [24-26]. Головна особливість програми Excel - табличне подання даних, яке є типовим для відображення інформації різноманітного призначення: економічної, соціальної, виробничої або персональної.

При побудові математичних моделей з використанням електронних таблиць, по-перше, не губиться алгоритм розв'язку задачі; по-друге, обробник звільняється від рутинної роботи розрахунків і, по-третє, студент навчається досконало володіти електронними таблицями і використовувати комп'ютерні технології для вирішення практичних задач.

Оцінка параметрів моделі за допомогою функції ЛИНЕЙН

При виконанні лабораторного практикуму частіше використовуються вбудовані функції Excel статистичної, математичної категорій та Пакету аналізу. Зокрема, якщо математична модель описується рівнянням багатофакторної лінійної регресії , для визначення оцінок параметрів , за методом найменших квадратів використовують в Excel статистичну функцію ЛИНЕЙН з чотирма аргументами:

ЛИНЕЙН (Z;; константа; статистика),

; ;

константа - дорівнює 1, якщо в моделі є вільний член , у противному разі константа дорівнює 0;

статистика - приймає два значення 0 або 1, яке вказує, чи потрібно повертати додаткову статистику по регресії: якщо "статистика" дорівнює 0, то функція ЛИНЕЙН повертає тільки рядок параметрів , ; якщо "статистика" дорівнює 1, то функція поверне додаткову регресійну статистику, яку розташує у п'яти строках.

Для роботи з функцією треба передчасно виділити в робочому листі Excel блок комірок розміром: кількість стовпців дорівнює кількості оцінок невідомих параметрів , а кількість рядків дорівнює п'яти, тобто розмір блоку: (р+1) стовпців на 5 рядків.

Після завершення роботи з вікном функції ЛИНЕЙН для заповнення всього блоку комірок треба натиснути функціональну клавішу <F2>, далі одночасно натиснути три клавіші <Ctrl >+ <Shift >+ <Enter>.

Схема розташування додаткової статистики, яку розраховує функція ЛИНЕЙН знаходиться у табл.1.

Таблиця 1. Додаткова регресійна статистика функції ЛИНЕЙН

		...
		...

 - оцінки коефіцієнтів ;

- стандартні похибки для оцінок коефіцієнтів;

- коефіцієнт детермінації;

- середнє квадратичне відхилення для оцінки залежної змінної Y;

- -статистика Фішера;

- ступінь вільності;

- регресійна сума квадратів,

,

де - модельні значення залежної змінної,

- середнє арифметичне значення залежної змінної;

- залишкова сума квадратів нев'язок,

,

де - значення залежної змінної.

5. Верифікація моделей

Як зазначалося у першому розділі, верифікація математичної моделі - це перевірка ефективності її застосування відповідно до вихідної мети моделювання, корисність її використання для вирішення певної прикладної задачі. Через це верифікувати модель у повному обсязі можна лише у процесі її функціонування "за місцем призначення", тоді як на етапі побудови ММ можлива тільки перевірка її якісних показників за системою певних критеріїв. Зокрема, щодо регресійних моделей, такій перевірці відповідає комплексний аналіз якості моделі за F-, t-статистиками, за значеннями коефіцієнту детермінації , за величиною залишкової суми квадратів нев'язок тощо.

Нижче наведено коротке зведення основних теоретичних відомостей щодо цих статистик та способів їх практичного застосування у аналізі якості регресійних моделей.

5.1 Статистика Фішера

Існує декілька статистик Фішера, які використовуються залежно від поставленої мети дослідження.

Кількісно ступінь прийнятності гіпотези лінійної залежності між y та x можна обчислити за допомогою наступної статистики Фішера

, (33)

де m - кількість параметрів моделі, n - об'єм вибірки, - середнє арифметичне значення залежної змінної Z. Статистика Фішера показує у скільки разів лінійна регресія краще описує взаємозв'язок ніж заміна її середнім .

Недоліком цієї статистики є постійне порівняння всіх моделей, від загрублених до переускладнених, з середнім залежної змінної. Зрозуміло, що всі ці моделі будуть краще ніж .

Частіше використовується -статистика Фішера для двох послідовно отриманих моделей з яких друга утворена шляхом ускладнення першої (попередньої) моделі за рахунок введення нового регресора. Розраховане значення статистики зіставляють з критичним значенням , яке обирають зі статистичних таблиць.

Емпіричне значення F-статистики розраховується за формулою:

, (34)

де - сума квадратів нев'язок для регресійної моделі -го кроку,

- сума квадратів нев'язок для моделі наступного ()-го кроку,

k =n-m - ступінь вільності для моделі наступного ()-го кроку.

Статистика Фішера F використовується для прийняття рішення про доцільність продовження ускладнення моделі, що базується на аналізі відносного приросту точності моделі після чергового ускладнення її структури. Чергове ускладнення моделі через введення до існуючої моделі додатково регресора слід вважати доцільним, якщо це призвело до суттєвого зменшення рівня порівняно із рівнем попередньої моделі.

За таблицями F-розподілу (див. додаток) визначити критичне значення , де p - довірча ймовірність (зазвичай p=0,95 або p=0,99), - кількість введених параметрів у нову модель (при ускладненні моделі на один елемент ), - ступінь вільності для складної моделі.

Для кількісної підтримки рішення про доцільність ускладнення моделі необхідно зіставити значення F та .

Якщо , ускладнення моделі слід вважати доцільним і можна продовжити процес ускладнення моделі за рахунок включення до неї нового регресора. При цьому ускладнена модель на попередньому етапі набуває статусу початкової моделі й починається черговий крок побудови наступної регресійної моделі.

Якщо , це означає, що ускладнення моделі за рахунок введення чергового регресора практично не додало точності моделі: різниця порівняно із значенням є дуже малою, процес ускладнення моделі стає неефективним. Тому можна перервати процедуру крокової регресії, узявши за остаточний, базовий варіант модель, отриману на попередньому кроці, тобто до введення останнього регресора. Цю модель можна вважати найкращою із побудованих.

Досвід застосування F-критерію Фішера показав [13], що остаточне рішення про визначення структури моделі слід робити лише в тому разі, коли два послідовних ускладнення моделі будуть обидва неефективними. Наразі, коли друге ускладнення моделі виявилось ефективним, тобто , слід продовжити процедуру крокової регресії для визначення структури моделі.

Наведена вище схема алгоритму крокової регресії не є єдино можливою, а сам метод крокової регресії не гарантує стабільно кращих розв'язків задачі структурної ідентифікації, хоча й набув за твердженням [19] найбільшого практичного поширення. Однією з вад побудованих цим методом моделей є їх надлишковість. Зокрема скінчений обсяг n вихідних даних обумовлює можливість помилкового включення до структури моделі зайвих регресорів, для яких у випадку значення відповідних коефіцієнтів моделі мали б дорівнювати 0. Виявлення подібних "підозрілих" регресорів здійснюється за критерієм Стьюдента й розглянуто у розділі 5.3.

5.2 Коефіцієнт детермінації

Коефіцієнт детермінації R2 визначає апроксимативні якості побудованої регресійної моделі та перевіряє її адекватність (відповідність) реальним даним.:

. (35)

Значення коефіцієнта детермінації лежать в інтервалі . Якщо , то рівняння регресії невдало описує вихідні дані і за точністю їх апроксимації співпадає з тривіальною моделлю . Крайній випадок визначає наявність точного лінійного зв'язку між Z та , тобто всі реальні вихідні дані співпадають з модельними. Якщо взяти число регресорів рівним числу спостережень, завжди можна домогтися того, що , але це зовсім не буде означати наявність змістовної моделі.

Важливою властивістю коефіцієнта детермінації R2 є те, що він - не спадна функція від кількості факторів, які входять до моделі. Якщо кількість факторів зростає, то R2 також зростає і ніколи не зменшується. У виразі (35) знаменник не залежить від кількості факторів х, тоді як чисельник, який дорівнює сумі квадратів нев'язок, навпаки, залежить: із збільшенням кількості факторів х величина суми квадратів нев'язок спадає.

Тому при виборі кращої моделі не слід покладатися тільки на коефіцієнт детермінації.

Для усунення ефекту зростання R2 при ускладненні моделі розраховується скоригований коефіцієнт детермінації

. (36)

Завдяки корекції в рівнянні (36) маємо незміщену оцінку дисперсії помилок в чисельнику, а в знаменнику - незміщену оцінку дисперсії значень величини Z.

У певній мірі використання скоригованого коефіцієнта детермінації більш коректне для порівняння моделей при зміні кількості регресорів.

Середньо-квадратичне відхилення (СКВ) для оцінки залежної змінної Z розраховують за формулою:

. (37)

5.3 Статистика Стьюдента

Для базової моделі треба перевірити значимість отриманих оцінок , для чого для кожної оцінки розраховують t-статистики Стьюдента за формулою:

, , (38)

де - оцінка середнього квадратичного відхилення для -го параметра моделі. Розраховані статистики порівнюються з критичними значеннями , де k - ступінь вільності для заданої довірчої ймовірності р, які визначаються за таблицями (див. додаток) t-розподілу статистики Стьюдента.

Для значущих оцінок параметрів буде виконуватися умова . Якщо для оцінки маємо , можна стверджувати, що з ймовірністю р оцінка є статистично незначущою й, можливо, відповідний регресор слід вилучити зі структури моделі.

Фактично у наведеній перевірці досліджується рівень відмінностей відповідних оцінок від 0, тобто перевіряється нуль-гіпотеза Н0: проти гіпотези Н1: (слід однак мати на увазі можливість існування альтернативної гіпотези, пов'язаної з проблемою мультиколінеарності набору регресорів, про яку більш докладно йдеться у підрозділі 5.5). За спрощеною процедурою, що не потребує залучення таблиці t-розподілу для перевірки гіпотез, нуль-гіпотеза приймається при [3], тобто параметр є незначущий.

Якщо при вилученні регресора фіксується незначне зменшення значення коефіцієнту детермінації R2, тобто модель, не зважаючи на спрощення, майже не втрачає у точності, виключений регресор не має сенсу повертати до структури моделі. Більш-менш істотне зменшення значення R2 ставить під сумнів необхідність виключення "підозрілого" регресора. В цьому випадку необхідно визначити значимість інших параметрів моделі, зокрема параметру , необхідність введення якого до моделі ніяк не перевірялася.

5.4 Перевірка якості моделі

Застосовуючи апарат регресійного аналізу для розв'язання задач структурно-параметричної ідентифікації моделей, необхідно мати на увазі, що отримані статистично значимі висновки не мають жорстко імперативного характеру, це умовно-допоміжна інформація, яку повинен враховувати обробник, приймаючи, наприклад, рішення про вилучення, залишення чи включення до моделі того чи іншого регресора. Кожне з подібних рішень потребує додаткової перевірки чи підтвердження за іншими статистичними показниками. Так, аналізуючи конкуруючі варіанти моделей (зокрема, зіставляючи початкову та ускладнену моделі), слід брати до уваги комплекс показників, що характеризує точність та адекватність моделей даним. Це коефіцієнт детермінації , сума квадратів помилки апроксимації , F-статистика Фішера тощо.

Перевірка якості моделі частіше за все зводиться до аналізу покращення точності моделі на черговому етапі її ускладнення порівняно з точністю моделей, отриманих на попередніх кроках, тобто порівнюється кількісне значення суми квадратів нев'язок із показниками .

Для повноти картини доцільно ввести нульове l=0 наближення



що відповідає найпростішій моделі середнього арифметичного залежної змінної. Для цієї моделі показник точності обчислюється за формулою

Динаміка зміни показника представлена на рис. 2.

Рис. 2. Залежність суми квадратів нев'язки від кроку ускладнення моделі l.

Графіки на рис. 2 показують, що підбір моделі для Об'єкту 1 можна скінчити вже на третьому кроці, бо подальше ускладнення структури моделі ніяк не сприяє покращенню її точності, значення показників практично не змінюються. Для Об'єкту 2 ускладнення структури моделі можна припинити на 5-7 кроці, залежно від вимог, що висуваються до якості моделі. Наприклад, якщо якість моделі розуміти як компроміс між критеріями простоти та точності, слід, припинити ускладнення моделі вже на 5-му кроці. Орієнтуючись тільки на вимоги точності, процедуру ускладнення моделі можна подовжити до 6-7 кроків.

Аналогічні міркування можна застосувати до аналізу динаміки коефіцієнту детермінації , додатково використовуючи властивість коефіцієнту детермінації асимптотично наближатися до 1 при ускладненні моделі.

Таким чином, необхідно аналізувати динаміку змін значень усіх показників у процесі підбору моделі. Зокрема, за деякими літературними джерелами рекомендується не переривати процедуру крокової регресії відразу після першого висновку про недоцільність введення чергового регресора до структури моделі, а лише після підтвердження цієї негативної тенденції впродовж одного-двох наступних кроків.

5.5 Мультиколінеарність

Однією з умов класичної лінійної регресії є припущення про лінійну незалежність регресорів, що на практиці означає лінійну незалежність стовпчиків (векторів) матриці регресорів [X] . Якщо це припущення не виконується, зокрема хоча б один з векторів можна представити лінійною комбінацією інших, кажуть, що має місце так звана повна мультиколінеарність (мультиколінеарність в строгому розумінні, досконала, сильна, строга) між регресорами. У регресійній моделі з р регресорами х1, х2, ..., хр існуванню повної мультиколінеарності відповідає виконання такої умови:

,

де не всі коефіцієнти , одночасно дорівнюють нулю. А саме, якщо два чи більше регресорів мають відмінні від нуля коефіцієнти, то будь який з цих регресорів може бути представлений лінійною комбінацією інших. Зокрема, якщо таких регресорів буде лише два: Хі, Хj, вони мають задовольняти умові парної лінійної залежності, тобто . В такій ситуації фактично неможливо оцінити окремий вплив кожного з цих регресорів на досліджуваний показник .

Зазначимо, що для повної мультиколінеарності детермінант , тому стає неможливим виконати розрахунок МНК-оцінок коефіцієнтів регресії.

Однак на практиці повна мультиколінеарність зустрічається вкрай рідко [2,12,26,27]. Набагато частіше зустрічається стохастична форма мультиколінеарності (або просто мультиколінеарність), за якої в багатофакторній регресійній моделі дві або більше незалежні змінні (регресори) пов'язані між собою майже лінійною залежністю, тобто мають високий ступінь кореляції (). Чим більш щільний кореляційний зв'язок між регресорами, тим менше , що призводить до значного зменшення точності оцінки , викривленню оцінок дисперсій залишків, дисперсій параметрів регресії і коваріацій між ними.

Якщо мультиколінеарність значна, визначити МНК-оцінки коефіцієнтів регресії можна, але їхні середньоквадратичні відхилення будуть дуже великими. Як наслідок, значення параметрів для сукупності неможна визначити точно.

Значній кореляції між факторами , відповідає наступне співвідношення:

,

де E - випадкова величина, тим менша, чим вищий рівень корельованості регресорів.

Практичні наслідки мультиколінеарності:

· велика дисперсія і коваріація оцінок параметрів, обчислених за методом найменших квадратів;

· чутливість оцінок параметрів до обсягів сукупності спостережень;

· незначущість t-статистик Стьюдента, тобто параметри багатофакторної регресії прямують до нуля.

Хоча надійних методів тестування мультиколінеарності не існує, є декілька її ознак.

· незначні зміни у вихідних даних (наприклад, додавання нових даних) призводять до істотних змін оцінок коефіцієнтів регресії;

· високе значення коефіцієнту детермінації при незначущості параметрів за t-статистикою Стьюдента;

· у моделі з двома регресорами - велике значення парного коефіцієнта кореляції між цими регресорами;

· оцінки коефіцієнтів регресії стають невиправдано великими за своїми значеннями.

Усі ці ознаки мультиколінеарності мають один спільний недолік: жодна з них чітко не розмежовує випадки, коли мультиколінеарність істотна і коли нею можна знехтувати.

Виявлення мультиколінеарності є лише першою частиною справи. Друга частина - як позбутися мультиколінеарності. В залежності від особливостей задачі обробник може застосувати алгоритм Фаррара-Глобера, метод головних компонентів, метод усунення змінної з мультиколінеарної пари.

На жаль, немає якихось універсальних методів, але для усунення мультиколінеарності можна:

· використати додаткову або первинну інформацію;

· об'єднати інформацію;

· відкинути змінну з високою кореляцією;

· перетворити дані;

· збільшити обсяг спостережень.

Що спрацює на практиці, залежить від істотності проблеми та її характеру.

В умовах обмеженого обсягу даних та недостатньої інформації про досліджуваний об'єкт для запобігання мультиколінеарності вхідних змінних треба виділити пари (, ), для яких коефіцієнти парних кореляцій і далі у формуванні структури регресійної залежності використовувати лише одну змінну з кожної пари. Ця змінна має мати більший коефіцієнт кореляції із залежною змінною y , наприклад, якщо , слід вибрати змінну хі.

6. Прогнозування. Загальні аспекти

6.1 Класифікація методів прогнозування

Під прогнозуванням будемо розуміти науково обґрунтоване оцінювання можливого майбутнього стану явищ і процесів, які є об'єктом аналізу, кількісних та якісних змін цього стану або показників, що його характеризують, строки та форми реалізації цих змін.

Наукова галузь, пов'язана з дослідженням і вивченням методології та закономірностей прогнозування, називається прогностикою.

До головних категорій прогностики належить:

об'єкт прогнозування - процеси, явища, події, на які орієнтована пізнавальна та практична діяльність людини, прогнозний фон;

сукупність зовнішніх щодо об'єкта умов, суттєвих для обґрунтування прогнозу;

метод прогнозування - спосіб дослідження об'єкта прогнозування, спрямований на розробку прогнозу;

методика прогнозування - сукупність спеціальних правил, прийомів і методів прогнозування.

Нині відомо понад сто методів прогнозування [1,2,4,15,16], що робить актуальною проблему їх класифікації. Є різні системи класифікації методів прогнозу. Залежно від обраних критеріїв (класифікаційних ознак) з літератури відомо близько двох десятків систем класифікації [14,15]. Чи не найбільш цікавою та актуальною є класифікація за часом (періодом, горизонтом) упередження , тобто часова градація прогнозів за їх терміном (строком), якому відповідає відрізок часу, що відділяє момент , у який було останній раз отримано дані про об'єкт прогнозування, від моменту , для якого визначають прогноз. Частіше за все виділяють п'ять типів прогнозу [15]:

...