Аналітичне дослідження показників видобутку біоресурсів Україною

Размещено на http: //www. allbest. ru/

ЗМІСТ

ВСТУП

1. ПОСТАНОВКА ЗАДАЧІ

2. ТЕОРЕТИЧНІ ВІДОМОСТІ

3. ІМПОРТ ДАНИХ, ОЦІНКА ЯКОСТІ, ВІДНОВЛЕННЯ, КОРЕКЦІЯ І ОЧИСТКА ДАНИХ

4. ДОСЛІДЖЕННЯ ВИДОБУТКУ БІОРЕСУРСІВ УКРАЇНОЮ ІЗ ЗАСТОСУВАННЯМ МЕТОДІВ АНАЛІТИЧНОЇ ОБРОБКИ ДАНИХ

4.1 Кореляційний аналіз

4.2 Групування

4.3 Кластеризація

4.4 Побудова Olap-кубу

4.5 Карти Кохонена

4.6 Побудова нейромережі

ВИСНОВОК

СПИСОК ВИКОРИСТАНОЇ ЛІТЕРАТУРИ



ВСТУП

Аналітичне дослідження показників видобутку біоресурсів Україною здійснюється за допомогою відкритих даних Державної служби статистики України.

Державна служба статистики України (Держкомстат України) -- центральний орган виконавчої влади із спеціальним статусом, діяльність якого спрямовується і координується Кабінетом Міністрів України через віце-прем'єр-міністра України.

Держкомстат України забезпечує проведення в життя державної політики в галузі статистики, створення і належне функціонування загальнодержавної системи економіко-статистичної інформації на території України. Є спеціально уповноваженим центральним органом виконавчої влади у галузі статистики.

Для отримання певних висновків із статистики, наданої Держкомстатом України, використовується методи статистичної обробки та інтелектуального аналізу даних. Особливе значення, серед цих методів, у обрахунках має використання OLAP-систем.

OLAP (англ. online analytical processing, аналітична обробка в реальному часі) -- це технологія обробки інформації, що дозволяє швидко отримувати відповіді на багатовимірні аналітичні запити. OLAP є частиною такого ширшого поняття, як бізнес-аналітика, що також включає такі дисципліни як реляційна звітність та добування данних (спосіб аналізу інформації в базі даних з метою відшукання аномалій та трендів без з'ясування смислового значення записів). Служить для підготовки бізнес-звітів з продажів, маркетингу, для потреб управління, для прогнозування, фінансової звітності та в схожих областях.

Бази даних, сконфігуровані для OLAP, використовують багатовимірні моделі даних, що дозволяє виконувати складні аналітичні та спеціалізовані запити за короткий проміжок часу. Вони запозичують окремі аспекти навігаційних та ієрархічних баз даних, які є швидшими за реляційні БД.

OLAP дає змогу організувати вимірювання у вигляді ієрархії. Дані представлені у вигляді гіперкубів (кубів) - логічних і фізичних моделей показників, що спільно використовують вимірювання, а також ієрархії у цих вимірюваннях. Деякі дані заздалегідь агреговані в БД, інші розраховуються відразу.

OLAP-куб містить базові дані та інформацію про вимірювання (агрегати). Куб потенційно містить всю інформацію, потрібну для відповідей на будь-які запити.

Засоби OLAP дають змогу досліджувати дані за різними вимірюваннями. Користувачі можуть вибирати, які показники аналізувати, які вимірювання і як відображати в крос-таблиці, поміняти рядки і стовпці pivoting, потім робити зрізи, щоб концентруватися на певній комбінації розмірностей. Можна змінювати деталізацію даних, рухаючись рівнями за допомогою деталізації та збільшення, а також крос-деталізацію через інші вимірювання. кластеризація видобуток біоресурси статистичний

Мета курсової роботи полягає в аналітичній обробці слабко структурованого набору фінансових даних та виявлення об`активних закономірностей у цьому наборі даних. Також метою роботи є показати застосування деяких операцій інтелектуального аналізу, таких як: кластеризація, прогнозування, візуалізація, аналіз та пошук відхилень, заповнення пропуску даних, підведення підсумків та аналіз отриманих результатів.

Виконання роботи передбачає використання системи аналітичної обробки даних Deductor.



1. ПОСТАНОВКА ЗАДАЧІ

В даній роботі будуть використовуватись дані видобутку Україною біоресурсів, які взяті з 1 січня 1995 по 2013 років. Статистична таблиця міститиме такі заголовки і відповідні їм дані:

- Рік;

- Всього видобуто

- У внутрішніх водоймах;

- У виключній(морській) економічній зоні України;

- У виключних(морських) економічних зонах інших держав;

- У відкритій частині світового океану.

Для дослідження нашої статистичної вибірки та отримання з неї інформації на потрібно:

- Імпортувати дані;

- Побудувати діаграму;

- Виконати кореляційний аналіз;

- Регресійний аналіз(лінійна регресія);

- Діаграму розсіювання;

- Звіт по регресії;

- Побудувати OLAP-куб;

- Транспонтування;

- Операцію групування;

- Побудувати карту Кахонена.



2. ТЕОРЕТИЧНІ ВІДОМОСТІ

Розглянемо основні відомості про системне середовище Deductor, а також про його основні властивості.

Deductor - аналітична платформа, яка дозволяє в короткі терміни створити ефективну систему підтримки прийняття бізнес-рішень.

Deductor є повнофункціональною платформою для вирішення завдань Knowledge Discovery in Databases, що дозволяє провести всі нижчеописані кроки.

1. Підготовка початкового набору даних. До складу системи входить Deductor Warehouse - багатовимірне сховище даних, що орієнтоване на рішення задач консолідації інформації з різнорідних джерел і швидкого видобутку потрібного набору даних. Deductor Warehouse підтримує потужний семантичний прошарок, що дозволяє кінцевому користувачеві оперувати бізнес термінами для отримання потрібних даних. Окрім власного сховища Deductor підтримує роботу і з іншими джерелами: Oracle, DB2, MS SQL, Informix, Sybase, Interbase, DBase, FoxPro, Paradox, MS Access, CSV (текстові файли з роздільниками), ODBC, ADO. Для забезпечення максимальної швидкодії Deductor підтримує прямий (direct) доступ до більшості найпопулярніших баз даних.

2. Передобробка. Deductor містить великий набір механізмів передобробки і очищення даних: заповнення пропусків, редагування аномалій, очищення від шумів, згладжування, фільтрація і багато чого іншого з можливістю комбінування методів передобробки.

3. Трансформація, нормалізація даних. Deductor містить великий набір механізмів трансформації даних, що дозволяють провести всю підготовчу роботу для подальшого аналізу. Окрім цього, система містить широкий спектр механізмів нормалізації для всіх типів даних: числових, рядкових, дата/час і логічних.

4. Data Mining. У складі пакету містяться алгоритми, що реалізують популярні та ефективні методи Data Mining: нейронні мережі, дерева рішень, самоорганізованікарти Кохонена, асоціативні правила тощо.

5. Постобробка даних. Результати будь-якої обробки можуть бути відображені за допомогою великого набору механізмів візуалізації: OLAP, таблиці, діаграми, дерева тощо. Для деяких механізмів передбачені спеціалізовані візуалізатори, які забезпечують легкість інтерпретації результатів. Результати можна експортувати для подальшої обробки за допомогою інших додатків. Це дає можливість ефективно використовувати отримані знання або моделі на інших даних.

Deductor задовольняє всі вимоги для успішної взаємодії з експертом (аналітиком):

· єдина платформа, в якій можна пройти всі етапи Knowledge Discovery in Databases;

· всі операції проводяться за допомогою майстрів, завдяки яким знижуються вимоги до знання експертом математичного апарату;

· можливість довільного комбінування будь-яких методів обробки;

· великий набір методів візуалізації отриманих результатів;

· пакетне виконання всій дій по обробці даних.

Склад системи Deductor:

· Studio - программа, яка реалізує функції імпорту, обробки, візуалізації и експорту даних;

· Viewer - робоче місце кінцевого користувача. Дозволяє відділити процес побудови сценаріїв від користування уже готовими моделями;

· Warehouse - багатомірне сховище даних, яке акумулює всю необхідну для аналізу предметної області інформацію;

· Server - служба, яка забезпечує віддалену аналітичну обробку даних;

· Client - клієнт доступу до Deductor Server. Він забезпечує доступ до сервера із сторонніх додатків і управління його роботою.

Версії Deductor:

1. Enterprise - призначена для корпоративного використання. В ній реалізовані всі функції, що і у версії Professional. Крім того, в поставку даної версії входять Deductor Server і Deductor Client для віддаленої роботи з системою, підтримка сховищ даних на платформах Oracle і MS SQL, підтримка концепції віртуального сховища даних, реалізація OLE-сервера і інші механізми, які необхідні для корпоративного використання аналітичної платформи.

2. Professional - призначена для невеликих компаній і однокористувацької роботи. В цій версії відсутні обмеження на кількість оброблювальних записів, підтримується робота з великою кількістю джерел, сховищем даних на базі бесплатної СУБД Firebird, пакетне виконання сценаріїв, всі механізми обробки і візуалізації даних.

3. Academic - бесплатна версія, яка призначена тільки для навчальних цілей. Використання цієї версії у комерційних цілях заборонено. В ній обмежені можливості інтеграції і автоматичної обробки. Підтримується лише 2 джерела і приймача даних: Deductor Warehouse и текстові файли с роздільниками.

Задачі, що виішує Deductor:

· прогнозування;

· стимулювання попиту;

· сегментація клієнтів;

· оптимізація цінової політики;

· аналітична звітність;

· управління ризиками при кредитуванні фізичних и юридичних осіб;

· оцінка кредитоспроможності;

· визначення профіля клієнтів і особливостей їх поведінки;

· виявлення випадків махінацій.

В даних теоретичних відомостях також коротко розповімо про використання OLAP-кубу.

OLAP-куб -- структура, яка дозволяє здійснювати швидкий аналіз даних. Також може бути визначена як здатність до маніпулювання і аналізу даних з різних перспектив. Впорядкування даних у куби долає обмеження реляційних баз даних. Такі бази даних не дуже добре пристосовані для майже миттєвого аналізу та відображення великих обсягів даних. Навпаки, вони відповідають вимогам створення записів через серії транзакцій OLTP. Хоча існує багато інструментів створення звітів для реляційних баз даних, вони надто повільні, коли має бути оброблена ціла база даних.

OLAP-куби можна розглядати як розширення двовимірних масивів електронних таблиць. Наприклад, компанія може забажати проаналізувати деякі фінансові дані за продуктами, за періодами, за місцем продажу, за типом прибутку та ціною, і порівняти фактичні дані з бюджетом. Це і називається вимірами. Оскільки OLAP система може мати більше трьох вимірів, іноді використовують термін гіперкуб.

OLAP-куб складається з числових фактів, що називаються мірами які категоризовані за вимірами. Куб може бут створеним зі схеми зірки або схеми сніжинки, схеми таблиць в реляційній базі даних. Міри походять із записів в таблиці фактів, а виміри походять з таблиці вимірів.

Фінансовий аналітик хоче бачити дані в різних проекціях, наприклад, відобразити всі міста уздовж сторінки, а всі продукти впоперек. Це може бути потрібно для визначенного періоду, версії і т.д.. Після перегляду цих даних аналітик може забажати переглянути дані іншим чином. Куб може бути ефективно переорієнтований, таким чином отримання нових типів звітів не вимагає багато часу, скажімо, секунди (у порівнянні з годинами у випадку реляційних баз даних).

Кожен елемент виміру може бути верхівкою ієрархії.

Наприклад, січень 2010 може бути об'єднаний у першу чверть 2010, яка може бути об'єднана в 2010 рік. Схожим чином міста можуть бути об'єднані в регіони, країни в глобальні регіони, товари можуть бути об'єднані в більші категорії. Аналітик може почати з вищого рівню ієрархії, такого як загальна різниця між витратами і бюджетом, а потім заглиблюватися в нижчі рівні для визначення походження цієї різниці.

Зріз (англ. slice): формується підмножина багатовимірного масиву даних, що відповідає єдиному значенню одного або декількох вимірів, що не входять до цієї підмножини. Якщо розглядати з позиції кінцевого користувача, то найчастіше роль зрізу відіграє двовимірна проекція OLAP-куба.

Нарізка на кубики (англ. dice): зріз більше ніж за двома вимірами куба.

Консолідація (англ. drill up) та деталізація (англ. drill down): операції, що визначають перехід від детального представлення даних до агрегованого (вгору) і навпаки -- від агрегованого до детального (вниз).

Обертання, півотинг (англ. pivot): Перетворення стовпців таблиці на рядки і навпаки.

Комерційні OLAP продукти мають різні методи для створення і для зв'язування кубів.

Зв'язування -- метод для подолання розрідженості. Розрідженість виникає коли не кожна комірка в кубі містить дані, тким чином цінний процесорний час витрачається на складання нулів.

OLAP-куб -- багатовимірний масив даних, як правило, розріджений і призначений для тривалого зберіганя. Може бути реалізований на основі універсальних реляційних СУБД або спеціалізованим програмним забезпеченням.

Індексам масиву відповідають виміри (dimensions) або осі куба, а значенням елементів масиву -- міри (measures) куба.

w : (x,y,z) > wxyz,



де x, y, z -- виміри, w -- міра.

На відміну від звичайного масиву в мові програмування, доступ до елементів OLAP-куба може здійснюватися як за повним набором індексів-вимірів, так і за їх підмножиною, і тоді результатом буде не один елемент, а множина елементів.

W : (x,y) > W = {wz1, wz2, …, wzn}

Також відомий опис OLAP-куба із використанням термінології реляційної алгебри -- проекції відношень.

Нехай маємо відношення N, розглянемо проекцію з вимірами X, Y, і Z як ключем і W як різницевим атрибутом. Це характеризується функцією:

W : (X,Y,Z) > W,

атрибутам (X, Y, и Z) відповідають вісі куба, а значення W для кожної можливої трійки ((X, Y, Z)) відповідають даним кожної комірки куба.

Оскільки двовимірні пристрої виводу не можуть адресувати чотирі виміри, практичнішим є проеціювання «зрізів» куба (проеціювання застосовується в сенсі зменшення кількості вимірів -- від куба або гіперкуба до матриці), можливе у вигляді

W : (X,Y) > W

У цій проекції відсутній первинний ключ. Таким чином можлива деяка багатозначність функції. Тим не менш, зріз трійкового функціонального представленя з визначеним значенням Z має дуже велике значення.



3. ІМПОРТ ДАНИХ, ОЦІНКА ЯКОСТІ, ВІДНОВЛЕННЯ, КОРЕКЦІЯ І ОЧИСТКА ДАНИХ

Для імпортування даних у систему ми використовуємо Майстер імпорту. Особливістю Deductor Academic є те, що дані можливо завантажити лише з текстового фалу.

Рис.1 Вхідні дані у форматі Microsoft Exel

Тому для подальшої роботи з вибіркою створюємо текстовий файл за допомогою Блокнот.

Рис.2 Вхідні дані у форматі .txt

Далі запускаємо Майстер імпорту і вказуємо подальші параметри імпортування, а саме:

- Формат вихідних даних;

- Парамаетри імпорту файла з розмежуваннями;

- Визначення призначення величин, тип даних, їх форма;

Рис.3 Майстер імпорту

Рис.4 Зображення даних

Рис.5 Параметри імпорту



Рис.6 Визначення призначення величин (вхідні\ вихідні\ інформаційні), тип даних (дата, ціле число, строка, тощо), їх форма (дискретна, неперервна)

Рис.7 Фрагмент зображення даних

Рис.8 Статистика

Для цього набору даних також було використано візуалізацію як одну із задач аналізу даних. На наступному рисунку було показано параметри відображення для нашої вибірки:



Рис.9 Параметри візуалізації

Рис.10 Показники, які відображаються на діаграмі

Рис.11 Показники, які відображаються на графіку



На рис.12 показано отриманий графік обсягів видобування біоресурсів для різних видів видобутку, взалежності від року видобування. Цей графік демонстує обсяг видубутку біоресурсів (відносний спад):

Рис.12 Діаграма показників продукції



4. ДОСЛІДЖЕННЯ ВИДОБУТКУ БІОРЕСУРСІВ УКРАЇНОЮ ІЗ ЗАСТОСУВАННЯМ МЕТОДІВ АНАЛІТИЧНОЇ ОБРОБКИ ДАНИХ

4.1 Кореляційний аналіз

Кореляційний аналіз застосовується для оцінки залежності вихідних полів даних від вхідних факторів і усунення незначущих факторів. Принцип кореляційного аналізу полягає у пошуку таких значень, які в найменшій мірі корельовані (взаємопов'язані) з вихідним результатом. Такі чинники можуть бути виключені з результуючого набору даних практично без втрати корисної інформації. критерієм прийняття рішення про виключення є поріг значимості. Якщо модуль кореляції (ступінь взаємозалежності) між вхідним і вихідним факторами менше порога значимості, то відповідний фактор відкидається як незначущий.

За допомогою кореляційного аналізу дізнаймося від чого найбільше залежить загальна кількість видобутих біоресурсів:

Рис.13 Вибір даних для кореляційного аналізу



Рис.14 Вибір значущих факторів

Рис.15 Кореляційна залежність

Як ми можемо побачити значним впливом на загальну кількість біоресурсів являє собою видобуток у виключних (морських) економічних зонах інших держав. Також можна зазначити, що найменший вплив має видобуток біоресурсів у виключній морській зоні України.

Для отримання додаткової інформації також побудуємо лінійну регресію:

Рис. 16 Вибір вхідних та вихідних даних для лінійної регресії



Рис. 17 Результат лінійної регресії

4.2 Групування

Аналітику для прийняття рішення часто необхідна зведена інформація, тобто згруповані дані. Сукупні дані набагато більш інформативні, особливо якщо їх можна отримати в різних розрізах. В Deductor передбачений інструмент, який реалізує збір зведеної інформації - «Групировка». Групування дозволяє об'єднувати записи по полях-вимірів, агрегуючи дані в полях-фактах для подальшого аналізу

Рис. 18 Налаштування даних для групування

Рис. 19 Результати групування

На Рис. 19. Можна побачити результати групування, так я в нас вимір це роки, немає сенсу їх використовувати так як в нас нічого б не змінилось, адже дані в нас по одному на рік.

4.3 Кластеризація

Кластеризація - це угрупування об'єктів (спостережень, подій) на основі даних (властивостей), що описують сутність об'єктів. Об'єкти усередині кластера повинні бути «Схожими» один на одного і відрізнятися від об'єктів, що ввійшли в інші кластери. чим більше схожі об'єкти всередині кластера і чим більше відмінностей між кластерами, тим точніше кластеризація.

Рис.20 Задання назначення вихідних стовпців даних

Рис.21 Вибір типу кластеризації



Рис.22 Візуальне відображення даних кластеризації

Рис.23 Профілі кластерів

4.4 Побудова Olap-кубу

OLAP-куб -- структура, яка дозволяє здійснювати швидкий аналіз даних. Також може бути визначена як здатність до маніпулювання і аналізу даних з різних перспектив. Впорядкування даних у куби долає обмеження реляційних баз даних. Такі бази даних не дуже добре пристосовані для майже миттєвого аналізу та відображення великих обсягів даних. Навпаки, вони відповідають вимогам створення записів через серії транзакцій OLTP. Хоча існує багато інструментів створення звітів для реляційних баз даних, вони надто повільні, коли має бути оброблена ціла база даних.



Рис.24 Налаштування Olap-кубу

Рис.25 Налаштування розташування вимірів

Рис.26 Побудований Olap-куб



4.5 Карти Кохонена

Самоорганізовані карти (карти Кохонена) можуть використовуватися для вирішення таких завдань, як моделювання, прогнозування, пошук закономірностей у великих масивах даних, виявлення наборів незалежних ознак і стиск інформації.

Рис.27 Назначення вихідних стовпців даних

Рис.28 Настройка розбивання вихідної множини даних



Рис.29 Запуск процесу побудови карти Кохонена

Рис.30 Карта Кохонена

За допомогою Карти кохонена і вказівника миші ми можемо дізнатися вплив кожного фактору на результуючі поля.

4.6 Побудова нейромережі

Використовуючи нейромережеві алгоритми можна побудувати шукану залежність між цими параметрами. Це завдання виконано за процедурою Майстра обробки «Нейросеть».



Рис.31 Вхідні поля для аналізу з використанням нейромережі

Рис.32 Вибір навчальної\тестової підмножини

Рис.33 Процес навчання нейромережі



Рис.34 Діаграма розсіювання

Рис.35 Багатофакторна нейромережева модель

На рисунку 35 ми можемо спостерігати нейромережеву модель, яка містить в собі візуальну інформацію про взаємовплив наших даних.

Рис.36 Вибір горизонту прогнозування



Рис.37 Діаграма прогнозу

Рис.38 Результати прогнозування

На Рис. 38. Можна побачити 2 однакових прогнози на 2 роки, отримані значення 200847,76 але тенденція прогнозу не справдилась так як фактичні значення 195490 на 2012р., та 216354 на 2013р. Мережа дала дані які вказують на спад, хоча на справді спостерігається підняття обсягів видобутку.

Размещено на Allbest.ru

...