Методи та засоби багатокритеріального оцінювання програм та проектів в сфері космічних досліджень

Размещено на http://allbest.ru

Автореферат дисертації на здобуття наукового ступеня

кандидата технічних наук

Методи та засоби багатокритеріального оцінювання програм та проектів в сфері космічних досліджень

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

космічний аналітичний програма дослідження

Актуальність теми. Ефективне управління космічною діяльністю є необхідною умовою її сталого функціонування та розвитку. Не існує універсальних рецептів ефективного управління, однак існують підходи, що дозволяють підвищити якість рішень, що приймаються. При розв'язанні задач, що виникають при здійсненні космічних досліджень, актуальним є використання системного підходу, сучасних методів моделювання та кількісного аналізу складних систем, можливостей сучасних інформаційних і комп'ютерних технологій. Зокрема, все більшого поширення набуває застосування методів систематичної оцінки ефективності, планування розвитку та управління складними соціально-економічними об'єктами.

Космічна діяльність як об'єкт дослідження є складним науково-технічним та соціально-економічним процесом. Тому задачі, що підлягають розв'язанню, є, як правило, багатокритеріальними, моделі об'єктів такого класу або відсутні, або є слабоструктурованими, важко піддаються формалізації, при цьому загальних правил побудови математичних моделей практично не існує. Основою підходу у даному випадку є глибоке розуміння специфіки функціонування досліджуваної системи, вибір адекватного математичного апарату, досвід та інтуїція дослідника.

Значний внесок у розв'язання задач багатокритеріального оцінювання альтернатив складних рішень і стратегій управління у різних сферах практичної діяльності зробили відомі зарубіжні та українські вчені Р. Кіні, Х. Райфа, Т. Сааті, О. Ларичев, В. Подіновський, М. Згуровський, Н. Панкратова, А. Воронін, В. Тоценко та інші. Основні результати у напрямку застосування системного аналізу для оцінювання об'єктів космічної галузі описано у вітчизняних роботах О. Федоровського, Л. Самойленко, А. Алпатова, О. Федякіна, В. Гусиніна та ін. Незважаючи на існуючі напрацювання в цій предметній області, проблема створення науково-обґрунтованого інструментарію та відповідних комп'ютерних технологій оцінювання наукових космічних програм і проектів ще достатньо не опрацьована, що визначає актуальність досліджень, проведених у дисертаційній роботі. Перспективним є комплексування існуючих методів досліджень та розробка на їх основі нових методів, методик і комп'ютерних технологій для оцінки наукових космічних проектів і програм, для моделювання сценаріїв розвитку космічної галузі, аналізу ефективності виконаних і запланованих робіт.

Дану роботу присвячено розробці методів і засобів реалізації багатокритеріального оцінювання - науково-методичного, алгоритмічного і програмного забезпечення для інформаційно-аналітичної підтримки управлінських рішень щодо розвитку космічних досліджень - оцінки результатів виконаних робіт, обґрунтованого стратегічного і тактичного планування, що дозволить здійснювати вибір найбільш ефективних напрямів і проектів, оптимізувати розподіл ресурсів для їх виконання.

Зв'язок роботи з науковими програмами, планами, темами. Результати дисертаційних досліджень використовувалися при виконанні науково-дослідної роботи “Науково-методичний супровід Програми” (номер держреєстрації 0103U003922), що проводилась у Інституті космічних досліджень НАНУ-НКАУ відповідно до Загальнодержавної (національної) космічної програми України на 2003-2007 роки, а також у рамках теми Національної академії наук України “Моделювання, оцінювання та підтримка прийняття рішень в інтересах здійснення перспективних космічних програм” (номер держреєстрації 0108U000289).

Мета та задачі дослідження.

Метою досліджень є розроблення методів багатокритеріального оцінювання наукових космічних програм і проектів та створення на цій основі методик, алгоритмів та комп'ютерних програм для підтримки та реалізації двох функцій управління - стратегічного планування космічних досліджень та оцінки ефективності виконаних проектів.

Досягнення поставленої мети вимагало розв'язання наступних завдань:

– проведення аналізу предметної області - космічної діяльності в сфері наукових досліджень, як складного багатовимірного науково-технічного та соціально-економічного об'єкта, розроблення на цій основі вимог до методів і засобів реалізації оцінювання космічних програм, проектів, сценаріїв;

– проведення аналізу сучасних методів, підходів та науково-методичного апарату, що використовуються для оцінювання складних слабоформалізованих об'єктів і процесів;

– формування системи критеріїв для аналітичної оцінки наукових космічних програм і проектів на основі визначення їх основних властивостей;

– створення математичного підґрунтя для формалізації процедури оцінювання, розроблення методів оцінювання ефективності наукових космічних програм та проектів;

– розроблення методик, алгоритмів та створення інформаційних комп'ютерних програм багатокритеріального оцінювання ефективності космічних проектів та програм;

– проведення апробації розроблених методів та засобів реалізації, виконання оцінювання проектів і напрямів Національної космічної програми, можливих сценаріїв розвитку в сфері космічних досліджень.

Об'єкт дослідження: процес оцінювання наукових космічних проектів та програм, напрямів космічних досліджень, сценаріїв розвитку космічної діяльності тощо.

Предмет дослідження: методична база та засоби оцінювання наукових космічних програм і проектів.

Методи дослідження: системний аналіз, факторний аналіз, теорія багатокритеріального оцінювання, теорія вибору та прийняття рішень, експертні методи, комп'ютерне моделювання.

Наукова новизна отриманих результатів полягає у наступному:

– розвинено підходи до інформаційного моделювання при оцінюванні космічних програм і проектів з використанням принципу побудови моделей складних об'єктів у вигляді ієрархії;

– вперше розроблено та реалізовано системи критеріїв для оцінювання наукових космічних програм і проектів за різними напрямами космічних досліджень;

– розроблено метод багатокритеріального експертного оцінювання наукових космічних проектів з одержанням інтегральних оцінок за нелінійною схемою компромісів, який відрізняється від загальновідомих тим, що “сигналізує” при наближенні оцінок за локальними критеріями до гранично допустимих значень і дозволяє оцінювати об'єкти з обмеженнями на оцінки за частковими критеріями;

– вперше формалізовано підхід до стратегічного планування космічних досліджень у вигляді аналітичного ієрархічного процесу;

– розроблено метод багатокритеріального оцінювання багаторівневих ієрархічних структур для оцінювання наукових космічних програм з одержанням інтегральної кількісної оцінки методом вкладених скалярних згорток;

– розвинено метод скалярної згортки критеріїв у частині нормалізації часткових критеріїв, що дає можливість не лише порівнювати об'єкти між собою, а і оцінювати єдиний (унікальний) варіант.

Практичне значення отриманих результатів полягає у наступному:

– створено інформаційну комп'ютерну програму оцінювання наукових космічних проектів, яка реалізує багатокритеріальний експертний метод;

– створено інформаційну комп'ютерну програму оцінювання складних об'єктів (космічних програм, сценаріїв), що моделюються у вигляді багаторівневої ієрархічної структури;

– розроблено системи критеріїв для оцінювання наукових космічних програм і проектів за низкою напрямів космічних досліджень.

Простота використання запропонованих систем дозволяє застосовувати їх в конкретній практичній діяльності осіб, що приймають рішення (ОПР), для інформаційно-аналітичної підтримки управлінських рішень з вибору перспективних напрямів розвитку космічних досліджень. Методику оцінювання наукових космічних проектів було передано Національному космічному агентству України та використано при оцінюванні результатів виконання наукових проектів і напрямів 2-ої Загальнодержавної (Національної) космічної програми України.

Розроблені методики можуть використовуватися також для оцінювання сценаріїв-альтернатив при розробленні стратегії розвитку космічної діяльності в Україні на довгострокову перспективу як підґрунтя для стратегічного планування в сфері космічних досліджень.

Особистий внесок. Всі основні результати дисертаційної роботи отримані автором самостійно. У наукових працях, опублікованих у співавторстві, авторові належать наступні результати. У роботах [1, 2] автору належить участь у формуванні критеріїв для оцінювання якості наукових космічних проектів, розробка програмної реалізації методики багатокритеріального оцінювання наукових космічних проектів. У роботах [3,4] - участь у постановці задачі багатокритеріального оцінювання сценаріїв при плануванні космічної діяльності, участь у розробці методики багатокритеріального оцінювання сценаріїв при обмеженнях по часткових критеріях, проведення чисельних розрахунків та інтерпретація результатів. У роботі [5] - формалізація задачі багатокритеріального оцінювання ієрархічних систем, створення алгоритму та програмної реалізації, проведення чисельних розрахунків та інтерпретація результатів. У роботі [7] - розробка з використанням агрегативно-декомпозиційного підходу системної інформаційної моделі отримання та використання даних дистанційного зондування Землі. У роботі [8] - демонстрація застосування технології багатокритеріального оцінювання ієрархічних систем для оцінки можливих сценаріїв розвитку космічної галузі, моделювання ієрархічної системи для оцінки варіантів-альтернатив, проведення чисельних розрахунків та інтерпретація результатів.

Апробація результатів дисертації. Результати та основні положення роботи доповідалися та обговорювалися на: міжнародних конференціях “Dynamical system modelling and stability investigation” (м. Київ, 2005, 2007, 2009), міжнародній науково-технічній конференції “Системний аналіз та інформаційні технології” (м. Київ, 2005), VІІ міжнародній науково-технічній конференції “АВІА-2006” (м. Київ), міжнародних конференціях з автоматичного управління “Автоматика-2006” (Вінниця, 2006) і “Автоматика-2008” (Одеса, 2008).

Публікації. За матеріалами дисертації опубліковано 16 робіт, з яких 8 - статті у журналах і збірнику наукових праць, що входять до переліку фахових видань, затверджених ВАК України (одна з них без співавторів) та 8 - публікації у матеріалах конференцій (у тому числі, міжнародних).

Структура та обсяг дисертації. Дисертація складається із вступу, чотирьох розділів, висновків, списку використаних джерел та додатку. Вона містить 141 сторінку, із них 111 сторінок основного тексту, 27 рисунків, 7 таблиць, список використаних джерел з 121 найменування на 13 сторінках та 1 додаток на 2 сторінках.

основнИЙ ЗМІСТ

У вступі обґрунтовано актуальність теми дисертації, наведено стислий огляд наукових результатів у відповідній галузі, показано зв'язок роботи з науковими темами, у роботі над якими брала участь автор, сформульовано мету та завдання дисертаційної роботи, визначено об'єкт і предмет дослідження, наукову новизну та практичне значення отриманих результатів і особистий внесок здобувача, наведено відомості про апробацію та публікацію результатів досліджень.

У першому розділі проаналізовано різні багатокритеріальні методи оцінювання складних об'єктів та особливості їх використання при прийнятті рішень в різних предметних областях, зокрема, у світових космічних дослідженнях і вітчизняній космічній діяльності. Встановлено, що створення інформаційних програмно-моделюючих систем підтримки прийняття рішень при оцінюванні космічних програм і проектів є важливою задачею, їх застосування буде сприяти підвищенню ефективності оцінювання, забезпечить науково-обґрунтований вибір перспективних напрямів космічних досліджень.

У другому розділі досліджено проблему оцінювання програм та проектів у сфері космічних досліджень з точки зору теорії прийняття рішень, сформульовано постановки задач, запропоновано принципи їх розв'язання.

Оскільки об'єкти, що розглядаються, внаслідок своєї багатоаспектності описуються великим числом показників різної природи і проблема оцінювання є багатокритеріальною, запропоновано використовувати дві групи критеріїв оцінювання: загальні критерії, що характерні для космічної діяльності взагалі (фінансово-економічні, науково-технічні, соціальні, зовнішньополітичні), та спеціальні критерії для оцінки космічних досліджень, зокрема, напрямів “Вивчення Землі з космосу” та “Дослідження і використання космічного простору”. Серед критеріїв оцінки космічних досліджень запропоновано виділити наступні:

– міра актуальності і новизни досліджень;

– ступінь сприяння створенню нових методів, теорій;

– ступінь широти наукових досліджень;

– ступінь сприяння ініціюванню розробок унікального науково-технічного устаткування;

– ступінь сприяння ініціюванню проривних наукових ідей;

– міра прикладної актуальності досліджень;

– ступінь впливу на національний науковий і технічний потенціал;

– рівень затребуваності та використання результатів;

– міра сприяння відкриттю нових фізичних ефектів і закономірностей, що сприяють створенню нових технологій, матеріалів, зразків техніки;

– ступінь внеску результатів досліджень у пошук відповідей на фундаментальні питання щодо походження і розвитку Всесвіту.

Серед критеріїв оцінки напряму “Вивчення Землі з космосу” можна виділити наступні:

– рівень якості даних спостереження Землі, що необхідні для розв'язання тематичних завдань;

– ступінь оперативності надходження даних ДЗЗ замовнику;

– рівень масштабів використання результатів ДЗЗ у різних областях (агропромисловість, метеорологія, водогосподарство, геологорозвідка, будівництво, транспорт, держуправління, оборонні завдання);

– міра сприяння одержанню нових знань шляхом досліджень Землі засобами ДЗЗ;

– рівень сервісу споживачів даних ДЗЗ;

– рівень попиту на результати ДЗЗ;

– ступінь міжнародного співробітництва в області ДЗЗ шляхом обміну інформацією;

– ступінь впливу результатів дослідження на функціонування та розвиток галузей економіки;

– рівень експортного потенціалу отриманих результатів ДЗЗ;

– рівень конкурентноздатності космічних засобів ДЗЗ у технічному та інформаційному аспектах;

– ступінь впливу результатів ДЗЗ на вирішення проблем глобальної та регіональної безпеки (екологічної, економічної та ін.).

Наведено основні положення багатокритеріального оцінювання складних об'єктів, які було покладено в основу оцінювання космічних програм і проектів. Розглядається множина альтернатив , для якої виділено групу критеріїв , що характеризують властивості об'єкта. Для цієї множини може бути сформована матриця значень на підставі вимірювання оцінок за критеріями , де - оцінка -ої альтернативи по -му критерію.

У рамках математичної процедури багатокритеріального оцінювання космічних програм і проектів необхідно пройти такі етапи:

– сформулювати метод згортки часткових критеріїв в узагальнений критерій;

– встановити шкали оцінювання та метод нормалізації;

– встановити системи пріоритетів (ваги критеріїв);

- сформувати правило прийняття рішень, тобто вибору альтернатив (розв'язувальне правило).

Проблема багатокритеріального оцінювання на множині розв'язків пов'язана із залученням додаткової інформації, зокрема, експертної.

Наведено постановку багатокритеріальної задачі при розгляді деякої вибраної множини рішень. Розглядається множина можливих рішень (альтернатив) , що складається з векторів _мірного евклідового простору. Рішення приймається при зовнішніх впливах, що описуються вектором , заданим на множині можливих факторів . Визначається множина рішень, що вибираються до розгляду, . Нею може бути будь-яка підмножина множини можливих рішень, .

Якість рішення оцінюється за сукупністю суперечливих часткових критеріїв визначених на множині можливих рішень . Вказані критерії утворюють векторний критерій

, (1)

який приймає значення у просторі -мірних векторів . Будь-яке значення векторного критерію при певному є векторною оцінкою можливого рішення . Всі можливі векторні оцінки утворюють множину можливих оцінок (можливих векторів ефективності) , серед множини якої розглядається множина оцінок, що вибираються до розгляду

(2)

Вектор часткових критеріїв обмежений допустимою областю: . Ситуація, що складається у результаті прийняття багатокритеріального рішення в заданих умовах , характеризується декартовим добутком .

Ставиться задача: визначити таке рішення , яке при заданих умовах та обмеженнях дає найкраще значення вектора ефективності .

Пропонується застосовувати для розв'язання задачі метод багатокритеріального оцінювання, що реалізує нелінійну схему компромісів та підхід до агрегації часткових критеріїв векторного критерію.

Перший етап цього методу полягає у визначенні розмірності та якісного складу вектора критеріїв оцінювання, а також одержанні кількісних оцінок за частковими критеріями. При одержанні кількісних оцінок за критеріями керуються фундаментальною шкалою (табл. 1), яка у термінах теорії нечітких множин є функцією приналежності і за допомогою якої здійснюється перехід від лінгвістичних змінних (“задовільна якість”, “висока якість” та інших) до кількісних оцінок. Експерти приписують кожному з часткових критеріїв відповідну точку на шкалі оцінювання.

Таблиця 1. Шкали оцінювання

Масив отриманих від експертів даних є сукупністю чисел . Це - оцінка, дана -м експертом по критерію за фундаментальною шкалою, , - кількість експертів.

Другий етап методу багатокритеріального оцінювання стосується визначення ступеня компетентності експертів у результаті ітераційної процедури та отримання оцінок кожного -го критерію усереднених по числу експертів:

(3)

де - масив вихідних даних експертних оцінок, - масив коефіцієнтів компетентності експертів на -й ітерації, - задана мала величина.

Третій етап методу багатокритеріального оцінювання полягає у виявленні інформації про відносну важливість кожного -го критерію () для ефективності рішення, - визначенні вагових коефіцієнтів

(4)

де - оцінка у балах важливості -го критерію, дана -м експертом ().

На четвертому етапі методу багатокритеріального оцінювання здійснюється перехід від векторної оцінки альтернатив до скалярної з метою порівняльного оцінювання варіантів за сукупністю критеріїв. Шукане рішення представляється у вигляді

(5)

де векторна оцінка будь-якого з можливих рішень з урахуванням нелінійної схеми компромісів задається формулою

- нормовані оцінки по мінімізованим частковим критеріям, які обчислюються за формулою

(6)

- гранично погана аналітична оцінка для даної альтернативи.

Зазначимо, що застосована нелінійна схема компромісів при згортці часткових критеріїв “сигналізує” у випадку, коли оцінка по якомусь з критеріїв близька до неприйнятного значення (до обмеження), на відміну від лінійної згортки, коли низька оцінка по одному з критеріїв може бути компенсована високою оцінкою по іншому.

Інформативність оцінок альтернативи може бути підвищено за рахунок об'єднання часткових критеріїв у групи і формування агрегованих критеріїв за принципом вкладених скалярних згорток. Тоді оцінки по агрегованих критеріях визначаються за співвідношенням

Дисертаційну роботу присвячено розробленню методів та засобів багатокритеріального оцінювання в сфері космічних досліджень з метою їх застосування для підтримки та реалізації двох функцій управління - оцінювання ефективності виконаних робіт та стратегічного планування космічних досліджень.

1. Аналіз предметної області - космічних досліджень, як складної багатомірної багатозв'язної системи, слабоформалізованого багаторівневого об'єкту, показав необхідність врахування великої кількості факторів впливу, відсутність формалізованих моделей, багатокритеріальність розв'язуваних задач, нечіткість вибору критеріальної бази оцінювання. На основі аналізу сучасних методів багатокритеріального оцінювання об'єктів у процесах прийняття рішень обрано адекватний математичний апарат з урахуванням специфіки досліджуваної предметної області.

2. Розроблено системи критеріїв для оцінювання наукових космічних програм та проектів за різними напрямами космічних досліджень, які дозволяють здійснювати комплексну оцінку ефективності досліджуваних об'єктів.

3. Розроблено метод та на його основі методика, алгоритм та комп'ютерна програма оцінювання наукових космічних проектів, що реалізують багатокритеріальний експертний підхід з візуалізацією результатів; показано, що одержання аналітичної інтегральної оцінки за допомогою нелінійної схеми компромісів виявляє випадок наближення оцінок за локальними критеріями до обмежень (на відміну від використання лінійної згортки).

4. Розроблено метод та на його основі методику, алгоритм та комп'ютерну програму для багатокритеріального оцінювання багаторівневих ієрархічних структур, що моделюють складні об'єкти, з одержанням кількісної інтегральної оцінки за допомогою апарату вкладених скалярних згорток оцінок по елементах ієрархії. Запропонований підхід забезпечує детальний аналіз проблеми, дозволяє розраховувати як підсумковий рейтинг варіантів, так і оцінку значимості кожного фактору у складі ієрархії, що створює основу для оптимізації характеристик досліджуваного об'єкту. Розроблений метод дозволяє здійснювати не тільки порівняльний аналіз конкуруючих альтернатив, а й оцінювати єдиний варіант.

5. Отримані результати були апробовані при оцінюванні ефективності виконання проектів 2-ої Загальнодержавної (Національної) космічної програми України та низки напрямів наукових космічних досліджень. Результати оцінювання та розроблені методики було передано НКАУ для їх подальшого використання при плануванні космічної діяльності та оцінюванні виконаних робіт.

6. Продемонстровано застосування методики багатокритеріального оцінювання багаторівневих ієрархічних структур для оцінювання можливих сценаріїв розвитку космічної галузі у рамках розроблення Стратегії космічної діяльності в Україні на період до 2030 р.

Результати виконаної роботи можуть бути використані при створенні інтелектуальних систем науково-обґрунтованої підтримки прийняття управлінських рішень щодо розвитку космічної галузі.

список опублікованих праць за темою дисертації

космічний дослідження оцінювання

1. Воронин А. Н. Методика многокритериальной оценки эффективности научных космических проектов / А. Н. Воронин, Л. Н. Колос, Л. В. Подгородецкая // Проблемы управления и информатики. -- 2004. -- № 5. -- С. 46--56.

2. Воронин А. Н. Комплексная методика многокритериальной оценки эффективности научных космических проектов / А. Н. Воронин, Л. Н. Колос, Л. В. Подгородецкая // Проблеми інформатизації та управління. -- К. : НАУ, 2004. -- Вип. 10. -- С. 92--99.

3. Самойленко Л. И. Разработка методологии оценки сценариев в задачах планирования космической деятельности. Часть 1 / Л. И. Самойленко, Л. М. Яковлева, Т. В. Ильенко, Л. В. Подгородецкая, Л. Н. Колос // Проблемы управления и информатики. -- 2005. -- № 5. -- С. 145--156.

4. Самойленко Л. И. Разработка методологии оценки сценариев в задачах планирования космической деятельности. Часть 2 / Л. И. Самойленко, Л. М. Яковлева, Т. В. Ильенко, Л. В. Подгородецкая, Л. Н. Колос // Проблемы управления и информатики. -- 2005. -- № 6. -- С. 127--134.

5. Воронин А. Н. Алгоритм и программная реализация многокритериальной оценки иерархических систем / А. Н. Воронин, Л. Н. Колос // Автоматизація виробничих процесів. -- 2006. -- № 2 (23). -- C. 101--108.

6. Колос Л. Н. Компьютерная система поддержки многокритериальных решений в иерархических системах / Л. Н. Колос // Проблемы управления и информатики. -- 2008. -- № 4. -- С. 92--99.

7. Самойленко Л. И. Системная информационная модель получения и использования космической информации ДЗЗ / Л. И. Самойленко, С. А. Баулин, Т. В. Ильенко, М. А. Кирносова, Л. Н. Колос, Л. В. Подгородецкая // Проблемы управления и информатики. -- 2008. -- № 6. -- С. 89--98.

8. Колос Л. Н. Технология многокритериальной оценки иерархических структур для оценивания сценариев развития космической отрасли Украины / Л. Н. Колос, А. Н. Воронин // Проблемы управления и информатики. -- 2009. -- № 6. -- С. 104--113.

9. Воронин А. Н. Системный анализ многокритериальных иерархических структур / А. Н. Воронин, Л. Н. Колос // Системний аналіз та інформаційні технології : VII Міжнар. наук.-техн. конф., 28 черв. -- 2 лип. 2005 р. : матеріали. -- К. : НТУУ “КПІ”, 2005. -- С. 19.

10. Воронин А. Н. Алгоритм и программная реализация многокритериальной оценки эффективности космических проектов / А. Н. Воронин, Л. Н. Колос // АВІА-2006 : VII Міжнар. наук.-техн. конф., 25--27 верес. 2006 р. : матеріали. -- К. : НАУ, 2006. -- С. 113--116.

11. Воронин А. Н. Векторная оценка и оптимизация иерархических структур / А. Н. Воронин, Л. Н. Колос // Dynamical system modelling and stability investigation : междунар. конф., 23--25 мая 2005 г. : тезисы докл. -- К. : КНУ им. Т. Шевченка, 2005. -- С. 37.

12. Воронин А. Н. Алгоритм и программа многокритериальной оценки иерархических структур / А. Н. Воронин, Л. Н. Колос // Автоматика-2006 : ХІІІ міжнар. конф. з автоматичного управління, 25--28 верес. 2006 р. : тези доп. -- Вінниця : Універсум, 2006. -- С. 313.

13. Воронин А. Н. Разработка программы многокритериальной оценки иерархических структур / А. Н. Воронин, Л. Н. Колос // Dynamical system modelling and stability investigation : междунар. конф., 22--25 мая 2007 г. : тезисы докл. -- К. : КНУ им. Т. Шевченка, 2007. -- С. 366.

14. Воронин А. Н. Построение СППР для оценки объектов космической деятельности / А. Н. Воронин, Л. Н. Колос // Автоматика-2008 : ХV міжнар. конф. з автоматичного управління, 23--26 верес. 2008 р. : тези доп. -- Одесса : ОНМА, 2008. -- С. 111--114.

Размещено на Allbest.ru