Методологічні основи системного аналізу якості проектів та програм розвитку виробництва

.

Для відображення ієрархії елементів і їхніх взаємозв'язків розроблена структура загальної кваліметричної моделі (рис. 3).

Рис. 3. Структура загальної кваліметричної моделі

Процес оцінювання заснований на ряді аксіом:

1. Оцінювані вимоги щодо якості порівнюються у визначених межах, що характеризуються компонентами системи оцінки.

2. Результат оцінювання залежить від властивостей об'єкта:

де {r} - множина властивостей.

3. Рівень формалізації оцінки відповідає рівню формалізації об'єкта оцінювання.

4. Монотонному зростанню потужності множини ознак бази порівняння відповідає монотонне убування потужності класу порівнянності.

5. Різниця в суб'єктах може призводити до розходження в оцінках при тих самих базі порівняння й інших компонентах системи оцінювання.

6. Оцінка якості залежить від моменту часу оцінювання:

7. При постійних базі і суб'єкті оцінювання виконується транзитивність оцінок якості:

,

де G - оператор “краще, ніж”; - порівнювані якості.

Наведені аксіоми дозволяють обґрунтувати вибір рівня формалізації об'єкта, шкал виміру, одержання оцінок якості на основі часткових показників, вибір методів оцінювання різнорідних об'єктів, враховування характеристик процесу.

З урахуванням системних аспектів представлення програми та основних показників якості виділені задачі оцінювання якості, що вирішуються при плануванні і виконанні програми.

При плануванні необхідно:

- одержати прогнозовані оцінки можливості виконання програми,

- провести аналіз реалізовності функціональних і технічних вимог щодо створення складових елементів програми,

- проаналізувати й оцінити стан і можливості підприємства-виконавця.

У ході виконання програми потрібно:

- одержати прогнозовані оцінки можливості створення зразка нової техніки з урахуванням виконання етапів життєвого циклу,

- оцінити результати виконаних робіт підприємствами-виконавцями.

Для цих задач побудовані кваліметричні моделі, на основі яких розроблені системні методики одержання значень показників якості. Крім систем оцінки і структурного представлення моделей (Si) розроблені моделі процесу оцінювання (Modi), які визначають взаємодію елементів і послідовність одержання множини оцінок якості.

На основі загальної чотирикомпонентної моделі сформована система оцінки для задачі одержання прогнозованих оцінок можливості виконання програми:

S1 = {Ob{r1}, Sb, B, Al(sc,int), L, K(exp,evr,nech).

Тут об'єкт представлено ієрархічною структурою елементів з урахуванням цільового, функціонального і технічного аспектів у вигляді загальнофункціональних вимог і укрупнених техніко-економічних показників. Суб'єктом оцінювання є група експертів. При цьому використовуються експертна й аналогова бази порівняння. У представленні алгоритму виділені операції шкалювання і згортки (sc,int), використовується абсолютна логіка оцінювання, застосовуються методи обробки експертних оцінок, евристичні процедури і методи обробки нечітких значень K(exp,evr,nech).

Модель оцінювання для цієї задачі:

od1={Sb:{r1} Al(sc):B(exp)K(exp)(sc):K(nech)

O(Se):B(Ob') S2 (sc):K(exp) (int):K(evr)

B(an):K(evr) O(I)(sc):O}.

Вона відображає послідовність процедур оцінювання. Кожна процедура визначає необхідність застосування відповідного методу та операції для формування бази порівняння або одержання множини оцінок якості.

Система оцінки і модель для задачі аналізу реалізовності функціональних і технічних вимог щодо складових елементів програми:

S2 = {Ob{r2}, Sb, B(exp,an), Al, L, K, O},

od2 = {Sb{r2} Al(cl):K(mat) B(an'),(sc):K(tax)

(cl),K(evr):O(Se) (cl),K(tax):B(an') K(nech):O(Se)}.

Тут уведена нова операція - класифікація (cl), додаються математичні і таксонометричні методи K(mat,tax), формується база аналогів B(an').

Для вирішення задачі оцінювання стану і можливостей підприємства-виконавця розроблені моделі на трьох рівнях оцінювання.

1. Укрупнене оцінювання:

S31 = {Ob3{r}, Sb3, B(Idl), Al, L, K(exp, stat, ind), O(M, Se)},

od31 = {Sb3{r} Al(sc):K(exp, stat, ind) L:B(Idl)

O(M):(int) O(Se):(sc)}.

2. Тестування:

S32 = {Ob3{r}, Sb(exp), B(Idl), Al, L, K(exp, stat), O(M)},

od32 = {Sb(exp){r} Al(sc):K(exp) B(Idl):K(stat)

L:B O(M):(int) O(M'):(sc)}.

3. Аналого-нормативне оцінювання:

S33 = {Ob3{r}, Sb(exp), B(ent, norm, stat), Al, L, K, O(M)},

od33 = {Sb(exp){r} Al(sc):K(exp) B(Idl):K(stat)

L:B O(M):(int) O(M'):(sc)}.

Моделі для задач одержання прогнозованих оцінок виконання технічних вимог на етапах життєвого циклу і контролю результатів виконання робіт:

S4 = {Ob4{r}, Sb(z), B(anal), Al, L, K(evr, nech), O(M, Se)},

od4 = {Sb4{r} Al'(sc):B(anal),K(tax) (sc):K(nech)

L,(int):O(M) Al”(sc):B(W) :(sc),K(evr):O”(Se)},

S5 = {Ob5{r}, Sb5, B(exp, pl, doc), Al, L, K(exp, mat, evr), O'(M, Se)},

od5 = {Sb2{r} AlL,B(pl, doc),K(evr):O(Se)

L,B(exp),K(exp):O(Se) (sc):O(M) (int),K(mat):O(Se)}.

Отримані структурні схеми, системи оцінок і їхні моделі є основою для розробки системних методик визначення показників якості.

4. Експертні і аналого-порівняльні методи, системна методика оцінювання якості елементів програми

Запропоновано метод експертного оцінювання коректності представлення вихідних даних проекту, а саме: елементного складу, загальнофункціональних вимог щодо розробки, розподілу фінансування по елементах; укрупнено оцінюється реалізованість технічних характеристик при заданих техніко-економічних показниках. Цей метод є необхідним для попереднього оцінювання програми на концептуальному рівні представлення, при значному недостатку і невизначеності вихідної інформації.

Для оцінювання реалізованості технічних характеристик розроблена евристична процедура розбивки множини значень характеристик за ознакою міри реалізованості на групи: “реалізована”, “реалізована з визначеною імовірністю”. “реалізована при інших значеннях техніко-економічних показників”, “нереалізована”. При цьому враховується узагальнена думка групи експертів у вигляді коефіцієнту належності:

,

де bjik - належність j-ї характеристики k-й групі; Ki - компетентність експерта. Спочатку обчислюється значення показника реалізовності в кожній групі, а потім - значення узагальненого показника реалізовності характеристик.

Розроблено метод аналогій для оцінювання якості елементів проектів і програм на основі інформації про загальфункціональні вимоги, технічні характеристики і техніко-економічні показники створюваних зразків нової техніки. Метод дозволяє здійснювати підбор і якісне оцінювання аналогів, розраховувати ступені недостатності опису аналогів і міри подібності аналогів і зразка. При цьому виробляється класифікація множини аналогів на категорії: “близькі” - при значному збіганні загальфункціональних вимог, “середні” - при частковому збіганні, “далекі” - при значній відмінності вимог. Метод дозволяє робити висновки про можливість використання аналогів для побудови бази порівняння: аналог може бути використаний повною мірою, може бути використаний частково або не може бути використаний через недостатній опис. Також рекомендується один із способів використання аналогів: подальше обчислення “подібності” по характеристиках усередині груп, якісне оцінювання подібності може бути основою для кількісної, при значній кількості аналогів використовуються тільки найближчі за загальфункціональними вимогами.

Для одержання міри якості на основі міри подібності розроблюваного зразка використовується одиничний відносний показник якості різнорідних об'єктів:

де , щільність розподілу показника i-ї властивості; функція міри якості при реалізації i-ї властивості. Одиничний відносний показник якості дозволяє використовувати конкретну функцію корисного ефекту для кожного одиничного показника якості і враховувати нерівномірність щільності імовірності значень абсолютних показників властивостей зразка й аналога.

На закінчення розділу розроблено системну методику аналізу якості елементів програми на концептуальному і середньостроковому рівнях планування, що передбачає одержання інтегральних оцінок якості програми на основі результатів аналізу її морфологічних елементів. У методиці виділені види вихідної інформації, використовувані шкали і методи, а також основні етапи. Основні етапи методики реалізовані у вигляді програмних модулів.

Для підвищення вірогідності результатів і ефективності методики проведено аналіз відповідності методів і шкал вимірів. Графічно проілюстровано рівень інформативності застосовуваних шкал виміру на послідовних етапах методики, а також ефективність шкал для відповідних методів.

5. Методи та системна методика аналізу якості виконавців окремих проектів і складових програми

При оцінюванні виконавців органами сертифікації й акредитації основним показником є якість виробленої продукції на дуже вузькому проміжку часу, переважно на момент оцінювання. У пропонованій методології велика увага приділяється накопиченому досвіду виконавця, його можливостям по виробництву нових зразків техніки, прогнозу науково-технічного розвитку.

Кваліметрична модель визначає такі способи оцінювання підприємств: укрупнене оцінювання, тестування, аналого-нормативне оцінювання. Забезпечується виключення виконавців з низькими можливостями на першому етапі. Потім проводиться всебічний аналіз підприємства за допомогою набору показників тестування.

У роботі пропонується метод трирівневого тестування. На першому рівні враховуються результати сертифікації і проводиться комплексний експрес-аналіз підприємства. Результати дозволяють оцінити фінансове становище, досвід роботи, рівень технологій, ефективність взаємодії зі співвиконавцями. На другому рівні конкретизуються можливості виконання етапів життєвого циклу. На останньому рівні враховуються вимоги щодо виконання конкретних робіт, що мають значну новизну. Розроблена система показників, що враховують динаміку і напрямок розвитку підприємства, і причинно-наслідкова мережа їхніх взаємозв'язків. Найкращі значення показників утворюють базу порівняння. При детальному тестуванні проводиться аналіз по таких аспектах: номенклатурно-виробничий, ресурсний, технологічний, інтеграційний, фінансовий і управлінський.

Для використання нормативного підходу при оцінюванні підприємств необхідна розробка нового методу - аналого-нормативного, що дозволяє формувати динамічну нормативну базу. Робиться порівняльне оцінювання якості підприємства у вигляді гіперболічного графового індексу ефективності за Фарелом:

,

де x,u - вектори показників підприємства; G - множини підприємств- аналогів. Результатом є оцінка ступеня невідповідності рівня підприємства нормативним вимогам.

Якщо мається досить повна статистична інформація про діяльність підприємства, то для оцінювання якості застосовуються економіко-математичні методи. У роботі приділена увага методам оцінювання техніко-організаційного рівня, виробничих функцій, методу фінансових коефіцієнтів.

З погляду теорії управління ризиками всі показники, описані вище, визначають внутрішній ризик підприємства. З додаванням факторів зовнішнього ризику виробляється загальна оцінка "пакета ризиків" , де r1,..., rn - ризики окремих наслідків. Використовується функція ризику за Клейнером, що визначається можливістю події (v) і рівнем очікуваних збитків (z) : r(v, z) = vz . Тут використовуються системна кваліметрична модель у вигляді множини властивостей (М) з набором відношень (R) : та шкали , де Х - множина значень показника, QiXk(i) - відношення k(i)-го ступеню на множині X.

Для підвищення вірогідності оцінки якості зроблено порівняльний аналіз методів оцінювання виконавців і визначені умови їхнього застосування.

На закінчення розділу розроблено загальну схему системної методики оцінювання виконавців. Методика застосовується на середньостроковому і річному рівнях планування. Результатом є показник якості як можливість виконання робіт, він визначається узагальненою мірою недоліків підприємства. Виражається кількісно - обсягом засобів, необхідних для доведення підприємства до необхідного рівня.

6. Методи і системна методика оцінювання якості складових програми в ході її виконання

Першим етапом методики є оцінювання планованих термінів виконання робіт методом аналогій. Метод дозволяє використовувати припустимий часовий інтервал у вигляді функцій належності і з урахуванням міри подібності одержувати оцінку можливих термінів виконання робіт. Розглянуто різні варіанти визначення очікуваного терміну виконання робіт залежно від термінів виконання аналогічних робіт. Так, у випадку, коли , де Tо - планований час на розробку даного зразка, Tаi - час на розробку i-го аналога з множини аналогів , очікуваний час розробки:

.

Тут - міра відмінності i-го аналога і зразка.

При розробці зразка нової техніки на кожному етапі життєвого циклу можуть виникнути труднощі у виконанні заданих замовником вимог. У результаті загальна реалізованість вимог проекту має тенденцію до зниження. Для підтримки реалізованості в припустимих межах розроблена процедура своєчасного коректування вимог без збитку основним цілям і функціям розроблюваного зразка за згодою замовника. При цьому визначається обсяг вимог і їхній рівень у такій шкалі:

· вимоги майже незмінні, реалізованість на задовільному рівні;

· реалізованість підтримується на задовільному рівні при постійному коректуванні вимог;

· вимоги не підлягають зміні, реалізованість критична;

· вимоги майже незмінні, реалізованість виходить за припустимі межі, рекомендується припинення проектування;

· вимоги на різних етапах неоднорідні, неможливо виявити тенденцію зміни реалізованості.

Рівень вимог i-го етапу розроблюваного зразка визначається як:

= (Kij),

де - коефіцієнт прогресивності j-ї вимоги (відношення необхідного і базового значень), - функція згортки часткових коефіцієнтів. Рівень вимог i-го етапу визначається на основі скоректованих вимог попереднього етапу () і нових вимог поточного етапу ():

.

Тут - коефіцієнт послідовності, - обсяг нових вимог, визначений як ентропія, E'і-1 - обсяг скоректованих вимог попереднього етапу. Відповідно до рівня вимог і після порівняння результатів виконання з прогнозними оцінками реалізовності передбачені варіанти прийняття рішень від зниження вимог щодо припинення даної розробки.

Остання задача системної методики - контроль якості робіт. В стандартах якості передбачені три способи контролю: першою стороною - самим підприємством у вигляді системи контролю якості, другою стороною - замовником і третьою стороною - незалежними органами контролю й аудиту. У роботі пропонується комбінація цих способів в інтересах замовника.

У випадку розбігу думок виконавця і контролера використовується процедура узгодження. Розроблено евристичну процедуру обробки лінгвістичних значень якості робіт, результатом якої є узагальнена оцінка:

,

де Kw - оцінка замовником, Ki - оцінка виконавцем. При значному розбігу думок використовуються знання експертів-фахівців (Кe):

,

тут k - середня абсолютна компетентність групи експертів.

Для одержання інтегрального показника якості робіт основні фактори, проаналізовані вище, виражаються в лінгвістичній шкалі:

а) обсяг роботи: “запланований обсяг виконаний цілком”, “мається незначне недовиконання обсягу”, “недовиконання значне, робота вважається невиконаною”;

б) якість роботи (продукції) у вузькому змісті: “якість роботи краще запланованого рівня або відповідає йому”, “задовільна, можливі незначні доробки”, “незадовільна”;

в) терміни виконання: “виконання в термін або з незначним запізнюванням”, “значне запізнювання, але воно не вплинуло на графік виконання наступних робіт”, “фактичний час виконання більший за запланований вдвічі або запізнювання вплинуло на загальний графік робіт”;

г) витрата коштів: “нема перевитрати або вона покривається резервами підприємства”, “мається перевитрата, що покривається за рахунок зовнішніх кредитів і позик”, “потрібне було додаткове фінансування від замовника”.

Для представлення інтегрального показника у вартісній формі здійснюється аналіз множини альтернатив і побудова єдиної порядкової шкали рангових оцінок. У результаті програмно-імітаційного моделювання процесу оцінювання отримана експонентна залежність, що ілюструє ступінь зростання додаткових витрат при вихідному низькому рівні якості виконання робіт.

На основі кваліметричної моделі та розроблених методів створено системну методику оцінювання, контролю і прогнозу якості на етапах виконання програми. Вона дозволяє проводити аналіз якості робіт на кожному етапі життєвого циклу, вчасно реагувати на недоліки, у результаті підвищується вірогідність загальної прогнозованої оцінки якості елементів, а також всієї програми в цілому.

7. Апробація основних наукових результатів шляхом оцінювання якості державних програм і їхніх елементів

Для реалізації основних положень методології у вигляді розрахункового комплексу системних методик створено комп'ютерну систему оцінювання якості проектів та програм. Її основою є структура прикладної інформаційної технології, яка пов'язує:

а) вихідну інформацію: представлення програми на концептуальному, середньостроковому та річному рівнях;

б) бази даних: аналогів-проектів і аналогів-зразків нової техніки, підприємств-виконавців і підприємств-аналогів, експертів;

в) програмні модулі розрахунків на різних обріях планування;

г) одержувані результати: тактико-технічне обґрунтування програми, уточнений морфологічний зміст програми, рекомендації для прийняття рішень по коректуванню програми.

Використання комп'ютерної системи оцінки якості проілюстровано на прикладі аналізу Державної програми розвитку озброєння і військової техніки. Представлені результати експертного оцінювання коректності вихідних даних, виділення множини близьких аналогів, експрес-аналізу можливостей підприємства, а також оцінювання можливості виконання річного оборонного замовлення.

Наступним прикладом є оцінювання якості елементу Національної космічної програми України - проектованого наземного автоматизованого комплексу керування космічними апаратами (НАКК КА). На концептуальному рівні представлення проводиться експертиза якості проектних рішень. Аналіз якості НАКК КА від передпроектних досліджень до ескізного проекту проводиться методами системного моделювання. Оцінювалися такі показники: реалізовність цілей і функціональних задач, коректність морфологічної структури, ефективність інформаційних характеристик, можливість досягнення системних тактико-технічних характеристик і технічних характеристик елементів нижнього рівня.

Проводився аналіз якості елемента Програми реструктуризації залізничного транспорту України - системи комплексного транспортно-експедиційного обслуговування. Тут якість визначалася за такими показниками: реалізовність прогнозованого обсягу перевезень, можливість забезпечення рекламної діяльності, ризики незбереження перевезення і порушення термінів доставки.

Висновки

кваліметричний виробничий інформаційний

Дисертаційна робота присвячена науковій прикладній проблемі аналізу якості науково-технічних програм розвитку виробництва. Існуючі наукові підходи і методи, а також прикладний інструментарій не дозволяють повною мірою відобразити і системно проаналізувати аспекти якості розроблювальних складних проектів і програм. У зв'язку з цим автором запропоновані вимоги щодо якості складних проектів і програм, виділені основні показники якості, розроблені кваліметричні моделі, що дозволили сформувати системні методики оцінювання якості.

Проведено аналіз морфологічної структури складних проектів і програм з урахуванням цільових, функціональних, технічних і організаційних аспектів. На основі ієрархічного функціонального представлення розроблена процедура аналізу якості технічних вимог до елементів програми. Розроблена схема послідовного оцінювання якості процесів на основі показників реалізованості загальфункціональних і технічних вимог дозволила врахувати особливості етапів життєвого циклу створення складних виробів. Розглянуто методи аналізу якості проектних рішень на відповідних стратах представлення складних проектів і програм та на різних рівнях декомпозиції.

Сформульовані принципи і розроблена архітектура системної методології оцінки якості проектів та програм розвитку виробництва.

Автором запропоновано й обґрунтовано використання категорій кваліметрії для виміру й оцінювання якості як складних об'єктів, так і процесів. Кваліметричні моделі дозволили описати систему оцінки якості у вигляді формалізованого представлення суб'єкта, об'єкта, бази й алгоритму оцінювання. Кваліметричне представлення алгоритму дозволили визначити оператори, логіку і методи оцінювання, множину значень оцінок якості. Розроблено структуру загальної кваліметричної моделі, що відображає ієрархію елементів, їх взаємозв'язок. Модель забезпечує адекватність у представленні об'єкта і вірогідність множини оцінок якості.

З урахуванням системних аспектів програми та основних показників якості сформульовані основні задачі оцінювання якості, що вирішуються в ході планування і виконання програми. Крім структурного представлення для кожної задачі розроблена система оцінки і кваліметрична модель оцінювання, що визначає взаємодію елементів моделі і послідовність одержання множини оцінок якості. Це дозволило сформувати структуру системних методик, перелік вихідних даних про об'єкт, шкали виміру, методи одержання показників якості.

Для оцінювання якості елементів програми розроблена системна методика з застосуванням експертних і аналого-порівняльних методів. Запропоновано метод експертного оцінювання коректності вихідних даних, необхідний для попереднього оцінювання програми при значній недостачі і невизначеності вихідної інформації. Розроблений аналого-порівняльний метод, що на основі теорії подібності дозволяє робити висновки про можливість і способи обліку аналогів при формуванні бази порівняння і визначенні міри подібності створюваного зразка й аналогів.

Створено методи та системну методику оцінювання підприємств-виконавців. Показник якості як можливість виконання робіт визначається узагальненою мірою недоліків підприємства. Автором запропоновано оцінювання можливостей підприємства-виконавця трьома методами: тестуванням, аналого-нормативним та економіко-математичним. Розроблено метод трьохрівневого тестування, що дозволяє спочатку укрупнено оцінити загальні можливості, потім конкретизувати можливості виконання етапів життєвого циклу. На останньому рівні враховуються вимоги щодо виконання конкретних робіт, які мають значну новизну. Для реалізації методу сформована система показників.

Розроблений аналого-нормативний метод дозволяє формувати динамічну нормативну базу. Його перевагою є можливість використання інформації про виконання подібних робіт підприємствами-аналогами.

З метою підвищення вірогідності оцінки якості виконано порівняльний аналіз запропонованих методів оцінювання виконавців і визначені умови їхнього застосування.

Створено методи та системну методику оцінювання, контролю і прогнозу якості на етапах виконання програми. Таким чином, створена можливість аналізувати якості робіт на кожному етапі життєвого циклу, вчасно реагувати на недоліки, у результаті підвищується загальна прогнозована оцінка якості елементів і усієї програми в цілому.

Для прогнозу реалізованості вимог проводиться оцінювання термінів виконання робіт з використанням методу аналогій. Метод дозволяє використовувати припустимий часовий інтервал і за допомогою функцій належності й обліку міри подібності одержувати оцінку можливих термінів виконання робіт. З метою підтримки показників реалізованості в припустимих межах розроблено процедуру своєчасного коректування вимог за згодою замовника без збитку основним функціям розроблюваного зразка.

Розроблено метод контролю результатів робіт в інтересах замовника, при необхідності з залученням третьої сторони - групи експертів. У випадку розбіжності думок виконавця і контролера розроблено евристичну процедуру обробки та узгодження лінгвістичних значень якості робіт. Синтезовано інтегральний показник якості робіт за основними чотирма факторами і отримано його вираз у вартісній формі.

Автором проілюстровано застосування основних наукових результатів на прикладах системного оцінювання якості ряду державних програм і їхніх елементів.

Розроблено структуру комп'ютерної інформаційної технології, реалізованої у вигляді трьох блоків програмного забезпечення. Представлено результати застосування комп'ютерної системи для аналізу Державної програми розвитку озброєння і військової техніки. При цьому зроблені висновки про коректність вихідних даних, про можливості підприємств-виконавців окремих робіт, про реалізованість вимог щодо річного оборонного замовлення. Положення методології були також апробовані при оцінюванні можливостей окремих підприємств авіабудування, приладобудування й автомобілебудування як виконавців робіт.

Проведено оцінювання якості проектованого наземного автоматизованого комплексу керування космічними апаратами як елемента Національної космічної програми України. Отримано результати експертизи якості проектних рішень на концептуальному рівні. Методами системного моделювання зроблені висновки про реалізованість цілей і функціональних задач, коректності морфологічної структури, ефективності інформаційних характеристик і реалізованості технічних характеристик.

Проведено аналіз якості системи комплексного транспортно-експедиційного обслуговування в рамках Програми реструктуризації залізничного транспорту України. При цьому досліджена реалізованість прогнозованого обсягу перевезень, забезпечення рекламної діяльності, рівні ризиків.

Таким чином, досягнуті в дисертаційній роботі результати можуть бути використані для аналізу якості складних проектів і програм розвитку виробництва в Національному космічному агентстві, Міністерстві транспорту, Державному комітеті промислової політики України, Міністерстві оборони й інших галузевих і наукових установах.

Подальші дослідження доцільно проводити в напрямках:

· створення нормативних баз і баз даних аналогів у відповідних галузях промисловості,

· розробки методик сертифікації виробництва з точки зору його можливостей по створенню нової продукції,

· розвитку запропонованої методології з метою оцінювання якості виробничих програм і програм упровадження,

· розробки аналітичних і напівевристичних методів оцінювання адекватності кваліметричних моделей і вірогідності результатів (показників якості),

· використання положень запропонованої методології при оцінювання якості програм в області охорони здоров'я.

Література

1. Верещак А.П., Малеева О.В., Латкин М.А. Анализ управляемости проектируемых сложных социотехнических систем // Информационные системы. - Харьков: НАНУ, ПАНИ, ХВУ. - 1996. - С.8-12.

2. Малеева О.В., Чистяков С.Н. Экспертный анализ вариантов проектируемых социотехнических систем // Системы информационного взаимодействия. - Харьков: НАНУ, ПАНИ, ХВУ. - 1996. - С.64-67.

3. Илюшко В.М., Митрахович М.М., Малеева О.В. Методика экспертного анализа сложных систем и процессов // Информационно-управляющие системы на железнодорожном транспорте. - 1997. - № 5/6. - С.59-61.

4. Малеева О.В. Вопросы построения шкал измерений при экспертном оценивании долгосрочных планов научно-технического развития // Авиационно-космическая техника и технология. - Харьков: ХАИ. - 1998. - Вып.6. - С.276-279.

5. Малеева О.В. Комплексная экспресс-оценка предприятия как головного исполнителя планов создания образцов новой техники // Авиационно-космическая техника и технология. - Харьков: ХАИ. - 1998. - Вып.7. - С.185-188.

6. Малеева О.В., Пугач А.В., Горлов Д.А. Оценка возможности реализуемости проектов создания образцов новой техники // Информационные системы. - Харьков: НАНУ, ПАНИ, ХВУ. - 1998. - Вып. 2(10). - С.20-23.