Теоретичні підходи для розрахунку штату програмістів, необхідних для підтримки єдиного інформаційного середовища

Размещено на http: //www. allbest. ru/

Центр воєнно-стратегічних досліджень Національного університету оборони України імені Івана Черняховського;Національний університет оборони України імені Івана Черняховського

Теоретичні підходи для розрахунку штату програмістів, необхідних для підтримки єдиного інформаційного середовища

Кірпічніков Ю.А., к.т.н.; Федорієнко В.А.

Головченко О.В.; Кошлань О.А.



Резюме

Стаття присвячена аналізу теоретичних підходів для розрахунку штату програмістів, необхідних для підтримки єдиного інформаційного середовища. Проаналізовані підходи до градації за рівнями підготовленості та запропонований новий підхід для розрахунку штату числа програмістів.

Ключові слова: штат програмістів, теоретичні підходи, єдине інформаційне середовище, метрики програмного забезпечення.



Резюме

Статья посвящена анализу теоретических подходов для расчета штата программистов, необходимых для поддержания единой информационной среды. Проанализированы подходы к градации по уровням подготовленности и предложен новый подход для расчета штата числа программистов. Теоретические подходы для расчета штата программистов, необходимых для поддержки единого информационного пространства

Ключевые слова: штат программистов, теоретические подходы, единая информационная середа, метрики программного обеспечения.



Resume

The paper analyzes theoretical approaches for calculating state software required to support the common information environment. The approaches to grading the levels of preparedness and a new approach to calculate the number of staff programmers. Teoretical steps for counting of programmers needed for maintenance of a single information environment

Keywords: staff of programmers, theoretical approaches, a single information environment, a metrics of software.



Постановка проблеми.

Останнім часом, внаслідок упровадження новітніх інформаційних технологій у різних сферах діяльності суспільства, набули широкого розповсюдження складні програмно-технічні системи. Більшість цих систем є досить автономними, тобто працюють в інтересах окремих установ або структурних підрозділів і не здійснюють обмін даними між собою. Такі системи вже не спроможні задовольнити зростаючі інформаційні потреби, тому на сьогодні особлива увага приділяється питанню створення єдиного інформаційного середовища.

Єдине інформаційне середовище (ЄІС) являє собою сукупність автоматизованих систем управління, інформаційних систем, інформаційно-аналітичних систем, баз та банків даних, технологій їх ведення і використання, інформаційно-телекомунікаційних систем та мереж, які функціонують на основі єдиних принципів і за загальними правилами, що забезпечує інформаційну взаємодію та задоволення інформаційних потреб.

Ураховуючі, що до складу ЄІС входять системи з різною складністю та категорією програмного забезпечення (ПЗ), важливим питанням становиться забезпечення взаємодії саме їх програмних компонент. Слід зауважити, що більшість систем є завершеними проектами, та можуть не повністю відповідати вимогам взаємодії. У такому випадку, можливо удосконалити програмну компоненту завдяки проведенню мікропроектів. Вони можуть виконуватися шляхом налаштування існуючого та проведення розробки нового ПЗ. Виконання цього завдання, супроводження і підтримка ПЗ у робочому стані покладається на існуючий штат спеціалістів (програмістів). Відповідно від їх рівня компетентності залежить тривалість та якість виконаної роботи. Правильно розроблена, налаштована працююча система з організованою підтримкою мінімізує ризики щодо порушення свого функціонування.

При формуванні штату програмістів потрібно звернути увагу на їх спроможність виконувати свої функціональні обов'язки у повному обсязі. Для цього слід виходити з величини коефіцієнта складності ПЗ, чисельності штату програмістів та їх кваліфікації (компетенції, рівня навченості). Розподіл за кваліфікацією дасть змогу більш точно оцінити час, необхідний для розробки, налаштування, виправлення і тестування ПЗ. Потрібно також розрахувати фінансові затрати і мати реальне уявлення про ринкову вартість штатних спеціалістів високого рівня підготовки з розумінням ризику їх відтоку. штат програміст метрика автоматизований

Тому, аналіз теоретичних підходів щодо класифікації програмістів та визначення єдиного підходу до підбору штату із врахуванням вимог надійності ПЗ, а звідси - створення та підтримки програмної компоненти ЄІС, є актуальною задачею.

Ступінь розробленості проблеми.

Проблема надійності ПЗ була піднята у [1]. Також, поняття надійності ПЗ набуло поширення на рівні офіційних документів - державних стандартів України [2, 3]. Питання класифікації програмістів мало неоднозначний характер і мало поверхневу деталізацію [3, 4]. Поняття кваліфікації зустрічається в державних документах [1]. У той же час, питанням оцінки і якості обслуговування ПЗ було підняте у дослідженні [5]. Питання чисельності програмістів згадуються у роботах [6, 15]. Кількісним мірам програм - метрикам, способу виміру, виконаних програмістом робіт, присвячено [13, 14].

Метою статті є аналіз існуючих підходів щодо визначення необхідного кваліфікаційного штату програмістів для створення, забезпечення надійності програмного забезпечення та супроводження програмної компоненти єдиного інформаційного середовища.

Виклад основного матеріалу.

Однією з центральних проблем при проектуванні, виробництві та експлуатації складних програмно-технічних комплексів є проблема забезпечення надійності. Надійність ПЗ визначається якістю налагодження програм, тобто відсутністю у програмах помилок. Підтримка та супроводження включає в себе контроль надійності ПЗ. Як допущення, у цій роботі ототожнюються поняття підтримки, супроводження та надійності ПЗ.

До особливостей програмно-технічних комплексів ЄІС слід віднести те, що вони є складними технічними та оснащуються різноманітними програмними засобами,

утворюючими функціональне і системне ПЗ. Воно є найбільш складною за структурою і функціональним зв'язкам складовою

компонентою ЄІС. Дефекти ПЗ можуть проявлятися випадковим чином у випадкові моменти часу і мати наслідки, аналогічні наслідкам, викликаним відмовою техніки, а саме: втрату окремих функцій або затримку їх виконання, спотворення інформації або керуючих впливів.

Цілком очевидно, що в надійності і підтримці програмної компоненти ЄІС значна роль відведена програмісту, як спеціалісту відповідальному за працездатність програмної компоненти.

Програміст - фахівець, що займається написанням і коригуванням програм для комп'ютерів [8] (будь-яких обчислювальних пристроїв), тобто програмуванням. Широта предметної області та якість навичок для кожного програміста є індивідуальними. Тому загальноприйнятою практикою є їх класифікація за фаховими рівнями.

Наведемо деякі види класифікацій.

1. Найбільш поширеною є класифікація за предметними областями з поділом програмістів на три основні і дві додаткові категорії [9]:

Прикладним називається програміст, програми якого призначені для розв'язання прикладної задачі, що задовольняє потреби кінцевого користувача.

Системним називається програміст, програми якого призначені для забезпечення роботи операційної системи, інтерфейсів до розподілених баз даних, програмування мереж.

Веб-програмісти мають справу з глобальними мережами, створюють веб-інтерфейси до баз даних, динамічні веб-сторінки тощо.

Програмісти баз даних - їх робота, як правило, пов'язана з будь-якими обліковими системами і вимагає ретельності, уваги. Елемент творчості у програмістів БД практично відсутній.

Таблиця 1

	Перший рівень	Другий рівень	Третій рівень	Четвертий рівень	П'ятий рівень	Шостий рівень
Програмування	Молодший програміст
			Програміст/ аналітик	Системний аналітик	Системний інженер	Науковий співробітник
Аналіз	Клерк	Аналітик

Програмісти скриптів - це вузькоспеціалізовані групи зі своєю специфікою, язиком програмування, що сильно відрізняє їх від інших прикладних програмістів, але область діяльності у них одна і та ж.

2. Офіційна класифікація програмістів в Україні базується на рівні освіти та вимоги до стажу (вислуги) інженера-програміста [2]. У ній ієрархічно програмісти поділяються на провідного інженер-програміста, інженера- програміста I категорії, інженера-програміста II категорії, інженера-програміста Ш категорії та інженера-програміста.

Зазначена класифікація програмістів є узагальнюючою за показниками рівня освіти, робочого стажу та специфіки діяльності.

3. У якості наступного прикладу, що спрощено описує логічну градацію розвитку професійності програмістів можна запропонувати модель отримання навичок братів Дрейфус [11]. Ця модель передбачає умовне кар'єрне становлення програміста, який проходить крізь п'ять різних етапів: новачок, просунутий початківець, компетентний, досвідчений, експерт.

Класифікація по східчастим ідеалізованим рівням знань спеціалістів щодо підтримки ПЗ налічує шість рівнів (табл.1). Найважливішими якостями розробника програмного забезпечення є суб'єктивні (такі, як внутрішня організація, дисципліна і навички проектування), а потім об'єктивні якості, (підбір за ключовими поняттями, досвідом в роках, обсягом використаних конкретних програмних інструментів) [4].

У таблиці 1 динаміка професійного розвитку полягає у переході від окремих поглядів до загальної картини. Тут змістовно покриваються два аспекти, що враховуються при розробці ПЗ.

Перший - програмування, як механічне володіння інструментарієм.

Другий - аналіз, як з'ясування задачі і вираження її в термінах програміста. Для кар'єрного росту програміста потрібно не лишенакопичувати річний досвід, але й мати необхідні здібності.

4. Класифікація за матрицею програмістської компетенції (Programmer Competency Matrix) [10]. Ця матриця значна за розміром (30 спеціалізацій програмістів за різними спеціальностями), тому наведемо для прикладу фрагмент класифікації за однією спеціалізацією таблиці 2.

Таблиця 2

Спеціалізація	2n (Level 0)	n2 (Level 1)	n (Level 2)	log(n) (Level 3)
В.Структури даних	Не знає різницю між масивом і зв'язковим списком	Може пояснити суть і використовувати масиви, зв'язкові списки, асоціативні масиви	Може розповісти як реалізуються хеш- таблиці, обробляється зведення в них, знає черги пріоритетів і способи їх реалізації.	Знає складні структури даних, такі як: B-trees, binomial, Fibonacci heaps, AVL/Red Black Trees, Splay Trees, Skip Lists.

На основі розглянутих вище класифікацій можна зробити висновок, що загальні вимоги до програміста поділяються на:

формальні (за нормативними документами: освіта, стаж, соціальні вимоги).

неформальні (види підготовки: загальна та практична підготовка).

В офіційній класифікації формально описані вимоги до програміста та його можливий кар'єрний ріст в державних організаціях (підрозділах). Соціальнимивимогами, які висувають керівники до програміста (ідеальні вимоги), можуть бути [13]:

особистісні якості - висока працездатність, неконфліктність, вміння швидко схоплювати нове, комунікабельність, вміння працювати в команді, вміння працювати в жорсткому часовому графіку;

основні посадові обов'язки - підтримка та доопрацювання програмного забезпечення, що використовується в компанії; консультація користувачів.

Як результат оцінки загальної підготовки програміста (співбесіда, тестування) можемо отримати приналежність (близькість) до спеціалізації програмування кожного спеціаліста.

Оцінка практичної підготовки (за кількісними та якісними показниками) є найважливішою. Проведення оцінки практичної підготовки програмістів прийнято проводити за двома напрямами:

за метрикою програм (за кількісним показником);

за надійністю підготовлених програм (за якісним показником).

Метрика програмного забезпечення (англ. software metric):

1) захід, що дозволяє отримати чисельне значення деякої властивості програмного забезпечення або його специфікацій;

2) міра, яка дає числове значення складності ПЗ;

3) міра ступеня володіння властивістю ПЗ, яка має числове значення [12].

У загальному випадку застосування метрик дозволяє вивчити складність розробки, оцінити обсяг робіт, стилістику розроблюваної програми і зусилля, витрачені кожним розробником для реалізації того чи іншого рішення.

Для підбору метрики необхідно розглянути типи метрик програм і визначити найбільш доцільну для умов підтримки програмного комплексу.

Метрики складності програм [13] розділяють на три основні типи (групи): розміру програм; складності потоку управління програм; складності потоків даних програм.

Метрики розміру програм базуються на визначенні кількісних характеристик, пов'язаних із розміром програми, і відрізняються відносною простотою. Метрики цієї групи орієнтовані на аналіз вихідного тексту програм, тому вони можуть використовуватись для оцінки складності проміжних продуктів розробки. [14].

Метрики складності потоку управління програм базуються на аналізі керуючого графу програми. Метрики другої групи теж можуть застосовуватись для оцінки складності проміжних продуктів розробки. [14].

Метрики складності потоків цих програм базуються на оцінці використання, конфігурації та розташування даних у програмі. У першу чергу це стосується глобальних змінних. Одним із представників даної групи вважають метрики Чепіна [14].

У деяких джерелах поділяють метрики на сім типів: кількісний, складності потоку управління програми, складності потоку управління даними, складності потоку управління і даних програми, об'єктно- орієнтований, надійності та гібридний.

Найпоширенішим типом є кількісні метрики. Цей тип використовуються для кількісних характеристик вихідного коду програм. До типу кількісних метрик відносять наступні метрики: кількість рядків коду; кількість порожніх рядків; кількість коментарів; кількість помилок на 1000 рядків коду; цикломатична складність; аналіз алгоритмів; відсоток коментарів; середнє число рядків для функцій; середнє число рядків, що містять вихідний код для функцій; середнє число рядків для модулів; процент покриття вимог; ступінь покриття коду тестуванням.

Для виміру надійності використовують такий тип, як метрика надійності [15]. Цей тип близький до кількісного, але заснований на кількості помилок і дефектів у програмі. Показниками метрик цього типу можуть бути: кількість структурних змін, вироблених із моменту минулої перевірки, кількість помилок, виявлених у ході перегляду коду, кількість помилок, виявлених при тестуванні програми і кількість необхідних структурних змін, необхідних для коректної роботи програми.

Для задач ведення мікропроектів зі створення та підтримки ЄІС пропонується застосувати гібридний тип метрики. Він ґрунтується на більш простих метриках і являє собою їх зважену суму. Найбільш відповідним представником цього типу є метрика Коколя [13, 14]. Вона визначається наступним чином:

HM = (М + R1 * М (М1) + ...

+ Rn *М(М) / (1 + R 1 + ... + Rn), (1)

де M - базова метрика, Mi - інші міри, Ri - коректно підібрані коефіцієнти, M (Mi) - функції, що обчислюються за допомогою регресійного аналізу або аналізу завдання для конкретної програми. За основу в ній було виділено три моделі: Маккейба, Холстеда і LOC (англ. Lines of Code), де в якості базової використовується міра Холстеда.

Показник цикломатичної складності Маккейба є одним із найбільш розповсюджених показників другого типу - метрики складності потоку управління програм. Цикломатичне число Маккейба показує необхідну кількість проходів для покриття всіх контурів сильно зв'язаного графу або кількість тестових прогонів програми, необхідних для вичерпного тестування.

Метрика Холстеда належить до метрик, які обчислюються на основі аналізу кількості рядків та синтаксичних елементів вихідного коду програми. Основу метрики Холстеда складають 4 вимірювані характеристики програми [14, 4]: кількість унікальних операторів програми, включаючи символи-роздільники, імена процедур і знаки операцій (словник операторів):

HDiff = (NUOprtr / 2)х (NOprnd / NUOprnd), (2)



де NUOprnd (Number of Unique Operands) - кількість унікальних операндів програми; NOprtr (Number of Operators) - загальна кількість операторів у програмі; NOpnd (Number of Operands) - загальна кількість операндів у програмі.

На основі цих характеристик розраховуються оцінки: словник програми, довжина програми, обсяг програми, оцінка її реалізації, складність її розуміння, трудомісткість кодування, інформаційний вміст, оптимальна модульність, складність програми[14].

Зауважимо, що на сьогодні відсутні єдині стандарти на метрики. Усього створено більше тисячі метрик, тому кожен постачальник "вимірювальної" системи пропонує власні способи оцінки якості і відповідно метрики.

У роботі пропонується комбінований підхід до підбору штату програмістів - за надійністю підготовлених програм та за кваліфікаційними вимогами до програміста.

Основним напрямом оцінки підготовки програміста будемо вважати значення показника Яцнес - інтенсивності внесення помилок у програму одним програмістом за добу, при її написанні чи виправленні. Цей показник відноситься до теорії надійності ПЗ. У роботі [16] розглядався при оцінці надійності ПЗ.

Визначення показника Яцнес. надійності ПЗ, що впливає на чисельність штату та кваліфікацію програмістів було проведене у роботі [16]. Поділ за трьома кваліфікаційними класами набув такого вигляду:

1 клас. Явнеє. 0,1; 2 клас. Явнеє. 0,3;

3 клас. Авнес. 0,7.

З метою оцінки програміста за кваліфікаційними вимогами, які повинен мати програміст проведемо наступне кодування.

1. Програміст за класифікацією предметних областей 1, 2, 3, 4, 5 (усього 5). Наприклад, 2 - Системний програміст.

2. Програміст за спеціалізацією з матриці програмістської компетенції: А, Б, В, Г, ...., Ю (усього 30). Наприклад, 2.В. - Системний програміст за спеціалізацією “структура даних ”.

3. Програміст за офіційною класифікацією програмістів: а, б, в, г, д (усього 5). Наприклад, 2.В.а - Системний програміст за спеціалізацією “структура даних”. Провідний інженер-програміст (повна вища освіта відповідного напряму підготовки (магістр, спеціаліст) та підвищення кваліфікації. Стаж роботи за професією інженера-програміста I категорії не менше 2 років) .

Для удосконалення класифікації пропонується до існуючої кваліфікації (за нормативними документами) додати вимоги загальної і практичної оцінки програміста.

Загальне оцінювання включає визначення рівня знань по рівням матриці програмістської компетенції. Це може бути письмовий тест чи співбесіда з керівником чи незалежним експертом.

4) Програміст за рівнем знань згідно програмістської матриці: 2n, n2, n, log(n) (усього 4).

Наприклад, 2.В.ал - Системний програміст за спеціалізацією “структура даних”. Провідний інженер-програміст (повна вища освіта відповідного напряму підготовки (магістр, спеціаліст) та підвищення кваліфікації. Стаж роботи за професією інженера-програміста I категорії не менше 2 років). Результат тесту “Може розповісти, як реалізуються хеш-таблиці, обробляється зведення в них, знає черги пріоритетів і способи їх реалізації”.

4. Практична оцінка програміста (при підтримці надійності ПЗ та написання тексту програм) пропонується за допомогою індексу Pr практичного оцінювання:



Pr = Metr + Явнеє , (3)

який включає суму значень кількісного (метрики, Metr) і якісного (інтенсивністьвнесення помилки при написанні коду чи виправленні ПЗ, Яжс) показників.

Наприклад, 2.В.а.п^Рг - Системний програміст за спеціалізацією “структура даних”. Провідний інженер-програміст (повна вища освіта відповідного напряму підготовки (магістр, спеціаліст) та підвищення кваліфікації. Стаж роботи за професією інженера-програміста I категорії не менше 2 років). Результат тесту “Може розповісти, як реалізуються хеш-таблиці, обробляється зведення в них, знає черги пріоритетів і способи їх реалізації”. Має середній Індекс практичного оцінювання.

Цей програміст може мати добрі показники за метрикою Коколя [13, 14] та відноситься до 2 класу за інтенсивністю внесення помилки при написанні коду чи виправленні ПЗ.

У випадку, коли необхідно підібрати штат програмістів для підтримки існуючого ПЗ

Мetr=const

, вираз (3) набуде вигляду

Pr = Яцнес .

Необхідно відмітити, що практично оцінити програміста за метрикою гібридного типу при неповній зайнятості написанням коду програми досить складно. Тому, у якості альтернативи доцільно використовувати метрики складності програм або кількісні метрики.

У якості найпростішого з точки зору практичного використання і досить ефективного методу можна використати метрику Чепіна [14, 18]. Його суть полягає в оцінці інформаційної міцності окремо взятого програмного модуля за допомогою аналізу характеру використання змінних зі списку введення-виведення:

Q = P + 2*M+ 3*C + 0.5*T , (4)

де множина Р - змінні, що вводяться для розрахунків та для забезпечення виведення; множина М - модифіковані або створювані всередині програми змінні; множина С - змінні, які приймають участь в управлінні роботою програмного модуля (керуючі змінні); множина Т - не використані в програмі змінні.

Таким чином, відбір фахівців буде здійснюватися виходячи з отриманих значень кількісних і якісних показників по кожному програмісту.

У моделі оцінки ПЗ [16] були спрогнозовані чисельність штату та кваліфікаційний рівень програмістів. Важливо, підбирати спеціалістів із врахуванням складності ПЗ та швидкісті виправлення помилок. Тому, в штаті програмістів повинні бути фахівці різних класів.

Рис. 1 Кількість працюючих програм для різного числа програмістів (Р - кількість програмістів)



Слід також зауважити, що програмісти низького рівня не зможуть впоратися із поставленою складною задачею. На графіку (рис. 1) у дослідженні до експерименту умовно було залучено 20 прогамістів, які не впоралися з виправленням помилок у програмі. При усуненні помилок програмісти породжують більше помилок, ніж вдається виправити.



Висновок

Для розрахунку штату програмістів, які необхідні для підтримки єдиного інформаційного середовища, потрібно провести аналіз їхньої кваліфікації. Для цього в роботі були розглянуті теоретичні підходи та надані практичні рекомендації щодо визначення необхідного кваліфікаційного штату програмістів для підтримки, забезпечення надійності ПЗ та супроводження програмної компоненти єдиного інформаційного середовища. Також удосконалена класифікація програмістів із застосуванням загального і практичного оцінювання.

Подальші дослідження слід присвятити аналізу залежності кваліфікації спеціалістів, відповідальних за підтримку працездатності програмної компоненти ЄІС від витрат на розробку ПЗ.



Список літератури

1. Надежность в технике. Основные понятия. Термины и определения : ГОСТ 27.002-89. - [Чинний від 01.07.1990]. - М. : Изд-во стандартов, 1990. - 24 с.

2. Кваліфікаційні характеристик професій працівників [Електронний ресурс] : 16.02.1998 N 24. - Офіц. вид. -- К. : М-во праці та соціальної політики України, 1998. - (Нормативний документ Мінпраці і соцполітики України. Довідник). -- 11 с. - Режим доступу до довідника : http://www.uazakon.com/big/text129/pg11.htm.

3. "Класифікація" програмістів [Електронний ресурс] : [курс Програмування / ред. Шаров C. В. та ін.]. - Мелітополь: МДПУ, 2010. - Модуль 1. - Режим доступу до курсу : http://lib.mdpu.org.ua/e- book/vstup/L1.htm#L14.

4. Jeffry R. Fisher. Experience Levels for Programmers [Електронний ресурс] : [блог] / Jeffry R. Fisher. - Режим доступу до блогу : http: //j effryfisher. net/Pro grammer/ExpLevels. htm.

5. Vu Nguyen. Improved Size and Effort Estimation Models for Software Maintenance [Електронний ресурс] : дис. ... PhD (Computer Science) / Vu Nguyen. - Los Angeles, 2010. - 183 с. - Режим доступу до дисертації :http://csse.usc.edu/csse/TECHRPTS/PhD Dissertations/files/Nguyen Dissertation.pdf.

6. Ханджян А. О. Повышение надежности программного обеспечения информационно-измерительных и управляющих систем безопасности ядерных радиационноопасных объектов : автореф. дис. на здобуття наук. ступеня канд. техн. наук : спец. 05.11.16 “Информационно-измерительные и управляющие системы” / А. О. Ханджян. - М., 2006. - 27 c.

7. Порівняльний аналіз моделей надійності програмного забезпечення засобів спеціального зв'язку / Л. М. Сакович, В. П. Павлов, С. П. Лівенцев [та ін.] [Електронний ресурс] // Інформаційні технології та безпека. - 2012. - № 2 (2). - С. 61 - 70. - Режим доступу до наук. зб. : http://irbis-nbuv. gov.ua/cgi-bin/irbis nbuv/cgiirbis 64.exe?C21COM=2&I21DBN=UJRN&P21DBN=UJRN&IMAGE FILE DOWNLOAD=1&Image file name=PDF/inftech 2012 211.pdf.

8. Професії ІТ-сфери: Технік-програміст [Електронний ресурс] . - Хмельницький: ХРЦЗ, 2013. - Режим доступу: http://www.dcz.gov.ua/khm/control/uk/publish/printable article; jsessionid=3DA9DC8E8CF5F368554D447A878E8845?art id=275188.

9. Програміст [Електронний ресурс] . - К.: Освіта вУкраїні, 2014. - Режим доступу:http://www.osvita.com.ua/ua/professions/programmer/.

10. Sijin Joseph. Programmer Competency Matrix[Електронний ресурс] : [блог] / Sijin Joseph. - Boston: Perspectives on Software, 2014. - Режим доступу до блогу :http://siiinioseph.com/programmer-competency-matrix/.

11. Andy Hunt. Pragmatic Thinking and Learning: Refactor Your Wetware / Andy Hunt. - Raleigh: Pragmatic Bookshelf, 2008. - 288 с. - (Pragmatic Programmers).

12. IEEE Standard Glossary of Software Engineering Terminology [Електронний ресурс] : IEEE Std 610.12-1990. -- [Чинний від 1990-09-28]. -- NY: The Institute of Electrical and Electronics Engineers, 1990. - 84 с. -- (Standards Coordinating Committee of the Computer Society of the IEEE). - Режим доступу до стандарту: http://dis.unal.edu.co/~icasta/ggs/Documentos/Nor mas/610-12-1990,pdf.

13. Новичков А. Метрики кода и их практическая реализация в Subversion и ClearCase. Частина 1 [Електронний ресурс] / А. Новичков, А. Шамрай, А. Черников. - Режим доступу: http://cmcons.com/articles/CC CQ/dev metrics/mertics part 1.

14. Скляр В.В. Оценка качества и експертиза программного обеспечения. / В.В Скляр. - Харьков: НАУ "ХАИ", 2008. - 204 с. - (Лекційний матеріал).

15. Мілютін А. Метрика кода програмного обеспечения [Електронний ресурс] : [стаття] / Антон Мілютін. - Тула: СиПроВер, 2009. - Режим доступу до статті: http://www.viva64. com/ ru/a/0045.

16. Модель оцінки надійності програмної компоненти єдиного інформаційного середовища / В. Л. Шевченко, Ю. А. Кірпічніков, В. А. Федорієнко [та ін.] // Збірник наукових праць ЦВСД НУОУ ім. І. Черняховського. - 2014. - № 1 (50). - С. 144 - 151.

17. Метрология, качество и сертификация ПО: Матеріали до курсу / Е.В. Ковалевская - М.: Московский государственный университет экономики, статистики и информатики, 2002. - 38 с.

18. Поморова О. В.. Аналіз методів та засобів оцінки якості програмних систем / О. В. Поморова, Т. О. Говорущенко // Радіоелектронні і комп'ютерні системи. -- 2009. -- № 6 (40). -- С. 148 -- 158.

Размещено на Allbest.ru

...