Обеспечение качества программных средств

Размещено на http://www.allbest.ru/

Контрольная работа

по предмету: Информатика

на тему: Обеспечение качества программных средств



Оглавление

Введение

1. Понятие качества

2. Стандарт ГОСТ Р ИСО МЭК 9126

2.1 Модель характеристик качества

2.2 Характеристики и атрибуты качества

3. Альтернативные подходы к измерению качества

4. Методы контроля качества

5. Оценка качества информационных систем

Заключение

Список используемой литературы



Введение

Требования к качеству программных средств всё время повышаются. Процессы разработки, приобретения и внедрения сложных систем, к которым относятся в частности программные комплексы, должны находится под жестким управленческим контролем. В настоящее время практически во всех организациях обеспечивается контроль важнейших характеристик, связанных с производством и использованием программных продуктов, таких как время, финансовые средства, ресурсы и т. п.

Однако в большинстве случаев вне пределов сферы контроля оказывается наиболее важная характеристика программных продуктов, ради которой, собственно и осуществляются затраты времени, финансовых средств и ресурсов - это качество продукта.

Одним из подходов для оценки программных средств является оценка соответствующих атрибутов качества, определённых в серии международных стандартов ГОСТ Р ИСО МЭК 9126 «Информационная технология - Оценка программной продукции».



1. Понятие качества

Понятие “качество”, на самом деле, не столь очевидно и просто, как это может показаться на первый взгляд. Для любого инженерного продукта существует множество интерпретаций качества, в зависимости от конкретной “системы координат”. Множество этих точек зрения необходимо обсудить и определить на этапе выработки требований к программному продукту. Характеристики качества могут требоваться в той или иной степени, могут отсутствовать или могут задавать определенные требования, все это может быть результатом определенного компромисса, что вполне перекликается с пониманием “приемлемого качества”, как менее жесткой точки зрения на обеспечение качества, как достижение совершенства.

Сейчас существует несколько определений качества, которые в целом совместимы друг с другом. Приведем наиболее распространенные:

Определение согласно (ISO 8402:1994 Quality management and quality assurance): Качество - это полнота свойств и характеристик продукта, процесса или услуги, которые обеспечивают способность удовлетворять заявленным или подразумеваемым потребностям.

Определение согласно (1061-1998 IEEE Standard for Software Quality Metrics Methodology): Качество программного обеспечения - это степень, в которой оно обладает требуемой комбинацией свойств.

Рис. 1. - Основные аспекты качества ПО:

Качество ПО - это относительное понятие, которое имеет смысл только при учете реальных условий его применения, поэтому требования, предъявляемые к качеству, ставятся в соответствии с условиями и конкретной областью их применения. Оно характеризуется тремя аспектами: качество программного продукта, качество процессов ЖЦ и качество сопровождения или внедрения.

Аспект, связанный с процессами ЖЦ, определяет степень формализации, достоверности самих процессов ЖЦ разработки ПО, а также верификацию промежуточных результатов на этих процессах. Поиск и устранение ошибок в готовом ПО проводится методами тестирования, которые снижают количество ошибок и повышают качество этого продукта.

Качество продукта достигается процедурами контроля промежуточных продуктов на процессах ЖЦ, проверкой их на достижение необходимого качества, а также методами сопровождения продукта. Эффект от внедрения ПС в значительной степени зависит от знаний обслуживающего персонала функций продукта и правил их выполнения.



2. Стандарт ГОСТ Р ИСО МЭК 9126

ИСО 9126 это международный стандарт, определяющий оценочные характеристики качества программного обеспечения (далее ПО).

Стандарт разделяется на 4 части, описывающие следующие вопросы:

Часть 1: Модель качества;

Часть 2: Внешние метрики качества;

Часть 3: Внутренние метрики качества;

Часть 4: Метрики качества в использовании.

В первой части стандарта ISO 9126-1 приводится схема взаимосвязи частей стандарта ISO 9126 и частей стандарта ISO 14598, а также область применения, нормативные ссылки, термины и определения. Определяется модель характеристик качества ПС и ее связи с жизненным циклом. Модель детализируется в последующих частях стандарта.

Вторая и третья части стандарта ISO 9126:2,3 посвящены формализации соответственно внешних и внутренних метрик характеристик качества сложных ПС. Взаимосвязь метрик качества в этих частях стандарта отражена одинаковыми моделями, аналогичными модели первой части стандарта. Показано, что внутреннее и внешнее качества относятся непосредственно к самому программному продукту, а метрики качества в использовании проявляются в эффекте от его применения и зависят от внешней среды. Изложены содержание и общие рекомендации по использованию соответствующих метрик и взаимосвязей между типами метрик. Четвертая часть стандарта ISO 9126-4 предназначена для покупателей, поставщиков, разработчиков, сопровождающих, пользователей и менеджеров качества ПС. В ней повторена концепция трех типов метрик, а также аннотированы рекомендуемые виды измерений характеристик ПС: прямые, непрямые и индикаторы свойств (категорийные). Рассмотрена модель качества в использовании. Отмечаются необходимость идентификации назначения и специфики потребителей программного продукта, особенности выбора целей оценивания качества для различных сфер и этапов применения ПС. Обосновываются и комментируются выделенные показатели сферы (контекста) использования ПС и группы выбранных метрик для пользователей. В отличие от характеристик, описанных в предыдущих частях стандарта, в этой части для качества в использовании рекомендуется четыре:

- эффективность;

- продуктивность;

- удовлетворение требований и защищенность.

2.1 Модель характеристик качества

Модель качества, установленная в первой части стандарта ИСО 9162-1, предлагает использовать для описания внутреннего и внешнего качества ПО многоуровневую модель. На верхнем уровне выделено 6 основных характеристик качества ПО. Каждая характеристика описывается при помощи нескольких входящих в нее атрибутов. Атрибут - это сущность, которая может быть проверена или измерена в программном продукте. Для каждого атрибута определяется набор метрик, позволяющих его оценить. Множество характеристик и атрибутов качества согласно ИСО 9126 показано на рис 2. Модель характеристик качества программного обеспечения состоит из нескольких видов атрибутов качества:

- внутренние атрибуты качества (требования к качеству кода и внутренней архитектуре);

- внешние атрибуты качества (требования к функциональным возможностям и т. д.);

- атрибуты «качества в использовании» (данные атрибуты качества относятся не только к программному средству, а ко всей информационной системе, они характеризуют эффект для пользователя от использования ПС в разных контекстах использования).

Для всех этих аспектов качества введены метрики, позволяющие оценить их. Кроме того, для создания добротного ПО существует качество технологических процессов его разработки. Взаимоотношения между этими аспектами качества по схеме, принятой ИСО 9126 (рис. 3).

Рис. 2. - Характеристики и атрибуты качества ПО по ИСО 9126:

Рис. 3. - Основные аспекты качества ПО по ИСО 9126:



Требования пользователя к качеству в спецификациях должны в процессе верификации преобразовываться в требования к внешнему качеству, а затем в требования к внутреннему качеству. Процессы реализации требований к внутреннему качеству должны обеспечивать внешнее качество, а последнее - воплощаться в качество для пользователей (рис. 4).

Рис. 4. - Различные подходы к качеству ПС и соответствующим метрикам качества:

Модель качества ПО имеет следующие четыре уровня представления:

Первый уровень соответствует определению характеристик (показателей) качества ПО, каждая из которых отражает отдельную точку зрения пользователя на качество. Согласно стандарту в модель качества входит шесть характеристик или шесть показателей качества:

- функциональность;

- надежность;

- удобство;

- эффективность;

- переносимость.

Второму уровню соответствуют атрибуты для каждой характеристики качества, которые детализируют разные аспекты конкретной характеристики.



Рис. 5. - Модель характеристик качества:

Набор атрибутов характеристик качества используется при оценке качества.

Третий уровень предназначен для измерения качества с помощью метрик, каждая из них согласно стандарту определяется как комбинация метода измерения атрибута и шкалы измерения значений атрибутов. Для оценки атрибутов качества на этапах ЖЦ (при просмотре документации, программ и результатов тестирования программ) используются метрики с заданным оценочным весом для нивелирования результатов метрического анализа совокупных атрибутов конкретного показателя и качества в целом. Атрибут качества определяется с помощью одной или нескольких методик оценки на этапах ЖЦ и на завершающем этапе разработки ПО.

Четвертый уровень - это оценочный элемент метрики (вес), который используется для оценки количественного или качественного значения отдельного атрибута показателя ПО. В зависимости от назначения, особенностей и условий сопровождения ПО выбираются наиболее важные характеристики качества и их атрибуты (рис. 5).

Выбранные атрибуты и их приоритеты отражаются в требованиях на разработку систем либо используется соответствующие приоритеты эталона класса ПО, к которому это ПО относится.

2.2 Характеристики и атрибуты качества

Характеристики качества программного обеспечения - набор свойств (атрибутов) программного продукции, по которым ее качество описывается и оценивается. Характеристики качества программного обеспечения могут быть уточнены на множестве уровней комплексных показателей (характеристик).

Функциональность - способность ПО в определенных условиях решать задачи, нужные пользователям. Определяет, что именно делает ПО, какие задачи оно решает.

Функциональная пригодность - способность решать нужный набор задач.

Точность - способность выдавать нужные результаты.

Способность к взаимодействию - способность взаимодействовать с нужным набором других систем.

Соответствие стандартам и правилам - соответствие ПО имеющимся индустриальным стандартам, нормативным и законодательным актам, другим регулирующим нормам.

Защищенность - способность предотвращать неавторизированный, т. е., без указания лица, пытающегося его осуществить, и неразрешенный доступ к данным и программам.

Надежность - способность ПО поддерживать определенную работоспособность в заданных условиях.

Зрелость, завершенность - величина, обратная частоте отказов ПО. Обычно измеряется средним временем работы без сбоев и величиной, обратной вероятности возникновения отказа за данный период времени.

Устойчивость к отказам - способность поддерживать заданный уровень работоспособности при отказах и нарушениях правил взаимодействия с окружением.

Способность к восстановлению - способность восстанавливать определенный уровень работоспособности и целостность данных после отказа, необходимые для этого время и ресурсы. Соответствие стандартам надежности - этот атрибут добавлен в 2001 году.

Удобство применения или практичность - способность ПО быть удобным в обучении и использовании, а также привлекательным для пользователей.

Понятность - показатель, обратный к усилиям, которые затрачиваются пользователями на восприятие основных понятий ПО и осознание их применимости для решения своих задач.

Удобство обучения - показатель, обратный усилиям, затрачиваемым пользователями на обучение работе с ПО.

Удобство работы - показатель, обратный усилиям, предпринимаемым пользователями для решения своих задач с помощью ПО.

Привлекательность - способность ПО быть привлекательным для пользователей. Этот атрибут добавлен в 2001 году.

Соответствие стандартам удобства использования - этот атрибут добавлен в 2001 году.

Производительность или эффективность - способность ПО при заданных условиях обеспечивать необходимую работоспособность по отношению к выделяемым для этого ресурсам. Можно определить ее и как отношение получаемых с помощью ПО результатов к затрачиваемым на это ресурсам всех типов.

Временная эффективность - способность ПО выдавать ожидаемые результаты, а также обеспечивать передачу необходимого объема данных за отведенное время.

Эффективность использования ресурсов - способность решать нужные задачи с использованием определенных объемов ресурсов определенных видов. Имеются в виду такие ресурсы, как оперативная и долговременная память, сетевые соединения, устройства ввода и вывода и пр.

Соответствие стандартам производительности - этот атрибут добавлен в 2001 году.

Удобство сопровождения - удобство проведения всех видов деятельности, связанных с сопровождение программ.

Анализируемость или удобство проведения анализа - удобство проведения анализа ошибок, дефектов и недостатков, а также удобство анализа необходимости изменений и их возможных последствий.

Удобство внесения изменений - показатель, обратный трудозатратам на выполнение необходимых изменений.

Стабильность - показатель, обратный риску возникновения неожиданных эффектов при внесении необходимых изменений.

Удобство проверки - показатель, обратный трудозатратам на проведение тестирования и других видов проверки того, что внесенные изменения привели к нужным результатам.

Соответствие стандартам удобства сопровождения - этот атрибут добавлен в 2001 году.

Переносимость - способность ПО сохранять работоспособность при переносе из одного окружения в другое, включая организационные, аппаратные и программные аспекты окружения.

Удобство установки - способность ПО быть установленным или развернутым в определенном окружении.

Способность к сосуществованию - способность ПО сосуществовать с другими программами в общем окружении, деля с ними ресурсы.

Удобство замены другого ПО данным - возможность применения данного ПО вместо других программных систем для решения тех же задач в определенном окружении.

Соответствие стандартам переносимости - этот атрибут добавлен в 2001 году.

Перечисленные атрибуты относятся к внутреннему и внешнему качеству ПО согласно ИСО 9126. Для описания качества ПО при использовании стандарт ИСО 9126-4 предлагает другой, более узкий набор характеристик.

Эффективность - способность ПО предоставлять пользователям возможность решать их задачи с необходимой точностью при использовании в заданном контексте.

Продуктивность - способность ПО предоставлять пользователям определенные результаты в рамках ожидаемых затрат ресурсов.

Безопасность - способность ПО обеспечивать необходимо низкий уровень риска нанесения ущерба жизни и здоровью людей, бизнесу, собственности или окружающей среде.

Удовлетворение пользователей - способность ПО приносить удовлетворение пользователям при использовании в заданном контексте.

Помимо перечисленных характеристик и атрибутов качества, стандарт ИСО 9126:2001 определяет наборы метрик для оценки каждого атрибута. Приведем следующие примеры таких метрик. Полнота реализации функций - процент реализованных функций по отношению к перечисленным в требованиях. Используется для измерения функциональной пригодности. Корректность реализации функций - правильность их реализации по отношению к требованиям. Используется для измерения функциональной пригодности.

Отношение числа обнаруженных дефектов к прогнозируемому. Используется для определения зрелости. Отношение числа проведенных тестов к общему их числу. Используется для определения зрелости.

Отношение числа доступных проектных документов к указанному в их списке. Используется для измерения удобства проведения анализа. Наглядность и полнота документации. Используется для оценки понятности.

Приведенные атрибуты качества закреплены в стандартах, но это не значит, что они вполне исчерпывают понятие качества ПО. Так, в стандарте ИСО 9126 отсутствуют характеристики, связанные с мобильностью ПО, т. е., способностью программы работать на любой машине в различных операционных системах. Вместо надежности многие исследователи предпочитают рассматривать более общее понятие добротности, описывающее способность ПО поддерживать определенные показатели качества по основным характеристикам (функциональности, производительности, удобству использования) с заданными вероятностями выхода за их рамки и определенным максимальным ущербом от возможных нарушений. Кроме того, активно исследуются понятия удобства использования, безопасности и защищенности ПО - они кажутся большинству специалистов гораздо более сложными, чем это описывается данным стандартом.



3. Альтернативные подходы к измерению качества

Как проверить, что требования определены достаточно полно и описывают все, что ожидается от будущей программной системы? Это можно сделать, проследив, все ли необходимые аспекты качества ПО отражены в них. Именно понятие качественного ПО соответствует представлению о том, что программа достаточно успешно справляется со всеми возложенными на нее задачами и не приносит проблем ни конечным пользователям, ни их начальству, ни службе поддержки, ни специалистам по продажам. Да и самим разработчикам создание качественной программы приносит гораздо больше удовольствия.

Качество ПО по МакКолу.

Первой широко известной моделью качества ПО стала предложенная в 1977 МакКолом.

В ней характеристики качества разделены на три группы:

- Факторы (factors), описывающие ПО с позиций пользователя и задаваемые требованиями;

- Критерии (criteria), описывающие ПО с позиций разработчика и задаваемые как цели;

- Метрики (metrics), используемые для количественного описания и измерения качества.

Факторы качества, которых было выделено 11, группируются в три группы по различным способам работы людей с ПО. Полученная структура изображается в виде треугольника МакКола.

Критерии качества - это числовые уровни факторов, поставленные в качестве целей при разработке. Объективно оценить или измерить факторы качества непосредственно довольно трудно. Поэтому, МакКол ввел метрики качества, которые с его точки зрения легче измерять и оценивать.



Рис. 6. - Треугольник МакКола:

Оценки в его шкале принимают значения от 0 до 10. Вот эти метрики качества:

- Удобство проверки на соответствие стандартам (auditability);

- Точность управления и вычислений (accuracy);

- Степень стандартности интерфейсов (communication commonality);

- Функциональная полнота (completeness);

- Однородность используемых правил проектирования и документации (consistency);

- Степень стандартности форматов данных (data commonality);

- Устойчивость к ошибкам (error tolerance);

- Эффективность работы (execution efficiency);

- Расширяемость (expandability);

- Широта области потенциального использования (generality);

- Независимость от аппаратной платформы (hardware independence);

- Полнота протоколирования ошибок и других событий (instrumentation);

- Модульность (modularity);

- Удобство работы (operability);

- Защищенность (security);

- Самодокументированность (selfdocumentation);

- Простота работы (simplicity);

- Независимость от программной платформы (software system independence);

- Возможность соотнесения проекта с требованиями (traceability);

- Удобство обучения (training).

Каждая метрика влияет на оценку нескольких факторов качества. Числовое выражение фактора представляет собой линейную комбинацию значений влияющих на него метрик. Коэффициенты этого выражения определяются по-разному для разных организаций, команд разработки, видов ПО, используемых процессов и т. п.

Качество ПО по Боему.

В 1978 Боем предложил свою модель, по существу представляющую собой расширение модели МакКола.

Атрибуты качества подразделяются по способу использования ПО (primary use).

Определено 19 промежуточных атрибутов (intermediate construct), включающих все 11 факторов качества по МакКолу. Промежуточные атрибуты разделяются на примитивные (primitive construct), которые, в свою очередь, могут быть оценены на основе метрик.

В дополнение к факторам МакКола атрибуты качества по Боему включают следующие: ясность (clarity), удобство внесения изменений (modifiability), документированность (documentation), способность к восстановлению функций (resilience), понятность (understandability), адекватность (validity), функциональность (functionality), универсальность (generality), экономическая эффективность (economy).



4. Методы контроля качества

Как контролировать качество системы? Как точно узнать, что программа делает именно то, что нужно, и ничего другого? Как определить, что она достаточно надежна, переносима, удобна в использовании? Ответы на эти вопросы можно получить с помощью процессов верификации.

Верификация обозначает проверку того, что ПО разработано в соответствии со всеми требованиями к нему, или что результаты очередного этапа разработки соответствуют ограничениям, сформулированным на предшествующих этапах. Эффективность верификации, как и эффективность разработки ПО в целом, зависит от полноты и корректности формулировки требований к программному продукту.



5. Оценка качества информационных систем

Качество информационной системы связано с дефектами, заложенными на этапе проектирования и проявляющимися в процессе эксплуатации. Любые свойства информационной системы, в том числе и дефектологические, могут проявляться лишь во взаимодействии с внешней средой, включающей технические средства, персонал, информационное и программное окружение.

В зависимости от целей исследования и этапов жизненного цикла информационной системы дефектологические свойства разделяют на дефектогенность, дефектабельность и дефектоскопичность.

Дефектогенность определяется влиянием следующих факторов:

- численностью разработчиков информационной системы, их профессиональными и психофизиологическими характеристиками;

- условиями и организацией процесса разработки информационной системы;

- характеристиками инструментальных средств и компонент информационной системы;

- сложностью задач, решаемых информационной системы;

- степенью агрессивности внешней среды (потенциальной возможностью внешней среды вносить преднамеренные дефекты, например, воздействие вирусов).

Дефектабельность характеризует наличие дефектов информационной системы и определяется их количеством и местонахождением. Другими факторами, влияющими на дефектабельность являются:

- структурно-конструктивные особенности информационной системы;

- интенсивность и характеристики ошибок, приводящих к дефектам.

Дефектоскопичность характеризует возможность проявления дефектов в виде отказов и сбоев в процессе отладки, испытаний или эксплуатации. На дефектоскопичность влияют:

- количество, типы и характер распределения дефектов в информационной системе;

- устойчивость информационной системы к проявлению дефектов;

- характеристики средств контроля и диагностики дефектов;

- квалификация обслуживающего персонала.

Оценка качества информационной системы является крайне сложной задачей ввиду многообразия интересов пользователей. Поэтому невозможно предложить одну универсальную меру качества и приходится использовать ряд характеристик, охватывающих весь спектр предъявляемых требований. Наиболее близки к задачам оценки качества информационной системы модели качества программного обеспечения, являющегося одной из важных составных частей информационной системы. В настоящее время используется несколько абстрактных моделей качества программного обеспечения, основанных на определениях характеристики качества, показателя качества, критерия и метрики.

Критерий может быть определен как независимый атрибут информационной системы или процесса ее создания. С помощью такого критерия может быть измерена характеристика качества информационной системы на основе той или иной метрики.

Совокупность нескольких критериев определяет показатель качества, формируемый исходя из требований, предъявляемых к информационной системе. В настоящее время наибольшее распространение получила иерархическая модель взаимосвязи компонент качества информационной системы. Вначале определяются характеристики качества, в числе которых могут быть, например, общая полезность, исходная полезность, удобство эксплуатации.

Далее формируются показатели, к числу которых могут быть отнесены: практичность, целостность, корректность, удобство обслуживания, оцениваемость, гибкость, адаптируемость, мобильность, возможность взаимодействия. С помощью метрик можно дать количественную или качественную оценку качества информационной системы. Различают следующие виды метрик и шкал для измерения критериев:

- Первый тип - метрики, которые используют интервальную шкалу, характеризуемую относительными величинами или реально измеряемыми физическими показателями, например временем наработки на отказ, вероятностью ошибки, объемом информации и др.;

- Второй тип - метрики, которым соответствует порядковая шкала, позволяющая ранжировать характеристики путем сравнения с опорными значениями;

- Третий тип - метрики, которым соответствуют номинальная или категорированная шкала, определяющая наличие рассматриваемого свойства или признака у рассматриваемого объекта без учета градаций по этому признаку. Так, например, интерфейс может быть «простым для понимания», «умеренно простым», «сложным для понимания».

Рис. 7. - Классификация критериев качества информационных систем:

Развитием иерархического подхода является представленная на рис. 7 модель классификации критериев качества информационных систем. С помощью функциональных критериев оценивается степень выполнения информационной системой основных целей или задач. Конструктивные критерии предназначены для оценки компонент информационной системы, не зависящих от целевого назначения.

Одним из путей обеспечения качества информационной системы является сертификация. Сертификация - процесс официального утверждения государственным полномочным органом, выполняемой функции системы, путем удостоверения, что функция удовлетворяет всем требованиям заказчика, а также государственным нормативным документам. К сожалению, в настоящее время не существует стандартов, полностью удовлетворяющих оценке качества информационной системы.

В западноевропейских странах имеется ряд стандартов, определяющих основы сертификации программных систем. Стандарт Великобритании (BS750) описывает структурные построения программных систем, при соблюдении которых может быть получен документ, гарантирующий качество на государственном уровне.

Имеется международный аналог указанного стандарта (ISO9000) и аналог для стран членов НАТО (AQAP1). Существующая в нашей стране система нормативно-технических документов относит программное обеспечение к «продукции производственно-технического назначения», которая рассматривается как материальный объект. Однако программное обеспечение является скорее абстрактной нематериальной сферой. Существующие ГОСТы (например, ГОСТ 28195-89. «Оценка качества программных средств. Общие положения») являются неполными.



Заключение

Быстрое увеличение сложности и размеров современных комплексов программ при одновременном повышении ответственности выполняемых функций резко повысило требования со стороны пользователей к их качеству, надежности функционирования и безопасности применения.

Для каждого проекта ПС, выполняющего ответственные функции, должны разрабатываться и применяться система качества, специальные планы и программа, методология и инструментальные средства, обеспечивающие требуемые качество, надежность и безопасность функционирования. компьютерный качество информационный

Для удовлетворения высоких требований к функционированию необходимы выделение из ЖЦ ПС задач и работ по обеспечению качества программ, а также обучение и концентрация усилий разработчиков на анализе и обосновании рентабельности выбранной методологии и методов разработки комплексов программ.



Список используемой литературы

1. Воробьев В.И., Копыльцов А.В., Пальчун Б.П., Юсупов Р. Методы и модели оценивания качества программного обеспечения. М. С-Пб.: СПИИРАН.1992. - 33 с.

2. Андон Ф.И., Суслов В.Ю., Коваль Г.И., Коротун Т.М. Основы качества программных систем. - Киев, Академпериодика. - 2002. -502 с.

3. Бабенко Л.П., Лаврищева Е.М. Основы программной инженерии. Учебник Киев: Знание, 2001. - 269 с.

4. Боэм Б.У., Браун Дж., Каспар X. и др. Характеристики качества программного обеспечения. М. Мир, 1981.

5. Фокс Дж. Программное обеспечение и его разработка М.: "Мир", 1982.

6. Липаев В.В. Обеспечение качества программных средств. Методы и стандарты. - М.: Синтег, 2001. - 380 с.

Размещено на Allbest.ru

...