Выбор способа тестирования как решение многокритериальной задачи

Размещено на http://allbest.ru

Высшая школа печати и медиатехнологий

Санкт-Петербургского государственного университета промышленных технологий и дизайна

Выбор способа тестирования как решение многокритериальной задачи Инженерный вестник Дона, №1 (2015)

Е.Ю. Галимова, А.Н. Коваленко

г. Санкт-Петербург, Российская Федерация

Введение

Тестирование является трудоемким и дорогостоящим этапом разработки программного продукта (ПП), но необходимым для обеспечения качества.

Под качеством понимается степень соответствия присущих ПП характеристик заявленным требованиям [1]. Правильное планирование позволяет сократить затраты. На этапе планирования тестирования встает вопрос выбора способа тестирования между ручным, автоматизированным и смешанным.

В данной работе предлагается решать вопрос выбора как многокритериальную задачу [2]. Поскольку ПП обладает целым рядом характеристик, авторы отказались от использования методов однокритериальной оптимизации [3], был выбран метод линейной свертки.

Вопрос выбора способа тестирования является актуальным, так как в нынешний век глобальной автоматизации ручное тестирование продолжает активно применяться [4].

Постановка задачи о формальной оценке ПП для целей тестирования

Пусть объект G описывается критериями H₁, H₂ , …, H_k , которым можно приписать числовые значения h₁, h₂, … , h_k. Пусть по совокупности значений {h₁, h₂, … , h_k} определяется некоторая характеристика R_G , позволяющая формально ответить на некоторый вопрос, касающийся объекта G . Пусть эта характеристика RG дискретна, и набор её возможных значений конечен.

В данной работе объект G -это модуль ПП. Возможно, что это ПС целиком, если оно оценивается как достаточно простое для тестирования.

В данной работе критерии H₁, H₂ ,…, H_k - это помещённые в подразделе 2.2 вопросы о модуле тестируемого ПС. Обозначим этот набор (множество) через М .

Характеристика R_G связывается (должна указывать) на выбор автоматизированного или ручного способа тестирования ПП или на перенесение решения этого вопроса на более сложные алгоритмы, в том числе, на экспертное решение.

Таким образом, в рассматриваемой задаче может быть три решения (три альтернативы):

R1_G - использование для данного модуля ПП автоматизированного тестирования;

R2_G - использование для данного модуля ПП ручного тестирования;

R3_G - указание на некоторый пограничный случай между выбором автоматизированного и ручного методов тестирования.

В данной работе предлагается алгоритм, позволяющий формальным образом определять некоторую величину Р , однозначно указывающую на выбор между R1_G, R2_G, R3_G.

Такая задача, строго говоря, является задачей многокритериальной оптимизации с критериями H₁, H₂ ,…, H_k , но представляет собой вырожденный случай, поскольку допускает прямое вычисление всех возможных значений величины Р . Тем не менее, она решается на основе идей, используемых для исследования многокритериальных задач.

Входным материалом в задачу являются два вида экспертных оценок, что порождает двухстадийный процесс формирования оценок h₁, h₂, … , h_k Поскольку экспертные оценки по определению дискретны, то формально решаемая задача относится к классу дискретных задач оптимизации.

Другой особенностью является деление вопросов множества М на три группы. Этот акт позволяет учитывать обобщенный опыт тестирования ПП. В алгоритме оптимизации такой факт учитывается при вычислении величины Р .

Исходная информация в задаче состоит:

а) из ответов (экспертных оценок) в = (в₁, в ₂, … , в _k), даваемых в группе программистов - создателей данного ПП. Вопросы из множества М сформулированы именно под ответ «да» или «нет». В соответствии с этим величина в_i , i=1, 2, … , k представляет собой 1 или 0. Такая информация не является обременительной для создателя ПП. Вся сложность уходит в дальнейшую обработку.

б) из экспертных оценок б = (б₁, б₂, … _, б_k) (называемых в работе весами), которые даются в группе тестирования.

Наличие двух типов экспертной информации делает решение задачи более объективным, поскольку работа будет идти не с реальными физическими величинами, а с искусственными бальными оценками.

За основу решения задачи многокритериальной оптимизации берётся метод свёртки [5].

Разновидность метода свёртки - групповая свёртка - используется в связи с тем, что критерии (вопросы) H₁, H₂ ,…, H_k делятся на группы, как это и сделано в подразделе 2.2. А именно, H^I = (H1, H₂ ,…, H_k1) - это первая группа вопросов.

В них веса б₁, б₂, … _, б_k1 , близкие к 1, ведут преимущественно к автоматизированному тестированию.

Во второй группе критериев H^II = (H_k1+1, H_k1+2 ,…, H_k2) веса б_k1, б_k1+1, … _, б_{k2 ,} близкие к 1, ведут преимущественно к ручному способу тестированию. В третьей, в целом нейтральной группе критериев H^III = (H_k2+1, H_k2+2 ,…, H_k) , ответы близкие к 1, ведут преимущественно к выбору автоматизированного вида тестирования. Естественно, k1 ? k2 ? k. Такие оценки наиболее удобно давать эксперту. Их вид далее учитывается в алгоритме обработки.

Алгоритм решения многокритериальной задачи

Ход решения многокритериальной задачи включает себя ряд действий, которые изобразим в виде следующей схемы:

Рис. 1. - Схема решения многокритериальной задачи

Разберём приведённую схему.

Ячейка 1. Оценки в₁, в ₂, … , в _k (ответы на вопросы М) даются в группе создателей ПП, поскольку программисты лучше всех знают особенности созданного ими ПП.

Как уже указывалось, для облегчения работы программистов оценки имеет вид 1 («да») и 0 («нет») [6]. При этом в оценке не учитывается деление критериев на три группы (R1_G, R2_G, R3_G). Дальнейшее усложнение оценок будет идти при обработке исходных массивов на 4-й и 5-й стадиях алгоритма.

Ячейка 2. Эксперт (обычно руководитель тестирования) снабжает оценки в₁, в ₂, … , в _k для всех модулей данного ПП весами. Эти веса б₁, б₂, … _, б_k даются из промежутка [0, 1] и отражают сложность организации тестирования по критерию H_i для данного модуля.

Рекомендуется назначать веса в виде небольшого дискретного набора, например, [0, ј, Ѕ, ѕ, 1] . Причиной этого является сложность в выборе, например, между весами 0.3 или 0.4, в то время как интервал 0.25 достаточно удобен для экспертного назначения.

Выбор весов тестировщиком зависит от деления всех критериев H₁, H₂ ,…, H_k на группы H^I, H^II, H^III. В группе H^I выбор делается по принципу - удобно ли будет с точки зрения данного критерия использовать автоматизированное тестирование (оценка 1 ); достаточно удобно (оценка ѕ); есть сомнения, что удобно (оценка Ѕ); есть сильные сомнения, что удобно (оценка ј); совершенно неудобно (оценка 0).

В группе H^II принцип обратный - удобно ли будет с точки зрения данного критерия использовать ручное тестирование (оценка 0 ); достаточно удобно (оценка ј); есть сомнения, что удобно (оценка Ѕ); есть сильные сомнения, что удобно (оценка ѕ); совершенно неудобно (оценка 1). В группе H^III принцип такой же, как и в первой группе.

Ячейка 3. При наличии неясностей с назначением оценки в _i для конкретного вопроса H_i тестировщик обращается в группу программистов, и, после обсуждений, оценка в _i может быть изменена.

Ячейка 4. Оценки в₁, в₂, … , в _k напрямую неудобны для дальнейшей обработки, поскольку оценка в_j = 0 при её умножении на вес всегда даёт нуль, и, тем самым, вес как бы не учитывается. Предлагается отделить оценку от нуля (а, заодно, и от единицы) заменой чисел 0 и 1 на числа ј и на ѕ . То есть, если величина в_i = 0 , i=1, … , k , то она заменяется на b_i = ј . Если же величина в_i =1, то она заменяется на b_i = ѕ . Таким образом, в целом, имеем переход

в₁, в ₂, … , в _k > b₁, b₂, …, b_k .

Ячейка 5. Веса б₁, б₂, … _, б_k для единообразия дальнейшей обработки по групповым правилам заменяются на веса a₁ ,a₂, … a_k . Эти правила зависят от группы критериев. А именно:

Для первой группы критериев H^I = (H₁, H₂ ,…, H_k1) , ориентированной на выбор автоматизированного тестирования, веса б₁, б₂, … _, б_k1 необходимо только нормировать по группе - разделить на k1:

a_i = б_i /k1 для i=1, … , k1 .

Для второй группы критериев H^II = (H_k1+1, H_k1+2 ,…, H_k2), ориентированной на выбор ручного тестирования, необходимо веса б_k1+1, б_k1+2, … _, б_k2 инвертировать: б_i > (1 - б_i) и поменять в них знак. В итоге имеем

a_i = (б_i - 1)/k2 для i=k1+1, … , k2

Для третьей, нейтральной группы критериев H^III = (H_k2+1, H_k2+2 ,…, H_k), необходимо центрирование оценок б_k2+1, б_k2+2, … _, б_k То есть нейтральной (нулевой) должна стать оценка Ѕ . С учётом количества критериев в этой группе (k--k1-k2) это достигается переходом

a_i = (б_i -Ѕ)/(k--k1-k2) для i= k2+1, … , k .

В итоге замен во всех трёх группах критериев имеем переход

б₁, б₂, … _, б_k > a₁ ,a₂, … a_k .

Ячейка 6. Подготовительная работа, проведённая в ячейках 4 и 5 , позволяет единообразно вычислять групповую свёртку по формуле

Р = a₁b₁ + a₂b₂ +…+ a_kb_k .

Указанная величина всегда находится в пределах -1 ? Р? 1 . Математическое ожидание такой свёртки на множестве всех возможных исходных оценок в₁, в₂, … , в _k и весов б₁, б₂, … _, б_k есть 0 .

Это позволяет говорить о том, что положительное значение оценки Р говорит о предпочтительности автоматизированного тестирования, а отрицательное - о предпочтительности ручного тестирования.

Ячейка 7. Назначаются величины Р₁ и Р₂ , определяющие вид тестирования. По построенной выше части алгоритма можно было бы обойтись без ограничительных величин Р₁ и Р₂ и предложить использовать автоматизированное тестирования при Р ? 0 и ручное при Р < 0 .

Но для большей аргументированности решений предлагается отодвинуть границы от 0 и ввести величины Р₁ ? 0 и Р₂ ? 0 . Это и приводит к третьему случаю, когда формализованное решений признаётся недостаточно обоснованным.

В качестве конкретных значений Р₁ и Р₂ предлагается взять симметричные значения Р₁ = 0.2 и Р₂ = - 0.2 .

Ячейка 8. Выбор вида тестирования R1_G, R2_G, или R3_G для конкретного модуля или всего ПП делается по значению функции Р.

При Р ? Р₁ , рекомендуется автоматизированный метод тестирования

При Р ? Р₂ , рекомендуется ручной метод тестирования

При Р₂ < Р < Р₁, формальным способом выбора пользоваться не рекомендуется, решение принимается экспертно или требует использования дополнительных моделей.

Пример решения поставленной задачи

Пусть в решаемой задаче семь критериев H₁, H₂ ,…, H₇ , четыре первых из них традиционно считаются ведущими к автоматизированному тестированию (R1_G ), два последующих - к необходимости ручного тестирования (R2_G ), и последний нейтрален (R3_G).

В группе программистов для данного модуля по критериям были даны оценки

(в ₁, в ₂, … , в ₇) = (1, 0, 1, 1, 0, 1, 0 ).

Напомним, это означает, что на вопросы №2, №5 и №7 программисты ответили «нет». Пусть представитель тестировщиков усомнился в оценке №5, и после обсуждения «0» был изменён на «1». В итоге, с учётом действий в ячейках 3 и 4, массив b имеет вид

(b₁, b₂, … _, b₇ ) = ( ѕ, ј, ѕ, ѕ, ѕ ,ѕ, ј ) .

Пусть веса, данные тестировщиками, имеют вид

(б₁, б₂, … _, б₇) = ( Ѕ, 0, ѕ, Ѕ, Ѕ, 1, 0 ).

Их обработка в ячейке 5 даст ненормированный массив

(Ѕ, 0, ѕ, Ѕ, - Ѕ , 0, -Ѕ ) .

Нормированный массив a будет иметь вид

( a₁, a₂, … _, a₇ ) = (1/8, 0, 3/16, 1/8, - 1/4 , 0, -Ѕ )

После вычислений имеем

Р = a₁b₁ + a₂b₂ +…+ a₇b₇ = 1/64 ? 0.016 .

Для рекомендованных Р ₁ = 0.2, Р₂ = - 0.2 имеем указание на альтернативу R3_G , то есть, рекомендацию, несмотря на то, что величина Р?0.016 положительна, не принимать формальное решение о выборе для данного модуля автоматизированного вида тестирования.

Связи с классической задачей многокритериальной оптимизации

Поставленная задача о формальном нахождении способа тестирования является неклассической задачей дискретной оптимизации [7]. Главным отличием является узость множества альтернатив - их всего три.

Это использование при тестировании данного модуля автоматизированного метода решения задачи (R1_G) , ручного метода (R2_G) или рассмотрение более сложной ситуации, включающей более сложное рассмотрение, в том числе, комбинирование методов (R3_G).

Напомним, что в классической задаче такое множество обычно бесконечно, в т.ч. часто непрерывно, и главной проблемой является перемещение к точкам допустимого множества (альтернативам), дающим более выгодное значение обобщённого критерия.

Здесь же речь решение задачи оптимизации состоит в вычислении некоторой величины (у нас - групповой свёртка Р= Р^I + Р^II + Р^III ), значение которой указывает на наилучшую альтернативу. Альтернативы R1_G , R2_G , R3_G характеризуются величинами Р^I , Р^II , Р^III , а окончательный выбор достигается их суммированием.

Известное и весьма полезное в классических задачах множество Парето здесь состоит из всех рассматриваемых альтернатив: R1_G , R2_G , R3_G .

В классической задаче многокритериальной оптимизации критерии (у нас элементы множества М ) задаются на множестве альтернатив. Здесь же исходными являются множества оценок в₁, в₂, … , в _k и весов б₁, б₂, … _, б_k , которые характеризуют элементы множества М .

То есть в задачу вводится дополнительный нижний уровень информации. Зато здесь не требуются стандартные для классической задачи методы сокращения количества альтернатив (до одной или нескольких), поскольку их всего три: R1_G , R2_G , R3_G . Требуется лишь процедура их оценки, которая и предложена выше. Это и позволяет назвать данную задачу вырожденной.

Выводы

Использование различных вариантов методов свёртки - наиболее распространённые приём решения многокритериальных задач [8]. В данной задаче метод обосновывается тем, что свёртка объединяет мнение программистов и тестировщиков, а также тем, что позволяет удобно вводить в задачу экспертное мнение. Напомним, что входные величины в задаче - это искусственные баллы, а не объективные числовые оценки.

Вопросы межпрофессионального взаимодействия IT-специалистов являются важными в наши дни [9], так как основу экономики развитых стран составляют многофункциональные проекты [10], поэтому предложенный авторами алгоритм взаимодействия разработчиков ПП и тестировщиков ПП актуален и может быть широко применим.

программный многокритериальный свёрстка тестирование

1. Галимова Е. Ю. Процесс тестирования программного обеспечения как неотъемлемая часть его жизненного цикла, 61-я Международная молодежная научно-техническая конференция «Молодежь. Наука. Инновации», сборник статей, ноябрь 2013, Владивосток, с. 70-72.

2. T'Kindt Vincent, Multicriteria Scheduling Problems // Multiple Criteria Optimization, Springer Science & Business Media, 2002, pp 445-491.

3. Орловский Н. М. Решение задачи однокритериальной оптимизации процесса планирования действий экипажа российского сегмента международной космической станции на основе генетического алгоритма // Инженерный вестник Дона, 2013, №3 URL: ivdon.ru/ru/magazine/archive/n3y2013/1776

4. Галимова Е. Ю. Преимущества ручного подхода к тестированию программного обеспечения, III Международный научный форум "Наука в исследованиях молодых", сборник статей, май 2013, Новосибирск, с. 39 - 42.

5. Мухлисуллина Д. Т., Моор Д. А. Анализ эффективности различных свёрток критериев оптимальности в задаче многокритериальной оптимизации // «Наука и образование», 2010, №4, с. 46 URL: technomag.edu.ru/doc/141623.html

6. Галимова Е. Ю., Коваленко А. Н. «Применение алгоритма многокритериальной оптимизации при выборе между ручным и автоматизированным тестированием». Сборник докладов 63-й Международной молодежной научно-технической конференции “Молодежь. Наука. Инновации”, Владивосток, 17-20 ноября 2015, том 1. Изд-во Мор. Гос. Ун-т., 2015. - 356 с.

7. Ковалев М. М. Дискретная оптимизация (целочисленное программирование) - М., Едиториал УРСС, 2003, с. 7-8.

8. Ногин В. Д. Линейная свертка критериев в многокритериальной оптимизации, «Искусственный интеллект и принятие решений», № 4, 2014, с. 73-82.

9. Gerald M. Weinberg, Perfect software: And other Illusions about testing, Dorset House Publishing Company, 2008, 200 p.

10. Лежнева М. С. Технология формирования готовности будущих IT-специалистов к межпрофессиональному взаимодействию // Инженерный вестник Дона, 2013, №1URL: ivdon.ru/ru/magazine/archive/n1y2013/1563

References

1. Galimova E. Ju. 61-ja Mezhdunarodnaja molodezhnaja nauchno-tehnicheskaja konferencija «Molodezh'. Nauka. Innovacii», sbornik statej, nojabr' 2013, Vladivostok, pp. 70-72.

2. T'Kindt Vincent, Multicriteria Scheduling Problems. Multiple Criteria Optimization, Springer Science & Business Media, 2002, pp. 445-491.

3. Orlovskij N. M. Inћenernyj vestnik Dona (Rus), 2013, №3 URL: ivdon.ru/ru/magazine/archive/n3y2013/1776

4. Galimova E. Ju. III Mezhdunarodnyj nauchnyj forum "Nauka v issledovanijah molodyh", sbornik statej, maj 2013, Novosibirsk, pp. 39 - 42.

5. Muhlisullina D. T., Moor D. A. «Nauka i obrazovanie», 2010, №4, p. 46 URL: technomag.edu.ru/doc/141623.html

6. Galimova E. Ju., Kovalenko A. N. «Primenenie algoritma mnogokriterial'noj optimizacii pri vybore mezhdu ruchnym i avtomatizirovannym testirovaniem» [Application of multi-criteria optimization in selecting between manual and automated testing]. Sbornik dokladov 63-j Mezhdunarodnoj molodezhnoj nauchno-tehnicheskoj konferencii “Molodezh'. Nauka. Innovacii”, Vladivostok, 17-20 nojabrja 2015, tom 1. Izd-vo Mor. Gos. Un-t., 2015. 356 p.

7. Kovalev M. M. Diskretnaja optimizacija (celochislennoe programmirovanie) [Discrete optimization (integer programming)] - M., Editorial URSS, 2003, pp. 7-8.

8. Nogin V. D. «Iskusstvennyj intellekt i prinjatie reshenij», № 4, 2014, pp. 73-82.

9. Gerald M. Weinberg, Perfect software: And other Illusions about testing, Dorset House Publishing Company, 2008, 200 p.

10. Lezhneva M. S. Inћenernyj vestnik Dona (Rus), 2013, №1 URL: ivdon.ru/ru/magazine/archive/n1y2013/1563

Аннотация

Выбор способа тестирования как решение многокритериальной задачи. Е.Ю. Галимова, А.Н. Коваленко. Высшая школа печати и медиатехнологий Санкт-Петербургского государственного университета промышленных технологий и дизайна, г. Санкт-Петербург, Российская Федерация

Задача выбора метода тестирования программного модуля ставится и рассматривается как задача многокритериальной оптимизации. С точки зрения оптимизации задача имеет вырожденный вид, поскольку множество допустимых решений в ней конечно и мало. А именно, метод тестирования отдельного программного модуля может быть автоматизированным, ручным или смешанным. Эта формальная простота компенсируется значительным количеством критериев и ступенчатым алгоритмом их вычисления, основанным на обработке экспертных оценок. Оценки даются как в группе программистов - создателей программного продукта, так и в группе системных тестировщиков. Предложен алгоритм решения поставленной задачи оптимизации, основанный на методе групповой линейной свертки. Итоговое значение свертки соответствует одному из трех возможных методов тестирования. Алгоритм может быть распространён на другие задачи дискретной оптимизации с конечным количеством элементов допустимого множества.

Ключевые слова: ручное тестирование ПП, автоматизированное тестирование ПП, полуавтоматизированное тестирование ПП, метод выбора, задача многокритериальной оптимизации, алгоритм решения многокритериальной задачи.

Размещено на Allbest.ru