Информационная система по методам обработки экспертной информации

Строка

10

sex

Пол

Числовой

1

education_place

Наименование ВУЗа

Строка

100

education_name

Наименование

специальности

Строка

100

education_year

Год выпуска

Числовой

4

0

work_place

Место работы

Строка

100

work_name

Должность

Строка

100

work_year

Стаж

Числовой

2

0

ИО «Анкеты»

id

Идентификатор

П.У.

Числовой

11

0

name

Наименование

Строка

70

description

Описание

Текст

uid

ID автора

Числовой

11

0

method

Метод оценки

Числовой

1

0

params

Параметры анкеты в формате JSON

Текст

ИО «Результаты»

worksheet_id

Идентификатор анкеты

С.У.

Числовой

11

0

expert_id

Идентификатор эксперта

Числовой

11

0

ended

Статус завершения

Числовой

1

0

results

Результаты анкетирования в формате JSON

Текст

5. Разработка программного обеспечения системы

5.1 Описание программных средств

При разработке информационной системы по методам обработки экспертной информации использовались программы JetBrains PhpStorm и платформа Node.js.

JetBrains PhpStorm является средой разработки web-приложений. Программа использовалась для разработки клиентской и серверной части приложения.

Node.js это программная платформа, позволяющая использовать JavaScript как язык программирования общего назначения. Платформа основанна на движке V8, транслирующем JavaScript в машинный код.

Клиентская часть информационной системы написана с использованием web-технологий. Для сборки в нативное графическое приложение используется фреймворк Electron на платформе Node.js.

Серверная часть написана на языке PHP и представляет собой API, который обрабатывает данные перед выполнением запросов к базе данных. PHP - язык программирования общего назначения, сконструированный для разработки web-приложений. Приложение, написанное на PHP, представляет собой набор файлов расширения php, которые необходимо запускать интерпретатором.

Для реализации взаимодействия клиента с сервером необходим web-сервер Nginx. При обращении по протоколу http, сервер обрабатывает запрос и, если необходимо, запускает интерпретатор PHP.

Для хранения данных на сервере используется СУБД Percona Server версии 5.7.17. Это сборка СУБД MySQL, отличающаяся от оригинальной лучшей производительности. Для хранилища используется подсистема XtraDB.

5.2 Алгоритм решения задачи

В ходе проектирования информационной системы была разработана структурная схема информационной системы по методам обработки экспертной информации. Схема представлена на рисунке 5.1.

Рисунок 5.1. Структурная схема программного обеспечения системы

Модульное программирование является одним из способов программирования, при котором вся программа разбивается на группу компонентов, называемых модулями, причем каждый из них имеет свой контролируемый размер, четкое назначение и детально проработанный интерфейс с внешней средой.

Схема состоит из 10 модулей и базы данных.

Модуль авторизации и регистрации используется для разграничения доступа пользователей к системе.

Модуль модератора включает в себя модуль создания и редактирования задачи, а также имеет доступ к модулю формирования отчетов.

Модуль эксперта имеет доступ к модулю прохождения задачи.

Модуль обработки информации включает в себя 4 подмодуля: модуль обработки данных методом ранжирования, модуль обработки данных методом парного сравнения, модуль обработки данных методом множественного сравнения, модуль обработки данных методом непосредственной оценки.

Модуль формирования отчета может вызвать модуль обработки информации.

Программирование и реализация программных модулей системы

Для реализации программных модулей системы необходимо спроектировать интерфейс, с помощью которого будет осуществляться взаимодействие основной программы с модулем. Интерфейс должен включать в себя следующие функции:

1) установка списка экспертов;

2) установка списка оцениваемых параметров;

3) формирование окна создания и редактирования задачи;

4) формирование окна прохождения задачи;

5) установка результатов экспертной оценки;

6) формирование отчета.

С помощью функции установки списка оцениваемых параметров все модули обработки информации получают массив строк, который будет использоваться в качестве оцениваемых параметров.

Также все модули реализуют функцию установки списка экспертов, которая получает массив целых чисел. Каждое из этих чисел является идентификатором существующего эксперта.

Функция формирования окна создания и редактирования задачи реализуется для каждого модуля одинаково, но для некоторых модулей дополнительно выводятся необходимые поля. Для метода ранжирования необходимо указать ранжирующих экспертов, для метода множественных сравнений необходимо указать размер группы оцениваемых параметров, для метода непосредственной оценки - задать размер шкалы оценок.

Все остальные методы в каждом модуле требуют разного набора входных данных и имеют различную реализацию.

Функция установки результатов экспертной оценки для метода ранжирования получает массив номеров оцениваемых параметров, которые должны быть отсортированы в порядке убывания важности. Также для ранжирующих экспертов метод должен принимать массив идентификаторов экспертов, отсортированных в порядке убывания компетентности. Блок-схема алгоритма обработки данных методом ранжирования представлена на рисунке 5.2.

Сначала получается информация из базы данных. Для вычисления результата необходимы следующие данные:

1) questions - массив вопросов. Представляет собой ряд оцениваемых параметров. Каждый вопрос имеет свой индекс;

2) experts - массив результатов ранжирования экспертов. Представляет собой ряд одномерных массивов, количество элементов ряда равняется количеству экспертов. Каждый член ряда закреплен за конкретным экспертом и имеет свой индекс. Массив содержит ранги параметров, заданные экспертами. Длина массива равна количеству оцениваемых параметров. Индекс ранга соответствует индексу параметра в массиве questions;

3) ranking - массив результатов ранжирования экспертов. Представляет собой ряд одномерных массивов, количество элементов ряда равно количеству оценивающих экспертов. Массив содержит ранги экспертов, заданные ранжирующими экспертами. Длина массива равна количеству экспертов. Индекс ранга соответствует индексу эксперта в массиве experts.

Далее необходимо выполнить ранжирование экспертов и вычислить их вес. Для этого в цикле выполняется сложение рангов экспертов для каждого результата из массива ranking.

Далее выполняется вычисление средней суммы рангов по формуле:

, (5.1)

где m и n - количество ранжирующих и ранжируемых экспертов соответственно.

После этого выполняется проверка согласованности ранжирующих экспертов. Для этого сначала в цикле вычисляется сумма Разность между суммой рангов и средней суммой рангов рассчитывается по формуле:

. (5.2)

После ввода уровня значимости б рассчитывается табличное значение с помощью функции chi2inv (б, k) и расчетное значение по формуле:

. (5.3)

При расчете коэффициента конкордации число повторений каждого ранга в j-ом ряду можно опустить. После проверки условия согласованности выводится соответствующий результат.

Далее выполняется расчет весов экспертов. Веса экспертов распределены на промежутке от 1 до 2 включительно. Поэтому можно рассчитать разность между ближайшими весами по формуле:

, (5.4)

где n - количество различных рангов. Далее для каждого эксперта рассчитывается значение его веса в соответствии с его рангом. После расчета весов, рассчитывается их сумма.

Далее выполняется ранжирование параметров. Для этого в цикле выполняется сложение рангов параметров для каждого результата из массива experts.

Затем выполняется вычисление средней суммы рангов по формуле:

, (5.5)

где n - количество оцениваемых параметров, - сумма рангов экспертов.

Далее проверяется согласованность экспертов. Для это сначала в цикле вычисляется сумма . Затем после ввода уровня значимости б рассчитывается табличное значение с помощью функции chi2inv (б, k) и расчетное значение . После проверки условия согласованности выводится соответствующий результат.

Далее выполняется сортировка оцениваемых параметров по убыванию значения ранга и вывод списка.



Рисунок 5.2. Блок-схема алгоритма обработки данных методом ранжирования

Блок-схема алгоритма обработки данных методом парного сравнения представлена на рисунке 5.3.

Рисунок 5.3. Блок-схема алгоритма обработки данных методом парного сравнения

В первую очередь получается информация из базы данных. Для вычисления результата необходимы следующие данные:

1) questions - массив вопросов. Представляет собой ряд оцениваемых параметров. Каждый вопрос имеет свой индекс;

2) experts - массив результатов оценивания экспертами. Представляет собой массив матриц, количество элементов которого равно количеству экспертов. Каждый член ряда имеет индекс и закреплен за конкретным экспертом. Матрица имеет размер N на N, где N - количество оцениваемых параметров. Она содержит оценки параметров, заданные экспертами. Номер строки, как и номер столбца, соответствует индексу оцениваемого параметра из массива questions.

Далее в цикле выполняется расчет массива sumByParam и переменной allSum. Массив sumByParam - массив длиной, равной количеству оцениваемых параметров, содержащий сумму оценок параметра с учетом результатов каждого эксперта. Индекс массива соответствует индексу оцениваемого параметра из массива questions. Переменная allSum хранит сумму всех оценок всех параметров.

Далее в цикле рассчитывается массив важности параметров. Индекс массива соответствует индексу оцениваемого параметра из массива questions. Расчет выполняется по формуле:

, (5.6)

где - важность параметра с индексом i, - сумма оценок параметра с индексом i, s - сумма оценок всех параметров.

После этого происходит сортировка параметров по их важности в убывающем порядке, и выводится результат.

Блок-схема алгоритма обработки данных методом множественного сравнения и сам алгоритм соответствует алгоритму и блок-схеме алгоритма обработки данных методом парного сравнения.

Блок-схема алгоритма обработки данных методом непосредственной оценки приведена на рисунке 5.4.

Рисунок 5.4. Блок-схема алгоритма обработки данных методом непосредственной оценки

Алгоритм обработки данных методом непосредственной оценки аналогичен алгоритму обработки данных методом парных сравнений. Отличие заключается в том, что при получении результатов в массиве experts содержится ряд оценок параметров, заданных соответствующим экспертом. Индекс ряда соответствует индексу оцениваемого параметра в questions.

5.3 Тестирование и оценка надежности системы

Структурное тестирование

Для структурного тестирования программы был выбран способ тестирования базового пути. Для этого рассматривается одна из функций, разработанных в программе. Функция сохранения новой задачи представлена ниже.



1	public function action() {
1	$name = Request:getString («name», false);
1	$description = Request:getString («description», «»);
1	$params = Request:getArray («params», false, false);
1	$method = Request:getNumber («method», Worksheet:METHOD_RANKING);
1	$experts = Request:getArray («experts», false);
1	if (is_assoc_array($experts)) {
2	$experts = false;
3	} else {
3	for ($i = 0; $i < count($experts); $i++) {
4	if (! is_numeric ($experts[$i])) {
5	$experts = false;
5	break;
6	}
7	}
7	}
8	if (!$name ||!$params ||!$experts) {
9	return self:error (3, 'Ошибка при вводе данных.');
9	}
10	$res = User:findByCondition («id», $experts, true);
11	if (count($experts)!= count($res)) {
12	return self:error (3, 'Ошибка при вводе данных.');
12	}
13	$worksheet = new Worksheet();
13	$worksheet->setName($name);
13	$worksheet->setDescription($description);
13	$worksheet->setParams($params);
13	$worksheet->setMethod($method);
13	$worksheet->setUid ($this->user->getId());
14	if (!$worksheet->save()) {
15	return self:error (5, 'Ошибка при сохранении в БД');
15	}
16	for ($i = 0; $i < count($experts); $i++) {
17	if (! (new WorksheetExperts([
	'worksheet_id' => $worksheet->getId(),
	'expert_id' => $experts[$i]
	]))->save()) {
18	return self:error (5, 'Ошибка при сохранении в БД');
18	}
19	}
20	return self:result(['id' => $worksheet->getId()]);
21	}

После этого для представления программы используется потоковый граф. Потоковый граф программы представлен на рисунке 5.2.

Рисунок 5.2. Потоковый граф программы

Цикломатическая сложность вычисляется тремя способами.

В первом способе цикломатическая сложность равна количеству регионов потокового графа:

(5.7)

По формуле (5.7) получается:

Во втором способе цикломатическая сложность может быть вычислена по формуле:

(5.8)

где E - количество дуг, а N - количество узлов потокового графа.

По формуле (5.8) получается:

Также цикломатическая сложность может быть вычислена по формуле:

(5.9)

где p - количество предикатных вершин в потоковом графе G.

По формуле (5.9) получается:

После расчета цикломатической сложности необходимо построить маршруты:

1) 1-2-7-8-9-21

2) 1-3-4-5-6-3-7-8-9-21

3) 1-3-4-6-3-4-6-3-4-6-3-7-8-9-21

4) 1-3-4-6-3-4-6-3-4-6-3-7-8-10-11-12-21

5) 1-3-4-6-3-4-6-3-4-6-3-7-8-10-11-13-14-15-21

6) 1-3-4-6-3-4-6-3-4-6-3-7-8-10-11-13-14-16-17-18-21

7) 1-3-4-6-3-4-6-3-4-6-3-7-8-10-11-13-14-16-17-19-16-17-18-21

8) 1-3-4-6-3-4-6-3-4-6-3-7-8-10-11-13-14-16-17-19-16-17-19-16-17-18-21

9) 1-3-4-6-3-4-6-3-4-6-3-7-8-10-11-13-14-16-17-19-16-17-19-16-17-19-16-20-21

Затем строятся тестовые варианты:

1) ИД: name = NULL

description = «Описание задачи»

params = []

method = 1

experts = [1, 2, 3]

Ож Рез: сообщение об ошибке «Ошибка при вводе данных»;

2) ИД: name = «Название задачи»

description = «Описание задачи»

params = NULL

method = 1

experts = [1, 2, 3];

Ож Рез: сообщение об ошибке «Ошибка при вводе данных»

3) ИД: name = «Название задачи»

description = «Описание задачи»

params = NULL

method = 1

experts = «Иванов А.В., Петров Н.И.»

Ож Рез: сообщение об ошибке «Ошибка при вводе данных»;

4) ИД: name = «Задача на метод ранжирования»

description = «Описание задачи»

params = []

method = 1

experts = [1, 2, 3]

Ож Рез: сообщение с номером созданной задачи.

Функциональное тестирование

С помощью метода эквивалентных разбиений было рассмотрено функциональное тестирование. Классы эквивалентности представлены в таблице 5.1.

Таблица 5.1. Классы эквивалентности

Показатель	Правильный класс эквивалентности	Неправильный класс эквивалентности
Название задачи	Строка длиной до 70 символов	Строка длиной больше 70
Список номеров экспертов	Массив целых чисел	Не массив, элемент массива не целое число
Список параметров	Массив строковых чисел	Не массив, элемент массива не строка

Для того чтобы определить предположения о поведении программы при столкновении с определенным классом эквивалентности необходимо представить тестовые наборы, соответствующие каждому классу.

Тестовые наборы включают в себя название показателя, которому соответствуют классы эквивалентности, входные данные для тестирования, предполагаемый результат и результат, полученные в ходе непосредственного тестирования программы. Результат тестирования считается положительным, если получен предполагаемый результат. Классы эквивалентности представлены в таблице 5.2.

Таблица 5.2. Классы эквивалентности

Показатель	Входные данные для тестирования	Предполагаемый результат	Результат тестирования
Название задачи	«Задача на метод ранжирования»	Задача будет создана	+
Название задачи	Lorem Ipsum - это текст - «рыба», часто используемый в печати и вэб-дизайне. Lorem Ipsum является стандартной «рыбой» для текстов на латинице с начала XVI века.	Сообщение «Ошибка при вводе данных»	+
Список номеров экспертов	[1, 2, 3]	Задача будет создана	+
Список номеров экспертов	«1 2 3»	Сообщение «Ошибка при вводе данных»	+
Список номеров экспертов	[1, 2, «3»]	Сообщение «Ошибка при вводе данных»	+
Список номеров экспертов	[1, 2.25, 3]	Сообщение «Ошибка при вводе данных»	+
Список параметров	[«Цена», «Качество», «Надежность»]	Задача будет создана	+
Список параметров	«Цена, Качество, Надежность»	Сообщение «Ошибка при вводе данных»	+
Список параметров	[«Цена», 1, «Надежность»]	Сообщение «Ошибка при вводе данных»	+

Оценка надежности системы

Для оценки надежности программного средства используется модель Миллса. Данная модель предполагает необходимость искусственно вносить в программу некоторое количество известных ошибок до начала тестирования. Все ошибки вносятся случайным образом и фиксируются в протоколе искусственных ошибок. Специалист, который проводит тестирование, не знает о количестве и характере внесенных ошибок до момента оценки показателей надежности.

Все ошибки (естественные и искусственные) имеют равную вероятность быть найденными в процессе тестирования. В течение некоторого времени программа тестируется, а также собирается статистика обнаруженных ошибок. Первоначальное число ошибок, обнаруженных в программе, определяется по формуле:

(5.10)

где S - количество искусственно внесенных ошибок, n - число найденных собственных ошибок, - число обнаруженных внесенных ошибок к моменту оценки искусственных ошибок.

После этого идет проверка гипотезы об N. Предполагается, что в программе имеется k собственных и S искусственно внесенных ошибок. Вероятность, с которой можно утверждать, что первоначально в программе было k ошибок можно рассчитать из соотношения [16]:

(5.11)

Допустим, что в программу было внесено 80 ошибок. К некоторому моменту тестирования обнаружено 2 собственных и 40 внесенных ошибок. Тогда по формуле (5.10) первоначальное число ошибок равно:

Получается, что в программе изначально было 6 ошибок.

Для проверки гипотезы необходимо воспользоваться формулой (5.11):

На основании расчетов можно утверждать, что разрабатываемая информационная система надежна с вероятностью 0,96.

Список использованных источников

1. Орлов, А.И. Организационно-экономическое моделирование / А.И. Орлов - Москва: МГТУ им. Н.Э. Баумана, 2011. - 567 с.

2. Бешелев, С.Д. Экспертные оценки / С.Д. Бешелев, Ф.Г. Гурвич - Москва: НАУКА, 1973. - 154 с.

3. Ехлаков, Ю.П. Теоретические основы автоматизированного управления / Ю.П. Ехлаков - Томск: ТУСУР, 2001. - 337 с.

4. Прохоров, Ю.К. Управленческие решения / Ю.К. Прохоров - Санкт-Петербург: СПбГУ ИТМО, 2011. - 138 с.

5. Шмерлинг, Д.С. Экспертные оценки: методы и применение. Обзор / Д.С. Шмерлинг, С.А. Дубровкий, Т.Д. Аржанова, А.А. Френкель - Москва: наука, 1977. - 284 с.

6. Тинякова, В.И. Математические методы обработки экспертной информации: учебное пособие / В.И. Тинякова - Воронеж: ВГУ, 2006. - 68 с.

7. Вертакова, Ю.В. Исследование социально-экономических и политических процессов / Ю.В. Вертакова - Москва: КНОРУС, 2009 - 336 с.

8. Цуканова, О.А. Методология и инструментарий моделирования бизнес-процессов: учебное пособие / О.А. Цуканова - Санкт-Петербург: Университет ИТМО, 2015. - 100 с.

9. Черемных, С.В. Моделирование и анализ систем. IDEF-технологии / С.В. Черемных, И.О. Семенов, В.С. Ручкин - Москва: Финансы и статистика, 2006. - 192 с.

10. Трофимов, С.А. CASE-технологии. Практическая работа в Rational Rose / С.А. Трофимов - Москва: Бином-Пресс, 2002. - 288 с.

11. Леоненков, А.В. Самоучитель UML / А.В. Трофимов - Санкт-Петербург: БХВ-Петербург, 2007. - 576 с.

12. Литвак, Б.Г. Экспертные технологии в управлении / Б.Г Литвак. - Москва: Дело, 2004. - 400 с.

13. Методы оценки и выбора альтернатив [Электронный ресурс] // Студми. Учебные материалы для студентов: сайт. - Режим доступа: http://www.studme.org/1274071412698/menedzhment/metody_otsenki_vybora_alternativ

14. Метод парных сравнений [Электронный ресурс] // StudFiles. Файловый архив студентов: сайт. - Режим доступа: http://www.studfiles.ru/preview/6226565/page:98/

15. Диго, С.М. Базы данных: проектирование и использование / С.М. Диго - Москва: Финансы и статистика, 2005. - 573 с.

16. Викторова, В.С. Модели и методы расчета надежности технических систем / В.С. Викторова, А.С. Степанянц - Москва: ЛЕНАНД, 2016. - 256 с.

Размещено на Allbest.ru

...