Информационная система по методам обработки экспертной информации

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Введение

экспертный программный автоматизация информационный

В настоящее время большинство видов трудовой деятельности связано с проведением экспертиз. При обработке результатов исследования широкое применение нашёл метод экспертных оценок, который применяется в тех областях знаний, где невозможно провести оценку характеристик объекта какими-либо способами.

Методом экспертных оценок называется комплекс логических и математических процедур, которые направлены на получение от специалистов информации, её анализ и обобщение с целью подготовки и выбора рациональных решений.

Целью выпускной квалификационной работы является разработка информационной системы по методам обработки экспертной информации.

Работа состоит из шести разделов, в каждом из них рассматриваются разные аспекты разработки информационной системы.

В первом разделе представлен литературный обзор, в котором описывается применение экспертных оценок, дается краткая характеристика методов экспертных оценок, а также рассматривается проблема обработки экспертной информации.

Во втором разделе описывается предметная область и осуществляется постановка задачи. Разрабатывается функциональная структура информационной системы и определяются требования к ней. Рассматриваются функции, которые должны быть реализованы в информационной системе. Представляются формы документов - анкет для проведения экспертной оценки.

В третьем разделе осуществляется проектирование информационной системы с помощью построения диаграмм: контекстной диаграммы, диаграммы IDEF0, IDEF3, диаграммы вариантов использования, диаграммы деятельности и диаграммы состояний. Описываются методы обработки экспертной информации. Также в данном разделе приводится оценка трудоемкости разработки информационной системы.

В четвертом разделе представляется информационный анализ предметной области, строится логическая модель данных, а также описываются таблицы разрабатываемой базы данных.

Пятый раздел включает в себя разработку программного обеспечения системы. В этом разделе происходит описание программных средств и алгоритмов решения задач. Производится структурное и функциональное тестирование, а также оценка надежности системы.

В шестом разделе представлена компьютерная реализация системы.

1. Аналитический обзор по методам обработки экспертной информации

В настоящее время экспертизы проводятся практически во всех сферах человеческой деятельности. Инженеры, врачи, юристы, преподаватели являются в какой-то степени экспертами. Основные виды экспертной деятельности можно классифицировать по областям конкретной профессиональной деятельности и по задачам, решаемым с помощью экспертных оценок [1].

Бешелев С.Д. отмечает, что экспертные оценки применяются в тех ситуациях, когда достоверность информации, необходимой для принятия решения, крайне мала. Эти оценки основаны на способности личности давать полезную информацию в условиях неопределенности [2].

Экспертная оценка - это целая система диагностических методов, которые чрезвычайно широко применяются в менеджменте, экономическом анализе, психологии, маркетинге и других сферах. Эти методы позволяют охарактеризовать, классифицировать, присвоить определенный ранг или оценку событиям и понятиям, которые не поддаются количественному измерению.

Орлов А.И. в своей книге говорит о том, что экспертная деятельность в конкретных областях обычно регулируется соответствующими нормативными актами и осуществляется в соответствии с теми или иными методическими материалами [1].

Проблема выбора и обоснования коллегиальных решений по вопросам стратегии и тактики развития исследуемых задач, решения вопросов по распределению ограниченного количества ресурсов, поиску эффективных решений в экстремальных ситуациях требуют привлечения экспертов-специалистов. При этом предполагается, что информация об объемах анализа слабо структурирована и носит в основном качественный характер [3].

Метод экспертной оценки - получение информации путем проведения экспертного опроса. Суть метода заключается в том, что экспертами проводится анализ возможного развития проблемной ситуации в будущем с качественной или количественной характеристикой уровня его достоверности и последующей формальной обработкой результатов. Основное отличие экспертного опроса от массовых опросов - это то, что к участию в нем приглашаются высококвалифицированные специалисты.

По мнению Прохорова Ю.К. характеристики группы экспертов определяются на основе индивидуальных характеристик экспертов: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности.

Компетентность - степень квалификации эксперта в определенной области знаний. Компетентность может быть определена на основе анализа плодотворной деятельности специалиста, уровня и широты знакомства с достижениями мировой науки и техники, понимания проблем и перспектив развития.

Для количественной оценки степени компетентности используется коэффициент компетентности, с учетом которого взвешивается мнение эксперта. Коэффициент компетентности определяется по априорным и апостериорным данным. При использовании априорных данных оценка коэффициента компетентности производится до проведения экспертизы на основе самооценки эксперта и взаимной оценки со стороны других экспертов. При использовании апостериорных данных оценка коэффициента компетентности производится на основе обработки результатов экспертизы.

Креативностью называют способность решать творческие задачи. В настоящее время кроме качественных суждений, основанных на изучении деятельности экспертов, нет каких-либо предложений по оценке этой характеристики.

Конформизм - это подверженность влиянию авторитетов. Наиболее сильно конформизм проявляется при проведении экспертизы в виде открытых дискуссий. Мнение авторитетов подавляет мнение лиц, обладающих высокой степенью конформизма. Отношение к экспертизе является очень важной характеристикой качества эксперта при решении данной проблемы. Негативное или пассивное отношение специалиста к решению проблемы, большая занятость и другие факторы существенно сказываются на выполнении экспертами своих функций. Поэтому участие в экспертизе должно рассматриваться как плановая работа. Эксперт должен проявлять интерес к рассматриваемой проблеме.

Конструктивность мышления подразумевает, что эксперт должен давать решения, обладающие свойством практичности. Учет реальных возможностей решения проблемы очень важен при проведении экспертного оценивания.

Коллективизм должен учитываться при проведении открытых дискуссий. Этика поведения человека в коллективе во многих случаях существенно влияет на создание положительного психологического климата и тем самым на успешность решения проблемы. Самокритичность эксперта проявляется при самооценке степени своей компетентности, а также при учете мнений других экспертов и принятии решения по рассматриваемой проблеме [4].

В ходе проведения опроса экспертов осуществляется выявление и констатация их суждений по существу исследуемого объекта. Форма проведения опроса фактически является основой, определяющей вид метода организации и проведения экспертизы. Основными формами опроса являются: анкетирование, инрервьюирование, метод Дельфы, мозговой штурм, дискуссия.

В ходе анкетирования осуществляется опрос экспертов в письменной форме с помощью анкет. Анкета - список вопросов, составляемый организаторами проведения экспертизы, который предъявляется экспертам. Их ответы служат исходными эмпирическими данными для обобщений и выводов. В процессе разработки анкеты организаторам экспертизы необходимо ориентироваться на ее цели и задачи. Должен быть составлен перечень вопросов, тщательно отработано их содержание, выбрана форма и последовательность. При этом следует избегать вопросов, на которые невозможно ответить или отвечать не требуется.

По содержанию вопросы подразделяют на две группы:

1) объективные характеристики эксперта (фамилия, имя, отчество, год рождения, образование, специальность, стаж работы по специальности и т.д.);

2) характеристики исследуемых аспектов объекта, сведения вспомогательного характера об источниках информации, располагаемой экспертом, о процессе аргументации суждений эксперта и т.п.

Одной из разновидностей форм получения информации в ходе экспертизы является интервьюирование. Интервьюированием называется процесс получения информации интервьюером во время проведения опроса эксперта или группы экспертов по заранее намеченному плану беседы. Для успешного проведения интервью интервьюеру необходимо тщательно его спланировать, проработать состав и очередность задаваемых вопросов, заранее сообщить экспертам тему опроса, не знакомя их с конкретным перечнем вопросов [5].

Обработка экспертных оценок при групповой экспертизе имеет специфику в зависимости от характера информации, выражающей предпочтения экспертов и содержательное обоснование своих предпочтений, целей, назначения и других факторов проводимой экспертизы и заключается в следующем:

1) определении обобщенной оценки исследуемых объектов или рассматриваемого объекта по ряду свойств, показателей и относительной их значимости;

2) оценки согласованности и зависимости мнений экспертов;

3) оценки достоверности полученных расчетных величин.

Цель обработки экспертных оценок заключается в получении обобщенных данных по исследуемым объектам. Их анализ позволяет получать дополнительную информацию об особенностях процесса оценки, которая помогает формулировать выводы о качестве проведенной экспертизы и причинах возможных расхождений мнений коалиций экспертов.

К наиболее употребительным процедурам экспертных измерений относятся: ранжирование, парное сравнивание, множественные сравнения, непосредственная оценка, метод Черчмена-Акоффа, метод Терстоуна, метод фон Неймана-Моргенштерна. Рациональность применения тех или иных методов в основном определяется характером анализируемой информации. Если оправданы лишь качественные оценки объектов по некоторым качественным признакам, то используются методы ранжирования, парного и множественного сравнения.

Если характер анализируемой информации такой, что целесообразно получить численные оценки объектов, то можно использовать какой-либо метод численной оценки, начиная от непосредственных численных оценок и заканчивая более тонкими методами Терстоуна и фон Неймана-Моргенштерна.

Метод ранжирования представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе знаний опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. В зависимости от вида отношений между объекта ми возможны различные варианты упорядочения объектов.

Метод парного сравнения представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов является более простой задачей.

Множественные сравнения отличаются от парных тем, что экспертам последовательно предъявляются не пары, а тройки, четверки, n-ки (n<N) объектов. Эксперт их упорядочивает по важности или разбивает на классы в зависимости от целей экспертизы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием.

Метод непосредственной оценки заключается в присваивании объектам числовых значений в шкале интервалов. Эксперту необходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом необходимо, чтобы эквивалентным объектам приписывались одинаковые числа [6].

Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ПК. Применение ПК выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.

Современный этап развития научно-технического прогресса вызвал ярко выраженную потребность в разработке экспертных методов оценки проектов и исследовательских систем [7].

Таким образом, наиболее важная проблема состоит в разработке качественной информационной системы по методам обработки экспертной информации.

2. Предметная область и постановка задачи

2.1 Предметная область автоматизации

Предметной областью данной работы является прохождение экспертами анкет и обработка экспертной информации. Эксперту представляются те задачи, в которых он должен на основе своих знаний и личного опыта оценить какие-либо параметры. Каждая задача реализуется с помощью одного из четырех методов:

1) метод ранжирования;

2) метод парного сравнения;

3) метод множественного сравнения;

4) метод непосредственной оценки.

Модератор может просматривать результат обработки экспертной информации, который сохраняется в виде отчета.

2.2 Постановка задачи

Цель данной работы заключается в автоматизации проведения экспертной оценки и последующей обработке экспертной информации.

На основе изученной предметной области разработана функциональная структура системы, которая представлена на рисунке 2.1.



Рисунок 2.1. Функциональная структура системы

Информационная система состоит из следующих блоков: блок входа в систему, база данных, блок ввода данных, блок формирования задачи, подсистема выбора задачи, подсистема обработки данных, подсистема просмотра отчетов.

Система позволяет выполнить вход для эксперта и модератора.

Для эксперта доступна подсистема выбора задачи. Она позволяет выбирать задачи и проходить их.

Для модератора доступны блоки формирования задач и ввода данных. Эти блоки позволяют создавать задачи, вносить необходимые данные, выбирать один из методов и назначать экспертов.

Подсистема обработки данных позволяет обрабатывать информацию, внесенную экспертами одним из методов обработки данных.

В базе данных хранятся данные о пользователях, созданные задачи и результаты проведения экспертной оценки.

Подсистема просмотра отчетов доступна модератору для просмотра отчетов по результатам обработки экспертной информации.

2.3 Требования к разрабатываемой системе

Требования к информационной системе можно разделить на требования к системе в целом и к функциям системы.

Требования к системе в целом

Общими требованиями являются простой и понятный интерфейс, надежность, возможность добавлять и изменять анкеты, быстрая обработка данных, наличие главного меню, теоритической справки, руководства эксперта и модератора.

Требования к функциям

Информационная система должна предоставлять экспертам следующие функции: прохождение анкет, возможность редактировать личную информацию.

Для модератора выполняются такие функции, как добавление и редактирование анкет для проведения экспертной оценки, возможность просматривать личную информацию пользователей, сохранение и просмотр отчетов.

2.4 Формы документов - анкет для проведения экспертной оценки

Формами документов являются анкеты для заполнения данных о пользователе и анкеты для проведения экспертной оценки. В форме 2.1 представлено заполнение данных о пользователе.

Форма 2.1. Заполнение данных пользователем

E-mail

Пароль

Ф.И.О.

Дата рождения

Пол

Роль

Наименование ВУЗа

Специальность

Год выпуска

Место работы

Должность

Стаж

В форме 2.2 приведено прохождение анкеты для метода ранжирования.

Форма 2.2. Прохождение анкеты для метода ранжирования

Список параметров

В форме 2.3 представлено заполнение анкеты для ранжирующего эксперта.

Форма 2.3. Заполнение анкеты для ранжирующего эксперта

Список ранжируемых экспертов

В форме 2.4 приведено прохождение анкеты для метода парного сравнения.

Форма 2.4. Прохождение анкеты для метода парного сравнения

Список сравниваемых параметров	Значимость	Список сравниваемых параметров

В форме 2.5 представлено прохождение анкеты для метода множественного сравнения.

Форма 2.5. Прохождение анкеты для метода множественного сравнения

Список сравниваемых параметров

В форме 2.6 приведено прохождение анкеты для метода непосредственной оценки.

Форма 2.6. Прохождение анкеты для метода непосредственной оценки

Список параметров	Шкала оценки

3. Проектирование информационной системы

3.1 Функционально-ориентированное проектирование системы

Этапы анализа и проектирования информационной системы являются наиболее трудоемкими. При проектировании информационной системы по методам обработки экспертной информации применялось CASE-средство BPwin. BPwin - CASE-средство функционального моделирования, реализующее методологию IDEF.

При разработке диаграммы IDEF0 строится контекстная диаграмма, которая, в свою очередь, декомпозируется на элементы следующего уровня.

Диаграмма верхнего уровня дает общее описание объекта моделирования. На ней располагается один блок, который представляет весь объект. Имя этого блока является общим для всего проекта. Стрелки на этой диаграмме отражают связи объекта моделирования с окружающей средой [8]. На рисунке 3.1 представлена контекстная диаграмма, соответствующая проектированию информационной системы.

Рисунок 3.1. Контекстная диаграмма

В таблице 3.1 представлено описание стрелок контекстной диаграммы.

Таблица 3.1. Стрелки контекстной диаграммы

Наименование стрелки	Описание	Тип
Критерии для оценки	Критерии, необходимые для экспертной оценки	Input
Параметры для оценки	Параметры, необходимые для экспертной оценки	Input
Методы обработки экспертной информации	Методы, с помощью которых осуществляется обработка экспертной информации	Control
Информационная система	Обеспечивает взаимодействие всех элементов системы	Mechanism
Эксперты	Пользователи, которые проходят анкеты	Mechanism
Отчеты	Отчеты, содержащие результаты обработки экспертной информации	Output

За этой диаграммой следует серия дочерних диаграмм, предоставляющих более детальное представление об объекте. Процесс разбиения системы на крупные фрагменты называется функциональной декомпозицией. На рисунке 3.2 представлена диаграмма, которая является декомпозиция первого уровня.

Рисунок 3.2. Диаграмма декомпозиции первого уровня

Затем производится декомпозиция блока «Сбор мнений экспертов». Диаграмма декомпозиции второго уровня представлена на рисунке 3.3.



Рисунок 3.3. Диаграмма декомпозиции второго уровня по блоку «Сбор мнений экспертов»

В таблице 3.2 приведено описание основных элементов модели IDEF0.

Таблица 3.2. Основные элементы модели IDEF0

Название проекта: Разработка информационной системы для обработки экспертной информации
Цель проекта: Реализация структурной функциональной модели информационной системы
Технология моделирования: метод функционального моделирования IDEF0
Инструментарий: программный продукт BPWin 4.0
Список данных	Перечень функций
Критерии для оценки Параметры для оценки Методы обработки экспертной информации Информационная система Эксперты Отчеты	А0. Разработка информационной системы для обработки экспертной информации
Критерии для оценки Параметры для оценки Методы обработки экспертной информации Результат опроса экспертов Результат обработки информации Информационная система Эксперты Отчеты	А1. Сбор мнений экспертов А2. Обработка результатов по выбранному методу А3. Формирование отчета
Критерии для оценки Параметры для оценки Методы обработки экспертной информации Обработка результатов анкетирования Информационная система Эксперты Результат опроса экспертов	А11. Анкетирование экспертов А12. Составление матрицы результатов опроса

Описание задач, которые решают функциональные блоки, представлено в таблице 3.3.

Таблица 3.3. Описание функциональных блоков IDEF0

Наименование блока	Описание решаемых задач
А1. Сбор мнений экспертов	Производится анкетирование экспертов и составляется матрица результатов опроса
А2. Обработка результатов по выбранному методу	Процесс обработки экспертной информации по выбранному методу
А3. Формирование отчета	Обработанная экспертная информация формируется в отчет
А11. Анкетирование экспертов	Производится экспертная оценка параметров задачи
А12. Составление матрицы результатов опроса	В результате анкетирования экспертов составляется матрица результатов опроса

IDEF3 - методология моделирования и стандарт документирования процессов, происходящих в системе. В отличие от стандарта IDEF0, который представляет моделируемую систему как совокупность видов деятельности, IDEF3 представляет собой технику моделирования деятельности как последовательности событий, а также участвующих в этих событиях объектов [9].

На рисунке 3.4 представлена диаграмма декомпозиции второго уровня по блоку «Обработка результатов по выбранному методу».



Рисунок 3.4. Диаграмма декомпозиции второго уровня по блоку «Обработка результатов по выбранному методу»

Описание основных элементов диаграммы IDEF3 представлено в таблице 3.4.

Таблица 3.4. Основные элементы модели IDEF3

Название проекта: Разработка информационной системы для обработки экспертной информации
Цель проекта: Реализация структурной функциональной модели информационной системы
Технология моделирования: метод описания бизнес-процессов IDEF3
Инструментарий: программный продукт BPWin 4.0
Перечень действий	Тип соединения
	Название	Вид
1. Обработка информации	Соединение «ИЛИ»	Разворачивающее
2. Обработка методом ранжирования 3. Обработка методом парного сравнения 4. Обработка методом множественного сравнения 5. Обработка методом непосредственной оценки	Соединение «ИЛИ»	Сворачивающее
6. Структурирование данных
7. Расчет данных

Описание функциональных блоков схемы IDEF3 представлено в таблице 3.5.

Таблица 3.5. Описание функциональных блоков IDEF3

Наименование блока	Описание решаемых задач
1. Обработка информации	Выполняется обработка экспертной информации
2. Обработка методом ранжирования	Полученная от экспертов информация обрабатывается с помощью метода ранжирования
3. Обработка методом парного сравнения	Полученная от экспертов информация обрабатывается с помощью метода парного сравнения
4. Обработка методом множественного сравнения	Полученная от экспертов информация обрабатывается с помощью метода множественного сравнения
5. Обработка методом непосредственной оценки	Полученная от экспертов информация обрабатывается с помощью метода непосредственной оценки
6. Структурирование данных	Производится структурирование полученных данных
7. Расчет данных	Производится расчет полученных данных

3.2 Объектно-ориентированное проектирование системы

Объектно-ориентированное проектирование использует объектную декомпозицию. Структура системы описывается в терминах объектов и связей между ними, а поведение системы представляется в терминах обмена сообщениями между объектами. Каждый объект системы обладает своим собственным поведением, которое моделирует поведение объекта реального мира [10].

Диаграмма вариантов использования применяется для моделирования бизнес-процессов организации и требований к создаваемой системе. Суть диаграммы состоит в том, что проектируемая система представляется в виде множества сущностей или актеров, взаимодействующих с системой с помощью вариантов использования. Актером называется любая сущность, которая взаимодействует с системой извне. В свою очередь, вариант использования используется для описания сервисов, которые система предоставляет актеру [11]. Диаграмма вариантов использования представлена на рисунке 3.5.



Рисунок 3.5. Диаграмма вариантов использования

В таблице 3.6 представлено описание главного раздела «Прохождение анкеты».

Таблица 3.6. Главный раздел «Прохождение анкеты»

Вариант использования	Прохождение анкеты
Актеры	Эксперт
Цель	Оценивание параметров
Краткое описание	Эксперт проходит анкеты с целью оценивания различных параметров задачи
Тип	Базовый

В таблице 3.7 представлен раздел «Типичный ход событий», в котором раскрывается последовательность действий в разрабатываемой системе. Это позволяет подробно рассмотреть действия актеров и соответствующий им отклик системы.

Таблица 3.7. Раздел «Типичный ход событий»

Действия актера	Отклик системы
Пользователь проходит авторизацию Исключение №1: введены неверные почта или пароль	Открывается основная форма программы
Пользователь проходит регистрацию Исключение №2: не все поля заполнены	Вносятся личные данные о пользователе
Модератор создает новую задачу Исключение №3: не все данные указаны	Создается новая задача
Модератор редактирует задачу Исключение №4: задачу проходят эксперты	Происходит редактирование задачи
Модератор выбирает просмотр данных об эксперте	Предоставляются данные об эксперте
Эксперт проходит задачу Исключение №3: не все данные указаны	Вносятся данные о результатах оценивания параметров
Модератор просматривает отчет Исключение №5: не все эксперты прошли задачу	Производится обработка данных по результатам выполненных задач

В таблице 3.8 представлен раздел «Исключения».

Таблица 3.8. Раздел «Исключения»

Действия актера	Отклик системы
Исключение №1: введены неверные почта или пароль
Пользователь проходит авторизацию	Система предлагает ввести корректные данные
Исключение №2: не все поля заполнены
Эксперт проходит регистрацию	Система оповещает пользователя о том, что все необходимые поля должны быть заполнены
Исключение №3: не все данные указаны
Модератор создает новую задачу	Система оповещает модератора о том, что создать или редактировать задачу невозможно
Модератор редактирует задачу
Исключение №4: задачу проходят эксперты
Эксперт проходит задачу	Система предлагает внести все необходимые данные
Исключение №5: не все эксперты прошли задачу
Модератор просматривает отчет	Система предлагает ожидание завершение прохождения задачи всеми экспертами

Диаграммы деятельности используются для моделирования процесса выполнения операций. Каждое состояние на диаграмме соответствует выполнению некоторой операции, а переход в следующее состояние выполняется только при завершении операции в предыдущем состоянии. Диаграмма деятельности графически представляется в виде графа деятельности, вершинами которого являются состояния действия, а дугами - переходы от одного состояния действия к другому [10]. Диаграмма деятельности представлена на рисунке 3.6.

Рисунок 3.6. Диаграмма деятельности

Диаграмма отображает возможности эксперта в системе. При авторизации пользователь вводит логин и пароль. Программа отправляет запрос на проверку логина и пароля на сервер, который возвращает ответ о правильности введенных данных. В случае ввода некорректных данных программа сообщает пользователю об ошибке. После входа в систему эксперту открывается главная форма со списком доступных анкет. После выбора одной из анкет программа выполняет запрос на получение подробной информации и формирует окно анкеты. Пользователь заполняет анкету и подтверждает ввод данных. Программа совершает проверку введенных данных. Если анкета заполнена неверно, эксперту выводится сообщение об ошибке. В случае правильного заполнения анкеты все данные сохраняются на сервере, а пользователю открывается главная форма.

Диаграмма состояний описывает возможные последовательности состояний и переходов, характеризующих поведение элемента модели в течение его жизненного цикла. Данная диаграмма является графом специального типа. Вершины этого графа служат для обозначения состояния, а дуги определяют переходы из состояния в состояние [11]. Диаграмма состояний представлена на рисунке 3.7.

Рисунок 3.7. Диаграмма состояний

Диаграмма показывает возможности эксперта в системе. При авторизации эксперт вводит логин и пароль. Программа отправляет запрос на проверку логина и пароля на сервер, который возвращает ответ о правильности введенных данных. В случае ввода неверных данных программа сообщает пользователю об ошибке. После входа в систему для пользователя открывается главная форма со списком анкет. После выбора анкеты программа выполняет запрос на получение полной информации и формирует окно анкеты. Эксперт проходит анкетирование и подтверждает ввод данных. Программа совершает проверку введенных данных, после чего все данные сохраняются на сервере.

3.3 Методы обработки экспертной информации

Экспертная оценка - оценка параметров предметов или процессов, которые невозможно измерить или использовать точные науки. Оценка проводится на основании профессионального опыта эксперта, как одного, так и нескольких [12].

Метод ранжирования

Ранжирование - это процесс расположения факторов в порядке убывания какого-либо присущего им свойства, т.е. по их относительной значимости в решении поставленной проблемы. При этом ранжирование объектов содержит лишь информацию о том, какой из них более предпочтителен, и не содержит информацию о том, насколько или во сколько раз один объект предпочтительнее другого.

Ранжирование удобно применять в следующих ситуациях, когда:

1) возникает задача упорядочить какие-либо объекты во времени или пространстве;

2) необходимо расположить объекты в определенном порядке в соответствии с каким-либо качеством, при этом, не измеряя его;

3) некоторое качество в принципе измеримо, но в настоящий момент времени не может быть измерено по причинам практического или теоретического характера.

Суть метода ранжирования состоит в том, что эксперты располагают объекты ранжирования в порядке убывания их значимости. Ранги обозначаются цифрами от 1 до n, где n - количество рангов. Ранг, равный единице, приписывается наиболее важному, по мнению эксперта, фактору, а ранг, равный двум, присваивается следующему по важности фактору и т.д.

В столбце «Ранг» анкет нужно проставить цифры, соответствующие месту, отведенному специалистом данному параметру в ранжировочном ряду. Иногда возникает ситуация, когда эксперт затрудняется провести четкое разграничение между некоторыми факторами. Если несколько значений какого-либо параметра одинаковы, то их ранг равен частному от деления суммы рангов (мест в ряду), приходящихся на эти значения, на число равных значений. Такие ранги называются связанными. Анкета по параметрам представлена в таблице 3.9.

Таблица 3.9. Анкета по параметрам

Номер по порядку	Параметр	Условное обозначение	Ранг
1	Параметр 1	Х1
2	Параметр 2	Х2
3	Параметр 3	Х3
4	Параметр 4	Х4

Результаты опроса специалистов представляются в виде матрицы. Матрица рангов параметров представлена в таблице 3.10.

Таблица 3.10. Матрица рангов параметров

Специалисты	Параметры
	Х1	Х2	Х3	Х4
1	1	2	2	3
2	2	1	4	3
3	1	3	2	4
4	3	2	1	4
5	3	1	4	2

Затем проводится ранжировка самих специалистов для учета компетентности опрашиваемых специалистов. Специалистам 1, 2 и 4 необходимо проранжировать всех специалистов. Результаты ранжировки специалистов по их компетентности представлены в таблице 3.11.

Таблица 3.11. Матрица рангов специалистов

Ранжирующие специалисты	Ранжируемые специалисты
	1	2	3	4	5
1	1	3	2	5	4
2	2	1	4	3	5
4	3	1	5	2	4

Для получения нормальной ранжировки необходимо матрицу рангов специалистов преобразовать так, чтобы сумма рангов каждой строки равнялась . Для этого ранжируемым специалистам, которые имеют одинаковые ранги, приписываются ранги, равные среднему арифметическому значению мест, которые они поделили между собой. Преобразованная матрица рангов специалистов представлена в таблице 3.12.

Таблица 3.12. Преобразованная матрица рангов специалистов

Ранжирующие специалисты	Ранжируемые специалисты
	1	2	3	4	5
1	1	3	2	5	4	0
2	2	1	4	3	5	0
4	3	1	5	2	4	0
	6	5	11	10	13
	-3	-4	2	1	4
d2	9	16	4	1	16	46

В столбце приводится число повторений каждого ранга в каждой строке. Средняя сумма рангов вычисляется по формуле:

 (3.1)

где m - число ранжирующих специалистов, n - число ранжируемых специалистов.

В строке приводится сумма рангов, а в строке - разность между суммой рангов и средней суммой рангов.

Коэффициент конкордации, определяющий степень согласия мнений ранжирующих специалистов, рассчитывался по формуле:

(3.2)

, - число повторений каждого ранга в j-ом ряду.

Коэффициент конкордации определяет степень согласия мнений ранжирующих специалистов: если W=0, то связи между мнениями специалистов нет; если W=1, то мнения всех специалистов совпали.

Значимость коэффициента конкордации устанавливается с помощью критерия Пирсона. Для этого находят расчетное значение :

. (3.3)

Расчетное значение сравнивается с табличным значением из распределения Пирсона, найденным для принятого уровня значимости и числа степеней свободы . Гипотеза о наличии согласия мнений опрошенных специалистов принимается, если .

После этого строится гистограмма ранжировки специалистов: на оси абсцисс обозначается номер специалиста, по оси ординат - сумма рангов в возрастающем порядке. Гистограмма ранжировки специалистов представлена на рисунке 3.8.

Рисунок 3.8. Гистограмма ранжировки специалистов

Получив ранжировку специалистов, преобразуется матрица рангов параметров. Средняя сумма рангов определяется по формуле:

. (3.4)

Коэффициент конкордации вычислялся по формуле:

(3.5)

где m - число ранжирующих специалистов, n - число ранжируемых факторов.

Преобразованная матрица ранжировки параметров представлена в таблице 3.13.

Таблица 3.13. Преобразованная матрица рангов параметров

Специалисты	Параметры	Ранг специалиста	Вес специалиста
	Х1	Х2	Х3	Х4
1	1	2,5	2,5	3	2	1,6	0,5
2	2	1	4	3	1	2	0
3	1	3	2	4	3	1,3	0
4	3	2	1	4	3	1,3	0
5	3	1	4	2	4	1	0
	13,8	13,5	19,9	23,2
	-3,8	-4,1	2,3	5,6
d2	14,44	16,81	5,29	31,36

После этого строится гистограмма ранжировки параметров. При построении этой гистограммы параметры в порядке возрастания суммы рангов откладываются по оси абсцисс, а по оси ординат - суммы рангов. Степень влияния параметра на исследуемую величину оценивается по величине суммы рангов: чем меньше сумма рангов параметра, тем большее влияние он оказывает на исследуемую величину [13]. Гистограмма ранжировки параметров представлена на рисунке 3.9.

Рисунок 3.9. Гистограмма ранжировки параметров

Метод парного сравнения

Наиболее распространенным методом оценки сравнительной предпочтительности альтернативных вариантов считается метод парных сравнений. Суть этого метода заключается в том, что эксперту последовательно предлагаются пары альтернативных вариантов, из которых он должен выбрать более предпочтительный. Метод парного сравнения удобен не только тогда, когда число факторов велико, но и в тех случаях, когда различия между объектами по разным факторам настолько мало, что ранжирование не обеспечивает разумного упорядочивания. Анкета по параметрам представлена в таблице 3.14.

Таблица 3.14. Анкета по параметрам

Номер по порядку	Параметр	Условное обозначение
1	Параметр 1	Х1
2	Параметр 2	Х2
3	Параметр 3	Х3
4	Параметр 4	Х4

При парном сравнении используются два числовых представления. Первый заключается в том, что эксперт ограничивается простой констатацией того, что один фактор предпочтительнее другого. Тогда в матрице парных сравнений в ячейках записываются 0 или 1.

Матрица парных сравнений всегда обратно симметрична относительно главной диагонали. Таким образом, получается, что эксперту фактически необходимо заполнить только половину матрицы. Сумма оценок каждого фактора может расцениваться как его ранг.

Если используется второе числовое представление, то в матрице парных сравнений в ячейках записывается 2, если первый фактор предпочтительнее второго, 1 - если оба фактора примерно равнозначны и 0, если первый фактор имеет меньшую значимость. Матрица парных сравнений на основе второго числового представления показана в таблице 3.15.

Таблица 3.15. Матрица парных сравнения на основе второго числового представления

Параметр	Х1	Х2	Х3	Х4	Сумма
Х1	1	1	2	0	4
Х2	1	1	1	0	3
Х3	0	1	1	2	4
Х4	2	2	0	1	5

Затем строится вторая матрица, которая показывает процентное отношение случаев, когда один фактор оказался более значимым, чем другой. Для того чтобы получить нормированную относительную важность каждого фактора необходимо разделить суммарную относительную оценку каждого фактора на их сумму [14]. Преобразованная матрица парных сравнения представлена в таблице 3.16.

Таблица 3.16. Преобразованная матрица парных сравнений

Параметр	Х1	Х2	Х3	Х4	Сумма	Нормированная относительная важность
Х1	0,1	0,1	0,2	0	0,4	0,25
Х2	0,1	0,1	0,1	0	0,3	0,19
Х3	0	0,1	0,1	0,2	0,4	0,25
Х4	0,2	0,2	0	0,1	0,5	0,31
Сумма	1,6	1

Метод множественного сравнения

Метод множественного сравнения подразумевает одновременное сравнение более чем двух средних, характеризующих несколько подвыборок. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием. Они отличаются от парных тем, что экспертам последовательно предъявляются не пары, а тройки, четверки и т.д. объектов.

С одной стороны, метод множественного сравнения позволяет использовать больший, чем при парных сравнениях, объем информации для определения экспертного суждения в результате одновременного соотнесения объекта не с одним, а с большим числом объектов. С другой стороны, при ранжировании объектов их может оказаться слишком много, что затрудняет работу эксперта и сказывается на качестве результатов экспертизы. В этом случае множественные сравнения позволяют уменьшить до разумных пределов объем поступающей к эксперту информации. Анкета по параметрам представлена в таблице 3.17.

Таблица 3.17. Анкета по параметрам

Номер по порядку	Параметр	Условное обозначение
1	Параметр 1	Х1
2	Параметр 2	Х2
3	Параметр 3	Х3
4	Параметр 4	Х4

Каждому специалисту на основе второго числового представления необходимо расставить числа 2, 1 или 0, если первый параметр предпочтительнее второго, имеет равную значимость или менее предпочтительный, чем второй соответственно.

Матрица множественных сравнений на основе второго числового представления для одного эксперта представлена в таблице 3.18.

Таблица 3.18. Матрица множественных сравнений для одного эксперта

Сумма	Параметры
	Х1	Х2	Х3	Х4
	0	5	5	2

После того, как все специалисты заполнили анкеты, составляется преобразованная матрица множественных сравнений. В столбец «Сумма» записывается сумма оценок каждого параметра по всем специалистам. Нормированная относительная важность рассчитывается также как и в методе парного сравнения. Преобразованная матрица множественных сравнений представлена в таблице 3.19.

Таблица 3.19. Преобразованная матрица множественных сравнений

Параметры	Сумма	Процентное соотношение	Нормированная относительная важность
Х1	6	0,06	0,125
Х2	16	0,16	0,33
Х3	18	0,18	0,375
Х4	8	0,08	0,17
Сумма	48	0,48	1

Метод непосредственной оценки

Метод непосредственной оценки заключается в присваивании объектам числовых значений в шкале интервалов. Эксперту необходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом необходимо, чтобы эквивалентным объектам приписывались одинаковые числа [13]. Анкета по параметрам представлена в таблице 3.20.

Таблица 3.20. Анкета по параметрам

Номер по порядку	Параметр	Условное обозначение
1	Параметр 1	Х1
2	Параметр 2	Х2
3	Параметр 3	Х3

Для оценки параметров выбрана пятибалльная шкала. Специалистам необходимо поставить оценку каждому параметру. Для этого составляется матрица оценок параметров. Нормированная относительная важность вычисляется по аналогии с двумя предыдущими методами. Матрица оценок параметров представлена в таблице 3.21.

Таблица 3.21. Матрица оценок параметров

Специалисты	Параметры	Сумма	Нормированная относительная важность
	Х1	Х2	Х3
1	1,5	4,5	2,2	8,2	0,2
2	2,5	4,4	3,1	10	0,25
3	1,9	4	2,1	8	0,2
4	1,6	3,8	1,2	6,6	0,16
5	2,1	3,5	1,9	7,5	0,19
Сумма	40,3	1

3.4 Оценка трудоемкости разработки системы

Для оценки трудоемкости разработки системы используется методика на основе вариантов использования. Все действующие лица системы делятся на три типа: простые, средние и с...