Экспертная оценка качества функционирования информационных систем в образовательном сервисе
Рассмотрение основных вопросов качества применительно к информационным системам вуза. Определение методологических условий оценки качества с помощью экспертного метода. Разработка технологии и модели расчета показателей экспертной оценки качества ИС.
| Рубрика | Программирование, компьютеры и кибернетика |
| Вид | статья |
| Язык | русский |
| Дата добавления | 23.11.2020 |
| Размер файла | 42,9 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
2
Размещено на http://www.allbest.ru/
1
Экспертная оценка качества функционирования информационных систем в образовательном сервисе
Кулаков Кирилл Владимирович, аспирант,
ФГОУВПО «Российский государственный университет туризма и сервиса», г. Москва
Success of information system depends significantly on the quality of its functioning, however it is not always possible to define it by the settlement-analytical method. In the article quality questions with reference to information systems of high school are considered. Methodological conditions of an estimation of the quality by means of an expert method are considered. The technology and model of calculation of indicators of an expert estimation of the quality are developed.
Успешность информационной системы в значительной мере зависит от качества ее функционирования, однако не всегда возможно определить его расчетно-аналитическим методом. В статье рассматриваются вопросы качества применительно к информационным системам вуза. Рассмотрены методологические условия оценки качества с помощью экспертного метода. Разработаны технология и модель расчета показателей экспертной оценки качества.
Key words: Quality of information systems, expert estimation, educational service
Ключевые слова: качество информационных систем, экспертная оценка, образовательный сервис
экспертиза качество информационная система вуз
Эффективность информационных систем (ИС) в значительной мере определяется оценкой качества на всех стадиях их жизненного цикла [1]. Особую значимость составляет задача оценки качества функционирования информационных систем в образовательном сервисе, например, в вузовской сфере. Существует несколько направлений в оценке качества, в частности, эвристический, расчетно-аналитический и экспертный. В практике экспертной оценки качества, в частности при экспертной оценке потребительских свойств продукции в основном применяются комплексная и оперативная экспертизы [2]. Однако пока нет методик экспертной оценки качества функционирования информационных систем вуза.
Комплексная экспертиза проводится для всестороннего изучения и оценки качества информационных систем серийно. В связи с этим при экспертизе реализуют системный, комплексный подход к анализу и оценке функционирования ИС. При комплексной экспертизе необходимо получить не только более полную характеристику оцениваемой конкретной ИС, но также и определенный научный, методический и нормативный материал, используемый при проведении оценки качества ИС достаточно широкого класса и назначения.
Оперативная экспертиза основывается на данных, полученных при проведении предшествующих комплексных экспертиз. Этот прием позволяет существенно сократить объем и сроки экспертных работ при достаточной глубине и обоснованности экспертных заключений.
При экспертном методе оценку уровня качества или показателя того или иного свойства ИС можно определить в безразмерных единицах. В случае если результат оценки (экспертного измерения) качества эксперты представляют в виде ранжированного ряда, то численное определение оценок экспертов состоит в следующем.
1. Все объекты оценки (информационная система, ее компоненты, свойства) нумеруются произвольно.
2. Эксперты ранжируют объекты по шкале порядка.
3. Ранжированные ряды объектов, составленные экспертами, сопоставляются.
Пример. Пусть пять экспертов о семи объектах экспертизы Q составили такие ранжированные ряды по возрастающей шкале порядка:
эксперт № 1 -
эксперт № 2 -
эксперт № з -
эксперт № 4 -
эксперт № 5 -
Место объекта в ранжированном ряду называется его рангом. Численное значение ранга в ряду возрастающей шкалы порядка увеличивается от 1 до t. В нашем примере t=1.
4. Определяются суммы рангов каждого из объектов экспертной оценки. В рассматриваемом примере они таковы:
5. На основании полученных сумм рангов строим обобщенный ранжированный ряд.
Для нашего примера он имеет вид
6. Обобщенные экспертные оценки качества рассматриваемых объектов экспертизы, т.е. коэффициенты их весомости, рассчитываются по формуле
(1) ,
где n - количество экспертов; m - число оцениваемых показателей;
- коэффициент весомости j-го показателя в рангах (баллах), который дал
i-ый эксперт.
Расчеты по формуле (1) для рассматриваемого примера дают следующие результаты:
.
Анализируя полученные экспертным методом оценки качества, можно не только указать, какой объект лучше или хуже других, но и на сколько.
Если ранжирование объектов по их качеству осуществлять в табличной форме, то сопоставления и расчеты численных значений экспертных оценок производятся по следующей методике.
Во-первых, составляется таблица, по которой каждый эксперт осуществляет сопоставление и оценку рассматриваемых объектов. При этом каждый i-й объект сопоставляется с другими j-ми объектами сравнения. Если при попарном сопоставлении i-и объект признается лучше j-го, то это условие обозначается цифрой 1, противоположная оценка обозначается -1, а равнокачественные объекты отмечаются в таблице цифрой 0 (ноль).
В таком случае сопоставительная таблица оценок одного эксперта, например, шести ИС, как объектов исследования, будет иметь следующий вид.
Таблица Оценки эксперта по объектам
|
Объект j Объект i |
1 |
2 |
3 |
4 |
5 |
6 |
Итого |
|
|
1 |
0 |
1 |
0 |
1 |
1 |
1 |
4 |
|
|
2 |
-1 |
0 |
-1 |
0 |
- 1 |
1 |
-2 |
|
|
3 |
1 |
1 |
0 |
-1 |
1 |
1 |
3 |
|
|
4 |
-1 |
-1 |
-1 |
0 |
-1 |
-1 |
-5 |
|
|
5 |
1 |
1 |
1 |
1 |
0 |
1 |
5 |
|
|
6 |
1 |
-1 |
1 |
-1 |
1 |
0 |
1 |
Из этой таблицы видно, что предпочтительные оценки данного эксперта получили ИС в такой последовательности: № 5, № 3 и № 1. Предпочтительным в данном случае является ИС № 5.
Данные о предпочтениях всех экспертов группы суммируются и рассчитываются обобщенные предпочтения одних ИС над другими, то есть рассчитывается экспертный показатель качества ИС в виде ее частоты предпочтений.
Частота предпочтения находится как частное от деления всех предпочтений данного объекта на возможное число предпочтений, т.е.
где N -- число предпочтений экспертов; n- количество экспертов.
Весомость показателя качества одного объекта исследования по отношению к показателям качества других объектов рассчитывается по формуле (1). Однако для данного случая она имеет вид
,
где -- частота предпочтения i-ым экспертом j-го объекта экспертизы;
С -- общее количество учитываемых оценок, связанное с числом объектов экспертизы m следующей зависимостью
Пусть, например, число оцениваемых объектов семью экспертами равно 6, . Тогда частоты предпочтений каждого объекта таковы
.
Общее число положительных оценок
.
Следовательно, весомость каждого из шести объектов экспертизы по общему мнению всех семи экспертов будут иметь следующие значения
Сумма всех показателей весомости качества объектов исследования
.
Так получили ранжированный по качеству ряд исследованных объектов вида:
№ 3 > № 1 > № 2 > № 6 > № 5 > № 4.
При этом показатели качества объектов, оцененные экспертным методом, выражены в количественной форме. По усредненным значениям показателей весомости можно судить, насколько одна ИС превосходит по качеству другую ИС.
Повысить точность экспертных оценок (измерений) показателей качества можно, если произвести двукратное сопоставление и оценку объектов, то есть сначала это сделать в одной последовательности, а потом в противоположной. При этом, естественно, количество учитываемых оценок экспертов удваивается и С=m(m-1). В остальном методика расчетов показателей качества не изменяется.
При экспертизе качества ИС могут быть использованы балльные оценки, которые даются непосредственно экспертами или получаются в результате формализации процесса оценки. Эта формализация бывает эвристической или экспериментальной.
Непосредственное назначение балльных оценок производится экспертами независимо друг от друга или в процессе обсуждения. Количество баллов в принимаемой оценочной шкале может быть разным. Для оценки показателей качества можно использовать пяти-, семи- или десятибалльную шкалы.
Пример пятибалльной шкалы.
Оценка Число баллов
Отличное качество 5
Хорошее качество 4
Вполне удовлетворительное качество 3
Удовлетворительное качество 2
Плохое качество 1
Пример семибальной шкалы.
Оценка Число баллов
Качество очень высокое 7
Качество высокое 6
Качество выше среднего 5
Качество среднее 4
Качество ниже среднего 3
Качество низкое 2
Качество очень низкое 1
Обобщенный показатель качества Kэкс, определяемый экспертным методом по балльной системе исчислений, находят как среднее арифметическое значение оценок, поставленных всеми экспертами и вычисляют по формуле
,
где а -- количество экспертов; Q -- оценки в баллах, поставленные экспертами.
Если при экспертизе качества оценку (опрос) проводят в несколько туров, то в этом случае значение показателя качества определяют как среднеарифметическое значение оценок, полученных в каждом туре опроса экспертов по выражению
,
где -- значение показателя качества, полученное в каждом туре; m -- число туров опроса.
Эвристическая формализация экспертных оценок заключается в определении зависимости между значениями параметрических показателей и их оценками в баллах. На основании этого строится график или разрабатывается математическая формула, которые позволяют выражать балльную оценку показателей качества в натуральных единицах измерений, например, производительность ИС как число выдаваемых пользователю документов в единицу времени.
При экспериментальной формализации устанавливают соотношение значений балльных оценок со значениями показателей, определяемыми в результате эксперимента. Следует отметить, что экспертный метод определения значений показателей качества с использованием способа экспериментальной формализации оценок экспертов является более объективным, чем без такой формализации [3].
В экспертной оценке можно применять так называемый социологический метод оценки качества ИС. Этот метод, как и экспертный, основан на опросах, мнениях, но не специальных экспертов, а различных пользователей ИС - студентов, преподавателей, аспирантов, сотрудников управления, научного сектора вуза и др. Этот социологический метод можно считать модификацией экспертного. Социологический метод определения значений показателей качества продукции является по существу маркетинговым и осуществляется с помощью не экспертов, а фактических или потенциальных потребителей результатной информации, выдаваемой ИС. Сбор мнений потребителей производится опросом или с помощью распространения и заполнения специальных анкет-вопросников, а также путем организации конференций, выставок, аукционов, опытно-показательной эксплуатации и т.п.
Экспертный метод можно эффективно применять и для оценки качества отдельных компонентов ИС - технических средств, программных продуктов, базы данных, лингвистических средств и др.
Литература
1.Исаев Г.Н. Моделирование оценки качества информационных систем. М.: ИМСГС, 2006. 230 с.
2. Орлов А.И. Теория принятия решений. М.: Изд-во «Март», 2004. 187 c.
3.Литвак Б.Г. Экспертные оценки и принятие решений. М.: Патент, 1996. 271 с.
Размещено на Allbest.ru
...Подобные документы
Применение систем визуализации показателей качества воды. Принципы создания информационных систем, их назначение, цели и требования к ним. Разработка сайта и возможности CMS Joomla. Построение модели информационной системы с помощью CASE-технологий.
дипломная работа [2,5 M], добавлен 12.08.2017Содержание термина "планирование эксперимента". Сущность метода наименьших квадратов. Разработка программы анализа статистической оценки качества проектируемой системы: составление и графическое представление алгоритма решения, листинг программы.
курсовая работа [4,1 M], добавлен 16.09.2011Оценка качества подготовки программистов и снижение трудозатрат на подготовку и проверку их лабораторных работ. Разработка проекта по автоматизации процесса обучения программированию с помощью интегрированной среды оценки структуры и качества программы.
дипломная работа [2,5 M], добавлен 07.06.2012Анализ обучающих программ, систем для создания обучающих дисков, оценки качества обучающих систем, информационных технологий, состояния в области проектирования программных продуктов. Описание диаграммных методик. Разработка математической модели.
дипломная работа [1,7 M], добавлен 17.07.2009Расчет комплексных показателей качества информационного продукта (мобильности, надежности, ориентации на потребителя, масштабируемости и модифицируемости, эффективности). Общая стоимость владения информационным продуктом по стадиям его жизненного цикла.
контрольная работа [82,3 K], добавлен 15.02.2012Разработка базы знаний и её тестирование с помощью оболочки экспертных систем Little Helper. Оценка технических характеристик телевизора, ценового фактора. Практическое применение искусственного интеллекта на машиностроительных предприятиях и в экономике.
курсовая работа [1,0 M], добавлен 19.09.2012Качество как полнота свойств и характеристик продукта, процесса или услуги, которые обеспечивают способность удовлетворять заявленным или подразумеваемым потребностям. Особенности и основные критерии его оценки в сфере информационных технологий.
презентация [2,0 M], добавлен 19.09.2015Методологические основы оценки качества информационных ресурсов. Анализ принципов методологии, используемых при решении задач ОКФИС. Логика организации, ее теоретический базис, нормы и правила. Методы и средства моделирования информационных систем.
контрольная работа [66,7 K], добавлен 23.01.2011Анализ показателей оценки эффективности информационных систем и технологий. Расчет трудовых и стоимостных показателей и показателей достоверности информации, разработка программы для ускорения методов обработки данных. Интерфейс и листинг приложения.
дипломная работа [1,2 M], добавлен 14.01.2012Схемы взаимодействия между заказчиком и разработчиком программного обеспечения. Качество программного обеспечения и определение основных критериев его оценка на современном этапе, особенности управления на стадиях жизненного цикла, анализ достаточности.
презентация [114,7 K], добавлен 14.08.2013Особенности построения и функционирования информационных систем. Понятие, цель и задачи информационной логистики, информационные потоки и системы. Виды и принципы построения логистических информационных систем. Повышение качества логистического процесса.
контрольная работа [25,4 K], добавлен 11.11.2010Структурная схема простейшей САР с ПИ-регулятором. Определение параметров ПИ-регулятора на границе устойчивости. Особенности переходных процессов в САР с ПИ-регулятором. Минимальные значения интегральных показателей качества в переходных процессах.
лабораторная работа [1,3 M], добавлен 08.04.2013Характеристика основных методов и средств моделирования мультиагентных систем. Ознакомление с результатами экспериментального тестирования и отладки программного комплекса. Рассмотрение методов оценки качества разработанного программного продукта.
дипломная работа [3,1 M], добавлен 27.10.2017Исследование возможных вариантов выявления ошибок в комплексе программ (в том числе и сложных алгоритмических) с использованием системы показателей качества. Выбор действий по установлению причин выявленных несоответствий, их локализации и устранению.
реферат [261,2 K], добавлен 26.10.2010Влияние качества программных продуктов на экономические характеристики производства, управление ими. Стандартизированные характеристики качества сложных программных продуктов. Гипотетические примеры определения требований к характеристикам качества.
контрольная работа [22,4 K], добавлен 13.12.2014Анализ методологии и стандартизации оценки характеристик качества готовых программных средств: по функциональной пригодности, по корректности, по способности к взаимодействию, по защищенности. Процессы и продукты жизненного цикла программных средств.
контрольная работа [26,6 K], добавлен 23.01.2011Создание автоматизированной системы, включающей системы видеоконтроля качества полиграфической продукции и ее учета. Разработка программной системы. Модули обработки информации и изображения. Общий алгоритм распознавания. Интерфейс системы управления.
дипломная работа [3,0 M], добавлен 22.11.2015Этапы разработки экспертных систем. Требования к организации-разработчику. Правильный выбор подходящей проблемы, работа с экспертом. Разработка прототипной системы. Развитие прототипа до промышленной экспертной системы. Особенности оценки системы.
презентация [169,1 K], добавлен 14.08.2013Сравнительный анализ информационных систем учета качества услуг. Выбор средств моделирования и разработки. Построение проекта информационной системы для муниципалитета, которая фиксирует и систематизирует поступающую информацию о запрашиваемых услугах.
курсовая работа [894,7 K], добавлен 24.06.2015Принципы функционирования IP-сетей. Методы обеспечения качества IP-телефонии. Показатели качества обслуживания, учитываемые при передаче мультимедийного трафика и механизмы их формирования. Протоколы сигнализации для QoS. Алгоритмы управления очередями.
презентация [979,4 K], добавлен 14.05.2015
