Анализ применения нечетко-множественного подхода к мониторингу качества образования государственных служащих

Размещено на http://www.allbest.ru/

УДК 658.562: 004.89

Анализ применения нечетко-множественного подхода к мониторингу качества образования государственных служащих

Т.А. Филичева

Аннотация

Изложены теоретические основы развития информационного обеспечения мониторинга системы качества образовательных услуг вуза. Обосновано применение нечетко-множественного подхода к анализу образовательных систем. Представлены качественные показатели через лингвистические переменные.

Ключевые слова: система качества, мониторинг, образовательная система, теория нечетких множеств, лингвистические переменные.

В связи с необходимостью повышения кадрового потенциала страны в современных условиях особое внимание уделяется повышению качества формирования резерва управленческих кадров путем разработки и внедрения профессиональных стандартов нового поколения, ориентированных на формирование востребованных профессиональных компетенций, личностных качеств и профессионализма. Реализация федеральной целевой программы «Электронная Россия» предусматривает проведение научно-исследовательских работ в области специального, высшего профессионального и послевузовского образования взрослых с учетом специфики и требований государственной и муниципальной службы. При этом одним из путей повышения качества подготовки управленческих кадров остается развитие системы непрерывного образования. Система непрерывного образования представляет собой сложную социальную систему, состояние которой определяется результатами не только учебной деятельности (внутренними показателями), но и воздействий со стороны изменяющегося рынка труда (внешних воздействий). Система качества образовательного учреждения (СКОУ) в соответствии с требованиями современного управления должна отличаться мобильностью, гибкостью, оперативностью обработки и анализа информации, возможностью моделирования и прогнозирования качества. Создание эффективно действующей СКОУ требует внедрения высоких информационных технологий, что отражено в стандарте 1.6 «Информационные системы» ENQA, и предусматривает охват следующих направлений [10]:

1) прогресс студентов и уровень успеваемости;

2) спрос на выпускников на рынке труда;

3) удовлетворённость студентов учебными программами;

4) эффективность преподавания;

5) состав студентов и его анализ;

6) доступные обучающие ресурсы и их стоимость;

7) главные показатели деятельности данного учебного заведения.

На этапе создания такой системы следует определить набор объектов мониторинга, информация о которых является существенной для функционирования и дальнейшего развития данной системы. К таким объектам относятся потребности (основные потребители - студенты, работодатели, общество), возможности и ресурсы образовательного учреждения (ОУ), удовлетворенность потребителей качеством предоставляемых образовательных услуг, а также нормативные показатели. Условимся под мониторингом понимать систематическое наблюдение за параметрами системы качества и ходом реализации процессов, определяющих деятельность руководства, детализирующих учебно-воспитательную, научно-исследовательскую и обеспечивающую деятельность. Основные процессы, определяющие СКОУ, приведены в типовой модели СКОУ [8] и ГОСТ Р ИСО 9001-2001 в сфере образования [9].

В настоящее время в системе образования осуществлен переход к комплексной оценке деятельности вузов на основе перечня показателей аккредитации, в который входит показатель 1.2.3 «Эффективность внутривузовской системы обеспечения качества», определяющий не только наличие СКОУ, но и эффективность ее функционирования. С 2007 г. в модуль сбора данных для вузов включена часть «Внутривузовская система гарантии качества образовательной деятельности», в которой характеризуется модель СКОУ, принципы ее построения, а также наличие записей, данных анализа СКОУ. Система качества, основанная на ГОСТ Р ИСО 9001-2008 и ГОСТ Р ИСО 9004-2008, предусматривает наличие раздела 8 «Измерение, анализ, улучшение», который определяет процедуру мониторинга и анализа СКОУ с целью оценки успешности функционирования и результативности как системы в целом, так и каждого процесса в отдельности.

Мониторинг в современных условиях рассматривается как эффективный инструмент организации и функционирования процессного подхода в подготовке управленческих кадров, соответствующих запросам общества. При этом ОУ необходимо применять надежные методы для мониторинга и измерения удовлетворенности потребителей, а также сообщать результаты анализа удовлетворенности потребителей заинтересованным сторонам через запланированные промежутки времени. Мониторингу могут подлежать процессы управления:

- регистрационными реестрами, оценками и аттестациями;

- записями;

- образовательными программами.

Для анализа определенных ОУ процессов рекомендуется использовать следующие данные:

- результаты анализа со стороны руководства;

- данные о профессорско-преподавательском и административном штате, а также об обучающихся (например, о компетентности);

- требования к образовательным услугам;

- данные проектирования и разработки образовательной программы и учебного плана;

- данные о предоставлении образовательных услуг;

- результаты оценки поставщиков;

- результаты анализа удовлетворенности потребителей и других заинтересованных сторон;

- аудиторские отчеты;

- данные мониторинга и измерений в начале, во время и в конце процессов;

- данные идентификации образовательных услуг;

- данные о собственности потребителей;

- результаты верификации и валидации методов, используемых для мониторинга и измерений;

- данные по несоответствующим образовательным услугам.

Функциональная модель мониторинга системы качества вуза при первой декомпозиции приведена на рис.1.

Рис.1. Функциональная модель мониторинга системы качества вуза

Структурированную систему информационной поддержки мониторинга удовлетворенности потребителей можно разделить на три блока (рис. 2). Первый блок призван обеспечивать автоматизацию сбора, хранения информации от потребителей образовательных услуг, а также нормативных значений показателей качества. При этом следует учесть, что сами критерии наличия и эффективности системы качества четко не определены. Система информационной поддержки формирования сжатого словесного описания состояния СКОУ предназначена для преобразования характеристик, выраженных лингвистическими переменными, в некие числовые показатели. Система информационной поддержки анализа состояния СКОУ определяется аналитическим инструментарием, который и обеспечивает анализ качественных, слабо формализуемых характеристик.

Рис. 2. Структура системы информационной поддержки мониторинга удовлетворенности потребителей образовательной услугой

Методы управления качеством в данной сфере деятельности применяются достаточно давно и определены ГОСТами серии ИСО. Существующие же методы анализа эффективности образовательных систем строятся в основном на моделях премий по качеству с заданным перечнем показателей и весов. При этом основным используемым методом является экспертный способ с применением балльных шкал с введенными весовыми коэффициентами [1, 3, 4, 6].

В образовательных системах числовые значения параметров, за исключением основных аккредитационных показателей, используются редко; вместо количественных значений чаще всего применяются вербальные оценки, формируемые экспертом, что порождает неопределенность при описании параметров системы. В промышленности же различные ограничения задаются четкими (числовыми) значениями. Для решения задач, в которых исходные данные являются ненадежными и слабо формализуемыми, чаще всего применяется математический аппарат нечетких множеств, использующий близкий к естественному язык, и позволяющий оперировать данными, полученными при помощи точных методов. Соответственно для образовательной системы универсального инструментария анализа и измерения качества предоставленных услуг в четком виде не существует.

Все большее количество авторов склоняются к применению методов теории нечетких множеств к анализу образовательных систем и обосновывают возможность осуществления перехода от классических вероятностных моделей и экспертных оценок к нечетко-множественным описаниям [2, 5, 7]. Неопределенность создается, прежде всего, внешними факторами (в частности, бурно изменяющимся рынком труда); кроме того, существует ряд факторов, обусловливающих неустранимую неопределенность информационной ситуации:

1) ненадежность (неточность) исходной информации;

2) нечеткость (неоднозначность) естественного языка;

3) неполнота информации, т.е. нечеткие посылки;

4) неопределенность, возникающая вследствие агрегации правил и моделей, исходящих от разных источников знаний.

Наиболее часто встречающееся в литературе формализованное описание нечеткой проблемной ситуации, характеризующей состояние образовательной системы, представляется кортежной записью

<известные / неизвестные элементы, характеризующие решаемую задачу>

<П, Т ,С | А^ТЗ, А, О, X, L, Y>,

где П=(П₁ ,..., П_i) - множество условий (критериев), определяющих характер задачи; Т - время, отводимое для решения задачи;

С=(С₁ ,..., С_j) -

средства (расчётные процедуры и методы), необходимые для анализа при решении задачи;

А^ТЗ=(A₁^ТЗ,..., A_n^ТЗ) -

множество целей, предусматриваемых при решении задачи (ТЗ - параметры функции полезности);

А=(A₁,...,A_n) -

совокупность характеристик, отражающих свойства и потребительские качества системы;

О=(О₁ ,..., О_n) -

множество ограничений на характеристики А;

Х=(Х₁ ,..., Х_n) -

множество альтернативных вариантов решений; L=Ц (Щ, X) - обобщенный критерий эффективности (потери относительно требований ТЗ);

Y=(Y₁ ,..., Y_n) -

множество факторов (характеристик), определяющих назначение решений;

Щ=f(А^ТЗ, Y) -

функция связи между характеристиками решений и целями (весовые коэффициенты).

Из множества показателей, определяющих качество предоставляемых образовательных услуг, выделяется набор базовых критериев, которые являются наиболее существенными, и определяется их приоритетность. Приоритетность показателя определяется весовым коэффициентом.

Процесс анализа сводится к анализу соотношения требуемого, по мнению потребителя, уровня знаний или обладания тем или иным качеством и его самооценки по этой же характеристике. Таким образом, показатель удовлетворенности потребителя образовательной услугой можно формально представить в виде

где Y_ij - удовлетворенность i-го респондента j-й характеристикой; С_ij- самооценка i-м респондентом уровня владения j-й характеристикой; T_ij - требуемый уровень владения j-й характеристикой i-го респондента.

Существует несколько способов выражения обобщенного показателя эффективности:

1. Расчет интегрального показателя удовлетворенности потребителя образовательной услугой:

где Y_i - интегральная удовлетворенность i-го потребителя; k - количество характеристик; N_ij - нормированный уровень важности j-й характеристики для i-го респондента.

2. Свертывание (объединение) векторного критерия в некую скалярную функцию полезности. В этом случае функцию полезности можно представить в виде взвешенной суммы разностей показателей, отражающих фактическое состояние:

где k - число требований ТЗ; щ_j -- априорная предпочтительность j-й характеристики в общем количестве ответов респондентов в общем списке требований ТЗ (j-й весовой коэффициент); _ частный параметр эффективности, характеризующий относительное отклонение реальной характеристики от j-го требования ТЗ при выборе эффективного решения Х_i из множества альтернативных вариантов решений.

Выполненные подобным образом вычисления позволяют составить матрицы потерь текущих и потенциальных требований потребителей (таблица), которые, в свою очередь, являются основой для анализа показателей качества и предпринимаемых корректирующих и предупреждающих действий, обеспечивающих реализацию принципа постоянного совершенствования. Данный подход соответствует общей схеме решения поисковой задачи в «размытой» постановке и позволяет выбрать эффективное решение Х_i из множества альтернативных вариантов решений и свести к минимуму функционал потерь L_i. Суммарные потери определяются с помощью обобщенного показателя эффективности [5].

Таблица. Матрицы весовых коэффициентов щ_j и потерь по характеристикам l_il

Для сведения задачи отбора к формально разрешимым задачам необходимо снять неопределенность. В целом потери l_i определяются как сумма детерминированной и неопределенной информационных составляющих:

Для каждой альтернативы i=1, 2, …, m с учетом _j определяются суммарные взвешенные потери:

.

Для каждого j=1, 2, …, k определяется уровень относительной неопределенности (_i):

Следовательно,

Отличительной особенностью мониторинга удовлетворенности предоставляемыми образовательными услугами является то, что информацию приходится извлекать из мнений экспертов или потребителей (студентов, выпускников, работодателей) как неформализованную характеристику.

Для анализа СКОУ при нечетко-множественном подходе приходится оперировать лингвистическими переменными. При выражении личностного отношения эксперт оперирует рядом нечетких понятий и термов, таких, как ЛУЧШЕ, ХУЖЕ, БЛАГОПРИЯТНЫЕ УСЛОВИЯ, НЕБЛАГОПРИЯТНЫЕ и др. Каждый из записанных на естественном языке нечетких термов представляется в виде [5]

где A - нечеткое множество элементов U области рассуждений; µ_А [0, 1] - функция принадлежности, связывающая с каждым элементом y из U число µ_А (y) в интервале [0, 1], которое определяет степень принадлежности y к A.

Например, для выражения нечетких термов БОЛЕЕ, МЕНЕЕ используются приближенные формулы:

(БОЛЕЕ А) ;

(МЕНЕЕ А) .

Результаты решения аналитической задачи зависят от вида критерия эффективности, накладываемых ограничений, наличия информации о частных критериях и знания особенностей объектов, входящих в систему.

При мониторинге и анализе удовлетворенности потребителей использование наряду с экспертными методами аналитических позволяет принять во внимание мнение потребителей и определить области улучшения с учетом потерь.

Применение нечетко-множественного подхода к анализу образовательных систем, а также представление качественных показателей через лингвистические переменные с учетом особенностей образовательной системы позволяет:

1. Перейти от классических вероятностных моделей и экспертных оценок к нечетко-множественным описаниям, снизив долю субъективизма, и учесть специфику подготовки государственных служащих.

2. Проанализировать СКОУ с учетом принципов TQM (требований потребителей и всех заинтересованных сторон) и предложить альтернативные варианты управленческих решений на основе фактически достигнутых результатов и мнений экспертов.

3. Снизить неопределенности, обусловленные недостаточным количеством информации и субъективизмом.

образовательный услуга лингвистический

Список литературы

1. Блинкова, О.В. Современные подходы к управлению вузами/ О.В. Блинкова // Управление качеством: материалы 5-й Всерос. науч.-практ. конф. - М.: МАТИ: РГТУ им. К.Э. Циолковского, 2006.- С.33 - 34.

2. Добряков, А.В. Экспертно-аналитический метод оценки качества образовательных систем на основе нечетко-множественного подхода / А.В. Добряков, В.М. Милова // Качество. Инновации. Образование. - 2007. - №1. - С. 36 -41.

3. Заика, И.Т. Процесс самооценки в вузе / И.Т. Заика // Методы менеджмента качества. - 2007. - № 5. - С. 12 - 17.

4. Кононова, И.В. Новые подходы к выбору весовых коэффициентов при самообследовании вузов / И.В. Кононова, Н.Н. Рожков, В.С. Соболев // Менеджмент качества в образовании: тез. докл. 2-й Всерос. науч.-практ. конф. _ СПб.: ЛЭТИ, 2009. - С. 99 - 101.

5. Майорова, В.И. Системный анализ проблем и моделирование процесса подготовки элитных специалистов инженерного профиля (на примере ракетно-космических специальностей): в 2 ч. / В.И. Майорова. _ М.: Изд-во МГОУ, 2007. - Ч.2. - 222 с.

6. Соловьев, В.П. Руководство для участников конкурса 2008 года «Системы качества подготовки выпускников образовательных учреждений профессионального образования» / В.П. Соловьев, А.И. Кочетов, О.В. Блинкова. - М.: МИСиС, 2008. _32 с.

7. Рожков, Н.Н. Квалиметрия и управление качеством. Математические методы и модели / Н.Н. Рожков. - СПб.: ИПЦ СПГУТД, 2007. - 185 с.

8. Типовая система качества образовательного учреждения. -- http://www.ed.gov.ru/prof-edu/vish/rub/quality/

9. ГОСТ Р 52614.2-2006. Системы менеджмента качества. Руководящие указания по применению ГОСТ Р ИСО 9001-2001 в сфере образования. - М.: Стандартинформ, 2007.

10. Болонская декларация от 19 июня 1999 года // Болонский процесс: основополагающие материалы: [пер. с англ.]/ сост. А.К.Бурцев, В.А. Звонова. - М.: Финансы и статистика, 2007. - С. 34-38.

Материал поступил в редколлегию 13.01.10.

Размещено на Allbest.ru