Оценка качества образования в вузе средствами нечеткого моделирования

Размещено на http://www.allbest.ru/

ФГБОУ ВПО «Бирская государственная социально-педагогическая академия»

На правах рукописи

Автореферат

диссертации на соискание ученой степени кандидата педагогических наук

Оценка качества образования в вузе средствами нечеткого моделирования

Специальность 13.00.01 -общая педагогика, история педагогики и образования

Исмаилова Наталья Владимировна

Ижевск - 2012

Работа выполнена в ФГБОУ ВПО «Бирская государственная социально-педагогическая академия».

Научный руководитель: кандидат педагогических наук, доцент Волкова Татьяна Ивановна ФГБОУ ВПО «Бирская государственная социально-педагогическая академия» (г. Бирск)

Официальные оппоненты:

доктор педагогических наук, профессор Шихова Ольга Федоровна ФГБОУ ВПО «Ижевский государственный технический университет» (г. Ижевск)

кандидат педагогических наук, доцент Причинин Алексей Евгеньевич ФГБОУ ВПО «Удмурдский государственный университет» (г. Ижевск)

Ведущая организация: ФГБОУ ВПО «Стерлитамакская государственная педагогическая академия им. Зайнаб Биишевой» (г. Стерлитамак)

Защита состоится «18» мая 2012 г. в 16.00 на заседании диссертационного совета ДМ 212.275.02 при ГОУ ВПО «Удмуртский государственный университет» по адресу 426034, г. Ижевск, ул. Университетская, 1, корп.1, ауд.003.

Автореферат диссертации размещен на официальном сайте http://v4.udsu.ru/science/abstract ФГБОУ ВПО «Удмуртский государственный университет».

С диссертацией можно ознакомиться в научной библиотеке ФГБОУ ВПО «Удмуртский государственный университет» (г. Ижевск, ул. Университетская, 1, корпус 2).

Автореферат разослан «17» апреля 2012 года

Учёный секретарь диссертационного совета д. психол. н., профессор В.Ю. Хотинец.

Общая характеристика работы

Актуальность исследования. За последнее десятилетие высшее профессиональное образование в России приобрело широкомасштабный характер, в связи с чем остро встал вопрос об обеспечении его качества. Перед российскими вузами в ближайшие годы стоит задача - выработать образовательные технологии и научиться формировать оценочные средства, которые обеспечили бы диагностику качества высшего образования с количественной оценкой полученных результатов на каждом этапе.

Как в отечественной, так и в зарубежной литературе понятие качества образования признается сложным и многоаспектным. Многоплановость понятия определяет трудности при решении вопросов, связанных с оценкой качества образования. Многие исследователи признают отсутствие достаточно обоснованных критериев и показателей эффективности качества образования и предлагают разные подходы к их формированию. Задача по созданию гибких систем диагностики качества образования в вузе в настоящее время находится в стадии формирования технологических решений.

В последнее десятилетие в нашей стране проблема оценки качества образования активно рассматривается с привлечением методов математического моделирования, которые позволяют точно фиксировать структурные изменения любой системы и отражать их в количественной форме. Однако любая математическая модель педагогического объекта весьма приблизительна и условна из-за необходимости учета таких субъективных факторов, как воля, цели и мотивации людей, которые представляют собой слабо формализуемую информацию. Гибкий способ формализации такого вида информации предлагает новое направление прикладной математики - нечеткое моделирование. Нечеткое моделирование позволяет обрабатывать данные, отражающие качественные характеристики посредством использования лингвистических переменных, значения которых выражаются на естественном языке. Основу нечеткого моделирования составляет база правил, отражающая эмпирические знания или знания экспертов в проблемной области. Особенности, возможности и преимущества использования данного вида моделирования для исследования педагогических объектов выделены В.М. Монаховым.

Анализ исследований по применению средств и методов нечеткого моделирования в педагогической науке и, в частности, для оценки качества образования показал, что хотя многие исследователи отмечают необходимость его использования, но конкретных разработанных и апробированных методик недостаточно (Г.В. Ившина, С.Д. Данилова, И.Д. Рудинский, В.П Дуплик, М.В. Марданов). На сегодняшний день практически отсутствуют научно-обоснованные педагогические технологии, позволяющие применять методы и средства нечеткого моделирования к оценке качества образования в вузе.

Таким образом, анализ результатов теоретических исследований позволил выявить противоречия между:

a) необходимостью обеспечения гарантированного вузом качества образования и недостаточной эффективностью применяемых средств и методов оценки качества образовательного процесса;

b) реальными потребностями педагогической науки в широком использовании методов математического моделирования в системе мониторинга качества образования в вузе и недостаточной разработанностью валидных методик и технологий их реализации;

c) качественным характером оценивания и необходимостью использования количественных показателей качества образования в вузе для привлечения объективных математических методов обработки и анализа данных;

d) необходимостью решения задач анализа слабо формализуемой информации, характеризующих педагогические процессы, и практически отсутствующими педагогическими технологиями их реализации;

e) потребностями использования информационных технологий для объективной комплексной оценки результатов обучения и недостаточной разработанностью оценочных средств, обеспечивающих диагностику качества высшего профессионального образования.

Таким образом, решаемая в работе проблема связана с разработкой теоретических основ создания и практической реализацией педагогической технологии оценки качества образования в вузе на основе средств и методов нечеткого моделирования.

В рамках указанной проблемы сформулирована тема исследования: «Оценка качества образования в вузе средствами нечеткого моделирования».

Цель исследования состоит в разработке, теоретическом обосновании и экспериментальной проверке технологии оценки качества образования в вузе средствами нечеткого моделирования.

Объект исследования - процесс оценивания качества образования в вузе.

Предмет исследования - технология оценки качества образования в вузе средствами нечеткого моделирования.

Гипотеза исследования: объективность, точность и эффективность оценки качества образовательного процесса в вузе повысится, если:

- создана модель оценки качества образования в вузе на основе методов нечеткого моделирования, обеспечивающая его объективную диагностику;

- выявлены и обоснованы организационно-педагогические условия практической реализации теоретической модели оценки качества образования в вузе;

- обоснована и реализована технология оценки качества образования в вузе, включающая концептуальную составляющую (модель и организационно-педагогические условия её реализации) и технологическую подсистему оценки показателей качества образования на основе алгоритмов нечеткого моделирования, реализованных средствами информационных технологий.

В соответствии с целью и гипотезой исследования определены следующие задачи:

1. На основе системного подхода и методологии нечеткого моделирования разработать структурно-функциональную модель оценки качества образования в вузе;

2. Выявить совокупность организационно-педагогических условий оценки качества образования в вузе;

3. Разработать технологию оценки качества образования в вузе, включающую концептуальную составляющую (модель и организационно-педагогические условия её реализации) и технологическую подсистему оценки показателей качества образования на основе алгоритмов нечеткого моделирования, а также инструментальные программные средства реализации этих алгоритмов;

4. Провести опытно-экспериментальную работу по проверке эффективности разработанной технологии оценки качества образования в вузе.

Методологической основой исследования являются:

- системно-структурный подход, предполагающий целостное рассмотрение объекта (В.П. Беспалько, Н.В. Кузьмина, Т.А.Ильина и др.);

- положения по вопросам качества образовательного процесса (А.И. Субетто, И.А. Зимняя, М.Б. Челышкова);

- квалиметрический подход (В.С. Аванесов, Г.Г. Азгальдов, В.С. Черепанов, А.И. Субетто и др.);

- основы педагогического моделирования в образовании (А.Я. Найн, Л.Н. Фридман и др.);

- методология нечеткого моделирования (В.М. Монахов, Г.В. Ившина).

Теоретическую основу исследования составили:

- исследования структуры качества образования (А.А. Аветисов, А.Г. Бермус, Н.А. Селезнева, А.И. Субетто, Ю.Г. Татур и др.);

- исследования в области применения математических методов в педагогике (Дж. Гласс, М.И. Грабарь, Л.Б. Ительсон, К.А. Краснянская, И.П. Лебедева, B.C. Черепанов и др.);

- работы в области педагогической квалиметрии (Б.К. Коломиец, В.С. Черепанов, Н.И. Максимов, А.И. Субетто, Н.А. Селезнева, А.С. Казаринов, О.Ф. Шихова, В.М. Соколов, Ю.Г. Татур);

- исследования возможностей нечеткого моделирования в педагогике (В.М. Монахов, М.В. Марданов, Г.В. Ившина, И.Д. Рудинский, В.П. Дуплик, С.Д. Данилова).

Для решения поставленных задач использовались следующие методы научного исследования:

- теоретические: отбор и классификация материала; системный анализ, синтез, обобщение научной литературы и нормативных документов по теме диссертационного исследования;

- эмпирические: диагностические методы, направленные на накопление педагогических фактов, их отбор; педагогический эксперимент; анкетирование;

- специальные: метод групповых экспертных оценок; математико-статистические методы; методология нечеткого моделирования.

Опытно-экспериментальная база исследования: ФГБОУ ВПО «Бирская государственная социально-педагогическая академия», ФГБОУ ВПО «Нефтекамский филиал Башкирского государственного университета», ГАОУ ДПО «Институт развития образования Республики Башкортостан», средние общеобразовательные школы северных районов Республики Башкортостан. Общая выборка испытуемых составила 221 человек, в том числе 135 преподавателей вузов, 55 студентов, 26 учителей средних общеобразовательных школ.

Организация и этапы исследования. Исследование проходило в три этапа:

Первый этап (2004-2006 гг.) - анализ научной литературы, нормативных документов по теме диссертационного исследования; определение исходных положений исследования; изучение состояния проблемы оценки качества образования в вузе в педагогической литературе.

Второй этап (2006-2008 гг.) - разработка модели, организационно-педагогических условий её реализации, и концептуальной основы технологии оценки качества образования в вузе на основе методов нечеткого моделирования.

Третий этап (2008-2012 гг.) - разработка технологической подсистемы оценки качества образования в вузе, реализующей концептуальные положения технологии на основе инструментальных программных средств; проведение опытно-экспериментальной работы по проверке эффективности разработанной технологии, теоретическое обобщение и интерпретация полученных результатов исследования; подведение итогов опытно - экспериментальной работы и формулирование выводов диссертационного исследования, оформление диссертационной работы.

Научная новизна исследования состоит в том, что:

1. Разработана структурно-функциональная модель оценки качества образования в вузе, включающая цели, функции и структуру. Целевой компонент модели - количественная оценка качества образования в вузе определяется как многомерная интегральная характеристика системы образования, отражающая степень соответствия реальных достижений образовательных результатов нормативным требованиям; структуру модели составляет иерархическая система критериев и показателей качества образования в вузе; функционирование системы определяется набором методов и средств нечеткого моделирования.

2. Создана технология оценки показателей качества образования в вузе, включающая концептуальную составляющую (модель и организационно-педагогические условия её реализации) и технологическую подсистему оценки показателей качества образования на основе алгоритмов нечеткого моделирования, реализация которой обеспечивается разработанным программным инструментарием. Созданный инструментарий позволяет: 1) оценить качественные показатели с помощью лингвистических переменных, значения которых описываются на естественном языке и отражают уровни значимости показателей (низкий, ниже среднего, средний, выше среднего, высокий); 2) построить иерархию показателей качества по относительной важности и их разбить на относительно однородные группы; 3) получить интегральную количественную оценку качества образования в вузе на основе алгоритмов нечеткого логического вывода и базы правил, обобщающей знания экспертов в рассматриваемой области.

3. Выявлена и обоснована совокупность организационно-педагогических условий оценки качества образования в вузе:

- разработка и обоснование критериев и показателей оценки качества образования в вузе, отражающих степень соответствия реальных достижений образовательных результатов нормативным требованиям;

- создание диагностического инструментария, используемого в рамках организации процедур оценки качества (критериально-ориентированные тесты, анкеты, опросники и т.д.);

- использование информационных технологий как средства автоматизации структурного и функционального компонентов разработанной модели оценки качества образования в вузе на основе методов нечеткого моделирования.

Теоретическая значимость исследования.

Разработанная структурно-функциональная модель оценки качества образования в вузе вносит существенный вклад в применение методов обработки и анализа слабо формализуемой информации в педагогических исследованиях, в частности, в применение методов нечеткого моделирования к оценке качества образования в вузе. Оценка качества образования в вузе определена через совокупность оценок образовательных достижений студентов, отражающих освоение содержания общетеоретических, общепрофессиональных и специальных дисциплин; качество выполненных проектов творческого исследовательского характера и подготовленность выпускников к будущей профессиональной деятельности. Обоснована совокупность организационно-педагогических условий, обеспечивающая объективную диагностику качества высшего образования средствами нечеткого моделирования.

Практическая значимость исследования:

1. Разработанные технология оценки качества образования средствами нечеткого моделирования, основанная на теоретической модели, и реализующий её программный инструментарий позволяют провести объективную оценку качества образования в вузе;

2. Экспериментально проверена эффективность разработанной технологии для оценки освоения содержания учебной дисциплины, оценки качества творческих исследовательских работ студентов, оценки подготовленности выпускника вуза к профессиональной деятельности;

3. Разработанная технология оценки качества образования в вузе внедрена в процесс оценки качества образования ФГБОУ ВПО «Бирская государственная социально-педагогическая академия»;

4. Спецкурс «Информационные технологии и математическое моделирование в образовательном мониторинге» внедрен в образовательный процесс подготовки учителей информатики и математики ФГБОУ ВПО «Бирская государственная социально-педагогическая академия»;

5. Технология оценки качества образования в вузе на основе методов нечеткого моделирования может быть использована для самооценки и самокоррекции преподавательской деятельности, проверки эффективности внедрения новых методов и средств обучения, выявления уровня усвоения учебных дисциплин, аттестации преподавателей, для дальнейших исследовательских и практических работ в области управления сферой высшего образования.

Достоверность результатов и обоснованность научных выводов исследования обеспечиваются методологической обоснованностью исходных положений; использованием методов математической статистики, нечеткого моделирования для оценивания показателей качества образования; завершенностью и репрезентативностью опытно-экспериментальной работы; внедрением результатов исследования в процесс оценки качества образования ФГБОУ ВПО «Бирская государственная социально-педагогическая академия»; положительными результатами статистической обработки полученных данных.

Личный вклад автора состоит в разработке структурно-функциональной модели оценки качества образования, включающей целевой компонент, структуру и функции; выявлении основных организационно-педагогических условий практической реализации теоретической модели; разработке технологии оценки качества образования в вузе, включающей концептуальную составляющую и технологическую подсистему; проведении опытно-экспериментальной работы по проверке эффективности разработанной технологии оценки освоения содержания учебной дисциплины, оценки качества творческих исследовательских работ студентов, оценки подготовленности выпускников вуза к профессиональной деятельности.

Апробация и внедрение результатов исследования: ход и результаты исследования докладывались и обсуждались на Республиканской научно-практической конференции «Наука в школе и вузе» (Бирск, 2007, 2009, 2010, 2011), VI и VII Всероссийской научно-практической конференции «ЭВТ в моделировании и обучении» (Бирск, 2007, 2009); Всероссийском научно-методическом семинаре «Спутниковые технологии в школьном образовании» (Томск, 2008), XXV Международной научно-технической конференции «Математические методы и информационные технологии в экономике, социологии и образовании» (Пенза, 2010).

По теме диссертационной работы опубликовано 14 печатных работ, в том числе 12 статей (из них 4 статьи в журналах, рекомендованных ВАК).

Результаты исследования внедрены в процесс оценки качества образования ФГБОУ ВПО «Бирская государственная социально-педагогическая академия».

На защиту выносятся следующие положения:

1. Структурно-функциональная модель оценки качества образования в вузе, обеспечивает его объективную диагностику, если: 1) целевой компонент - количественная оценка качества образования в вузе определяется как многомерная интегральная характеристика системы образования, отражающая степень соответствия реальных достижений образовательных результатов нормативным требованиям; 2)структуру модели образует иерархическая система критериев и показателей качества образования в вузе; 3) функционирование системы определяется набором методов и средств нечеткого моделирования.

2. Основными организационно-педагогическими условиями оценки качества образования в вузе являются:

- разработка и обоснование критериев и показателей оценки качества образования в вузе, отражающих степень соответствия реальных достижений образовательных результатов нормативным требованиям (освоение содержания общетеоретических, общепрофессиональных и специальных дисциплин; сформированность творческого подхода к решению учебно-познавательных задач исследовательского характера; подготовленность выпускников к будущей профессиональной деятельности);

- создание диагностического инструментария, используемого в рамках организации процедур оценки качества (критериально-ориентированные тесты, анкеты, опросники и т.д.);

- использование информационных технологий как средства автоматизации структурного и функционального компонентов разработанной модели оценки качества образования в вузе на основе методов нечеткого моделирования.

3. Технология оценки качества образования в вузе, включающая концептуальную составляющую (модель и организационно-педагогические условия её реализации) и технологическую подсистему оценки показателей качества образования на основе алгоритмов нечеткого моделирования, обеспечивает объективную диагностику качества высшего образования. Разработанный программный инструментарий, реализующий алгоритмы нечеткого моделирования, позволяет: 1) оценить качественные показатели с помощью лингвистических переменных, значения которых описываются на естественном языке и отражают уровни значимости показателей (низкий, ниже среднего, средний, выше среднего, высокий); 2) построить иерархию показателей качества по относительной важности и разбить их на относительно однородные группы; 3) получить интегральную количественную оценку качества образования в вузе на основе алгоритмов нечеткого логического вывода и базы правил, обобщающей знания экспертов в рассматриваемой области.

Структура диссертации включает введение, две главы, выводы, заключение, библиографический список, состоящий из 205 источников и 9 приложений, содержит 28 рисунков и 24 таблицы. Содержание диссертации изложено на 200 страницах.

Основное содержание диссертации

Во введении обосновывается актуальность темы, выделены объект и предмет исследования, определены цель и задачи, сформулирована гипотеза исследования, описаны методы проверки гипотезы, решения задач и достижения цели, обоснованы научная новизна, теоретическая и практическая значимость исследования, представлены положения, выносимые на защиту.

В первой главе «Теоретические и методологические основы оценки качества образования в вузе» даётся общий анализ проблемы оценки качества высшего образования.

Анализ и изучение научной литературы показывает, что качество образования является одним из приоритетов стратегии образования, при этом особую актуальность приобретают задачи разработки педагогических технологий и формирования оценочных средств для проведения объективной комплексной оценки качества образования.

Многими исследователями (В.С. Аванесов, Ю.П. Адлер, В.Я. Белобрагин, В.П. Беспалько, З.Д. Жуковская, И.А. Зимняя, Б.К. Коломиец, Л.В. Макарова, М.М. Поташник, В.П. Панасюк, Н.А.Селезнева, А.И. Субетто, Г.Б. Скок, В.С. Черепанов, С.Е. Шишов и др.) понятие качества образования признается сложным и многоаспектным. Качество образования рассматривается как комплексный показатель, синтезирующий все этапы становления личности, условия и результаты учебно-воспитательного процесса, а также как критерий эффективности деятельности образовательного учреждения, соответствия реально достигаемых результатов нормативным требованиям, социальным и личностным ожиданиям.

Исследования по проблемам качества высшего профессионального образования (В.А. Болотов, Г.А. Бордовский, Е.Н. Геворкян, Г.Н. Мотова, Н.А.Селезнева и др.) показывают, что основные направления совершенствования оценки качества образования в вузе связаны с использованием комплексного многофакторного подхода. Анализ научных публикаций (А.И. Субетто, Н.А. Селезнева, В.А. Болотов, С.Е. Шишов, В.А. Кальней, В.П. Панасюк, В.M. Полонский, Н.Ш. Никитина) позволяет сделать вывод, что, говоря о качестве высшего образования, чаще имеют в виду качество результатов образовательной деятельности вуза, а все остальное рассматривается как необходимые условия получения этих результатов.

На основе проведенного теоретического анализа оценка качества образования в вузе трактуется нами как многомерная интегральная характеристика системы высшего образования, отражающая степень соответствия реальных достижений образовательных результатов нормативным требованиям. В качестве системообразующих для оценки качества образования в вузе мы выделили следующие характеристики: 1) освоение содержания общетеоретических, общепрофессиональных и специальных дисциплин (наличие качественных знаний при которых уровень учебных достижений близок к заданному в виде требований государственных образовательных стандартов); 2) сформированность творческого подхода к решению учебно-познавательных задач исследовательского характера; 3) подготовленность к будущей профессиональной деятельности (сформированность ключевых компетенций).

В контексте данного исследования были проанализированы существующие направления оценки качества образования в вузе: содержательно-гуманитарное и формально-логическое. В рамках первого осуществляется качественный анализ учебного процесса, для второго характерно исследование педагогических систем и процессов на основе строгого и точного фиксирования их структурных изменений, в частности, построение математических моделей, количественно отражающих эти изменения.

В работе рассмотрены математические методы, сделан вывод, что применение математических методов для оценки качества образования в вузе может рассматриваться как одно из основных условий развития образовательных систем, поскольку оно дает возможность вносить направленные управляющие воздействия на систему, приводящие к достижению нового качества образования. Более того, поскольку существует образовательный стандарт как социальная норма качества образования, математические модели и методы выступают тем технологическим инструментарием, который способен осуществлять объективную и оперативную диагностику соответствия образовательных результатов принятым нормам.

В ходе исследования установлено, что одной из первых задач применения методов математического моделирования в системе оценки качества образования является переход от субъективных качественных описаний педагогических явлений к описанию строго количественному. Методологические основы квалиметрического подхода, направленного на количественное описание качества педагогических процессов и явлений, раскрыты в работах Б.К. Коломиец, В.С. Черепанова, А.И. Субетто, Н.А. Селезневой, А.С. Казаринова, О.Ф. Шиховой, М.Б. Челышковой, А.А. Мирошниченко, Ю.Г. Татур.

В качестве основного направления решения задачи перехода от качественных описаний к описанию строго количественному мы рассматриваем разработку эффективных процедур оценки различных показателей качества высшего образования в условиях решения задач анализа слабо формализуемой информации. Это направление - нечеткое моделирование, развивающееся в рамках прикладной математики. Данный вид моделирования более адекватен образовательной деятельности, позволяет пластично учитывать человеческий фактор и предлагает более гибкий способ формализации знаний и представлений экспертов. Нечеткое моделирование позволяет обрабатывать данные, отражающие качественные характеристики посредством использования лингвистических переменных, значения которых выражаются на естественном языке. Основу нечеткого моделирования составляет база правил, отражающая эмпирические знания или знания экспертов в проблемной области.

Анализ исследований по использованию нечеткого моделирования в педагогике показал, что конкретных разработанных и апробированных методик достаточно мало. К ним можно отнести работы М.В. Марданова - выделение системообразующих компонентов содержания общепедагогической подготовки преподавателя вуза, Г.В. Ившиной - построение нечеткой модели педагога вуза, И.Д. Рудинского - подготовка специалистов в области формально-структурного описания и организации педагогического тестирования знаний, В.П. Дуплика - построение модели адаптивного тестирования на нечеткой математике, С.Д. Даниловой - оценивание результатов автоматизированного тестирования с разделением заданий по уровням усвоений. В целом же практически отсутствует конкретный инструментарий, позволяющий применять методологию нечеткого моделирования к оценке показателей качества образования.

В ходе исследования создана и теоретически обоснована модель оценки качества образования в вузе средствами нечеткого моделирования. К построению модели мы подошли с позиции целостного, системного подходов, положений педагогической квалиметрии и методологии нечеткого моделирования. В соответствии с современными представлениями о педагогической модели как о системе и иерархии взаимосвязанных и взаимообусловленных компонентов, адекватно отражающей педагогический процесс, в модели выделены следующие компоненты: целевой, структурный и функциональный.

Целевой компонент модели - количественная оценка качества образования в вузе определяется как многомерная интегральная характеристика системы образования, отражающая степень соответствия реальных достижений образовательных результатов нормативным требованиям. Структуру модели составляет иерархическая система критериев и показателей качества образования в вузе. Функционирование системы определяется набором методов и средств нечеткого моделирования, позволяющих обработать значения показателей на основе алгоритмов нечеткого логического вывода и базы правил, обобщающей знания экспертов в рассматриваемой области. Модель оценки качества образования в вузе представлена на рисунке 1.

Рис. 1 Модель оценки качества образования в вузе

Первые два блока на приведенной схеме отражают структуру модели - иерархическая система совокупности показателей качества образования в вузе, целостно отражающая все его характеристики, из которой выделяется набор оцениваемых параметров . Целевой компонент модели- выходная числовая переменная Y (количественная оценка качества образования). Функциональный компонент модели изображен на схеме в виде обобщенного блока, включающего набор методов нечеткого моделирования.

Алгоритм функционирования модели работает по принципу «черного ящика»: на вход поступают количественные (четкие) значения, на выходе также получаем количественные (четкие) значения, а на промежуточных этапах используется аппарат нечеткой логики и теория нечетких множеств, который позволяет манипулировать привычными числовыми данными, но при этом использовать гибкие возможности, предоставляемые системами нечеткого вывода.

Оценка большого числа параметров любыми математическими методами приводит к трудностям, связанным с выявлением структуры взаимосвязей этих параметров. Для ранжирования и разбиения набора показателей на относительно однородные группы и выявления структуры взаимосвязей между ними взят метод построения классификации по заданным отношениям моделирования, описанный в работах М.В. Марданова, Г.В. Ившиной. В результате преобразований происходит ранжирование оцениваемого набора показателей, позволяющее проводить их разбиение на три относительно однородные группы для последующей обработки данных меньшей размерности: в первую группу входят наиболее значимые показатели (a₀,) во вторую группу - показатели средней степени значимости (b₀,) в третью группу- наименее значимые показатели (c₀).

При оценке отдельного показателя качества образования происходит объединение баллов по каждой группе показателей a₀, b₀, c₀ из набора показателей согласно их разделению методом построения классификации по заданным отношениям моделирования. В результате получаем значения a₁, b₁, c₁, отражающие суммарные баллы. Полученные группы числовых значений a₁, b₁, c₁ являются входными переменными для системы нечеткого логического вывода, результат которого - количественная оценка качества образования в вузе.

Таким образом, проведенный в первой главе диссертации анализ показал перспективность использования средств нечеткого моделирования для проведения объективной комплексной оценки качества высшего образования в условиях решения задач анализа слабо формализуемой информации.

Во второй главе «Разработка и экспериментальное исследование технологии оценки качества образования в вузе средствами нечеткого моделирования» описаны задачи и организация опытно-экспериментальной работы оценки качества образования в вузе средствами нечеткого моделирования.

На основе анализа понятия «педагогическая технология» и изложенных в первой главе теоретико-методологических основ оценки качества образования в вузе разработана педагогическая технология оценки качества образования в вузе средствами нечеткого моделирования. Слагаемыми технологии являются концептуальная составляющая (модель и организационно-педагогические условия её реализации) и технологическая подсистема оценки показателей качества образования на основе алгоритмов нечеткого моделирования - программный инструментарий, реализующий эти алгоритмы.

Основой концептуальной составляющей служит структурно-функциональная модель, описанная в первой главе. Проведенный анализ основных подходов к оценке качества образования в вузе позволил выделить следующие организационно-педагогические условия практической реализации модели:

1. разработка и обоснование критериев и показателей оценки качества образования в вузе:

· наличие качественных знаний, при которых реализуемый уровень учебных достижений близок к планируемому, выступающему в роли критерия и заданному в виде требований государственных образовательных стандартов (освоение содержания общетеоретических, общепрофессиональных и специальных дисциплин);

· сформированность творческого подхода к решению учебно-познавательных задач исследовательского характера, ориентированных на будущую профессиональную деятельность;

· сформированность ключевых компетенций (подготовленность к будущей профессиональной деятельности);

2. разработка диагностического инструментария, используемого в рамках организации процедур оценки качества (критериально-ориентированные тесты, анкеты, опросники и т.д.);

3. использование информационных технологий как средства автоматизации структурного и функционального компонентов разработанной модели.

Для автоматизации процедуры оценивания на подготовительном этапе опытно-экспериментальной работы нами созданы два инструментальных программных средства в объектно-ориентированной среде программирования Delphi. Инструментальные программные средства составляют технологическую подсистему разработанной технологии оценки качества образования в вузе. Первый программный продукт реализует обработку экспертных данных и разбиение набора показателей, характеризующих оцениваемый критерий, на три ранжированные группы. Второй программный продукт позволяет выполнить процесс нечеткого логического вывода и получить итоговую количественную оценку качества исследуемого показателя.

Структура технологической подсистемы оценки качества образования представлена на рисунке 2. Она раскрывает функциональный компонент модели - нечеткий логический вывод. Полученные в результате работы программы обработки экспертных данных числовые переменные a₁, b₁, c₁ являются входными переменными для системы нечеткого логического вывода.

Оценивание качественных показателей происходит с помощью лингвистических переменных, значения которых описываются на естественном языке и отражают уровни значимости показателей (низкий, ниже среднего, средний, выше среднего, высокий). Ядром технологической подсистемы является база правил, обобщающая знания экспертов в рассматриваемой области.

Рис. 2 Структура технологической подсистемы оценки качества образования в вузе

В ходе исследования разработан подход к построению базы правил, позволяющий оценивать качество образования в вузе на основе характеристик его отдельных составляющих. В базе правил учитывается тот вклад, который вносит каждая из независимых характеристик в комплексную (интегральную) итоговую оценку. На основании экспертного опроса и правил нечеткой логики составлена база правил, состоящая из 125 правил и учитывающая иерархию входных переменных. При создании базы правил в качестве экспертов выступили преподаватели вузов. Для оценки согласованности мнений экспертов использовался коэффициент конкордации.

Для организации основного этапа опытно-экспериментальной работы был составлен обобщенный алгоритм реализации разработанной технологии:

1. Определение критерия для оценки качества образования в вузе и разработка (выбор) набора характеризующих его показателей;

2. Обработка экспертных данных для разбиения набора показателей, характеризующих оцениваемый критерий, на ранжированные группы;

3. Оценивание показателей, выделенных в п.1 путем непосредственного измерения или на основе экспертных данных и группировка полученных значений;

4. Получение итоговой оценки на основе нечеткого логического вывода.

На этапе непосредственного проведения эксперимента проведено исследование эффективности разработанной технологии оценки качества образования в вузе средствами нечеткого моделирования на основе выделенных критериев.

Технология оценки освоения содержания учебных дисциплин рассмотрена на примере анализа результатов тестирования по дисциплине «Информатика». В качестве показателей выступили темы банка тестовых заданий, выделенные на основе государственного образовательного стандарта дисциплины. Для определения приоритетов представленных тем и разбиения их на группы было проведено анкетирование экспертов - преподавателей вузов с целью оценки предложенных тем с точки зрения их приоритетности и практической значимости. Каждый из предложенных показателей оценивался по 10-балльной шкале. В опросе было задействовано 20 экспертов, полученные результаты представлены в виде матрицы. В результате обработки полученных экспертных данных все показатели были разбиты на три следующие группы: наиболее значимые, средней степени значимости, наименее значимые.

Далее экспертом-преподавателем было проведено тестирование по данным темам у студентов, изучивших дисциплину «Информатика», каждый правильный ответ оценивался в один балл. Для каждого тестируемого произведен подсчет значений по каждой группе показателей: диапазон значений для первой группы показателей варьируется от 0 до 32, второй группы - от 0 до 24, третьей группы- от 0 до 14. В результате работы программы, реализующей нечеткий логический вывод, для каждого испытуемого получена оценка результатов тестирования по пятибалльной шкале.

Для проверки эффективности разработанной технологии мы сравнили полученные результаты с экзаменационными оценками по данной дисциплине и оценками, полученными с помощью классического подхода к оценке результатов тестирования (рис. 3).

Рис. 3. Сравнительный анализ полученных оценок результатов тестирования и экзаменационных оценок

На основе корреляционного анализа выявлено представление структурных зависимостей между следующими выборками:

- оценками, полученными классическим подходом анализа результатов тестирования, и экзаменационными оценками: коэффициент корреляции равен 0,687;

- оценками, полученными средствами нечеткого моделирования, и экзаменационными оценками: коэффициент корреляции равен 0,839.

Полученные коэффициенты корреляции позволяют сделать вывод, что большая корреляция прослеживается между оценками, полученными средствами нечеткого моделирования, и экзаменационными оценками. Это доказывает большую объективность, точность и эффективность результатов, полученных методами нечеткого моделирования, по сравнению с классическими методами.

Аналогичным образом было организовано экспериментальное исследование разработанной технологии для оценки качества творческих исследовательских работ студентов на примере создания мультимедийных педагогических программных средств (МППС), разрабатываемых студентами физико-математического факультета ГОУ ВПО «Бирская государственная социально-педагогическая академия». В результате анализа литературы по оценке качества МППС были выделены показатели, отражающие дидактические требования научности, доступности, адаптивности, систематичности и последовательности обучения; дизайн - эргономические, эстетические требования к компьютерной визуализации учебной информации; соответствие методов целям курса; использование мультимедийной информации при изложении учебного материала; возможность обеспечения обратной связи; требования к программной реализации контроля результатов обучения, диагностики ошибок, возможности их коррекции; качество и продуманность вопросов и ответов тестовых заданий; количество вопросов в тестах, использование разных типов тестовых заданий.

Далее, в соответствии с алгоритмом реализации разработанной технологии, были определены приоритеты представленных показателей и оценены разработанные студентами МППС- получены интегральные количественные оценки исследовательских работ студентов по 12-балльной шкале.

Для проверки эффективности разработанной технологии мы сравнили полученные результаты с оценками экспертов, в качестве которых выступили учителя средних общеобразовательных школ северных районов Республики Башкортостан.

Полученные данные представлены в виде диаграммы (рис.4).

Рис. 4. Сравнительный анализ полученных оценок МППС

На основе корреляционного анализа выявлено представление структурных зависимостей между оценками, поставленными учителями и оценками, полученными средствами нечеткого моделирования: коэффициент корреляции равен:0,922. Полученный коэффициент корреляции позволяют сделать вывод о корректности результатов оценки МППС, полученных на основе разработанной технологии.

Экспериментальное исследование разработанной технологии для оценки готовности выпускника вуза к профессиональной деятельности рассмотрено на примере оценки сформированности ключевых компетенций выпускника педагогического вуза по специальности «Информатика». На основе анализа литературы был сформирован перечень компетенций, определены приоритеты представленных показателей. Для каждого выпускника оценки отдельных показателей были получены на основе экспертного опроса, отражающего мнения преподавателей и получена итоговая оценка по 10-ти балльной шкале на основе разработанной технологии. Подсчитан средний балл всех оценок, полученных в процессе обучения, дающий общее представление об уровне обученности каждого выпускника. Собрана информация от работодателей выпускников о качестве их профессиональной деятельности через один год после получения высшего профессионального образования. Сравнительный анализ полученных данных представлен на рис. 5. педагогический учебный образование

На основе корреляционного анализа выявлено представление структурных зависимостей между следующими выборками:

- оценками преподавателей, полученными средствами нечеткого моделирования, и средним баллом: коэффициент корреляции равен 0,651;

- оценками преподавателей и работодателей, полученными средствами нечеткого моделирования: коэффициент корреляции равен 0,899.

Рис. 5. Оценки подготовленности выпускников ВУЗа к профессиональной деятельности

Полученные коэффициенты корреляции позволяют сделать вывод, что большая корреляция прослеживается между оценками преподавателей, полученными средствами нечеткого моделирования, и работодателей. Это доказывает большую объективность, точность и эффективность оценки полученных результатов средствами разработанной технологии.

В рамках работы выполнена экспертная оценка результатов исследования. Она заключалась в проверке корректности результатов оценки качества образования в вузе, полученных на основе разработанной технологии. Для анализа результатов выбран метод групповой экспертной оценки. Обработка результатов экспертного опроса в рамках данной работы заключается в оценке согласованности мнений экспертов на основе коэффициентов вариабельности и конкордации Кендалла.

Экспертной оценке были подвергнуты следующие результаты, полученные в ходе выполнения работы:

1. Соответствие лингвистической и порядковой шкал, предназначенных для оценивания полученных результатов.

2. Результаты оценки показателей для создания базы правил системы нечеткого логического вывода.

3. Результаты оценки освоения содержания дисциплины, полученные средствами нечеткого моделирования.

4. Результаты оценки готовности выпускников вуза к профессиональной деятельности, полученные средствами нечеткого моделирования.

5. Результаты оценивания исследовательской деятельности студентов, полученные средствами нечеткого моделирования.

Для оценки полученных результатов для пп. 1-4 в экспертную группу были включены преподаватели Бирской государственной социально-педагогической академии, для п.5 - учителя средних общеобразовательных школ северных районов Республики Башкортостан.

В работе приведено описание результатов экспертного анализа по проверке корректности результатов оценивания результатов тестирования.

Заключение

Обобщены результаты исследования и сделаны следующие выводы:

1. Установлено, что оценка качества образования в вузе является интегральной характеристикой совокупности оценок образовательных достижений студентов, включающей: 1) освоение содержания общетеоретических, общепрофессиональных и специальных дисциплин (наличие качественных знаний при которых уровень учебных достижений близок к заданному в виде требований государственных образовательных стандартов); 2) сформированность творческого подхода к решению учебно-познавательных задач исследовательского характера; 3) подготовленность к будущей профессиональной деятельности (сформированность ключевых компетенций).

2. Аргументировано, что средства нечеткого моделирования предлагают гибкий способ формализации информации, характеризующей качественные показатели образовательного процесса в вузе, на основе использования лингвистических переменных, значения которых выражаются на естественном языке.

3. Показано, что модель оценки качества образования в вузе обеспечивает его объективную диагностику, если: 1) целевой компонент - количественная оценка качества образования в вузе определяется как многомерная интегральная характеристика системы образования, отражающая степень соответствия реальных достижений образовательных результатов нормативным требованиям; 2)структуру модели образует иерархическая система критериев и показателей качества образования в вузе; 3) функционирование системы определяется набором методов и средств нечеткого моделирования.

4. Доказано, что разработанная технология оценки качества образования в вузе, включающая концептуальную составляющую (модель и организационно-педагогические условия её реализации) и технологическую подсистему оценки показателей качества образования на основе алгоритмов нечеткого моделирования, обеспечивает объективную диагностику качества высшего образования.

5. Установлено, что разработанная технология рассматривается как возможность совершенствования количественных методов оценки качества педагогических процессов, поскольку позволяет обрабатывать большое число характеризующих их качественных параметров на основе выявления структуры взаимосвязей этих параметров.

Проведенное исследование не исчерпывает всех возможных аспектов применения данной педагогической технологии. Она может быть использована для самооценки и самокоррекции преподавательской деятельности, проверки эффективности внедрения новых методов и средств обучения, выявления уровня усвоения учебных дисциплин, аттестации преподавателей, для дальнейших исследовательских и практических работ в области управления сферой высшего образования.

Основное содержание диссертационного исследования и полученные результаты отражены в следующих публикациях

Публикации в рецензируемых изданиях, рекомендованных Министерства образования и науки Российской Федерации

1. Исмаилова, Н.В. Изучение мультимедиа в процессе профессиональной подготовки учителя информатики [Текст]/ Н.В. Исмаилова, Т.И. Волкова, С.М. Усманов // Открытое и дистанционное образование. - 2008. - №2. - С. 9 - 11. (1/3)

2. Исмаилова, Н.В. Математическая модель оценивания результатов обучения на основе нечетких множеств [Текст]/ Н.В. Исмаилова, Т.И. Волкова, С.М. Усманов // Обозрение прикладной и промышленной математики.- 2009. - Т.16. - вып.5 - С. 859. (1/3)

3. Исмаилова, Н.В. Математическое моделирование в системе мониторинга качества образования [Текст]/Т.И.Волкова, Н.В. Исмаилова, С.М. Усманов // Обозрение прикладной и промышленной математики. - 2009. - Т.16. - вып.5. - С. 825 - 826. (1/3)

4. Исмаилова, Н.В. Совершенствование системы оценки качества учебного процесса на основе методологии нечеткого моделирования [Текст]/ Н.В. Исмаилова, Т.И. Волкова, С.М.Усманов // Стандарты и мониторинг в образовании. - 2010. - Вып.5 - С. 15 - 20. (1/3)

Статьи в сборниках трудов и материалов научно-практических

конференций

5. Исмаилова, Н.В. Современные тенденции разработки электронных мультимедийных средств образовательного назначения [Текст]/ Н.В. Исмаилова, Т.И. Волкова // Наука в школе и вузе: Материалы научной конференции аспирантов и студентов - Бирск: Бирск. гос. соц.-пед. акад., 2007. - С. 45 - 47. (1/2)

6. Исмаилова, Н.В. Теория нечетких множеств в социально - педагогических исследованиях [Текст]/ Н.В. Исмаилова, Т.И.Волкова, С.М.Усманов // Вестник БирГСПА, научно - метод. журнал.- 2008. - №14. - С. 123 - 130. (1/3)

7. Исмаилова, Н.В. Использование теории нечетких множеств для создания модели оценивания качества результатов обучения [Текст]/ Н.В. Исмаилова, Т.И.Волкова // Наука в школе и вузе: Материалы научной конференции аспирантов и студентов - Ч.1 - Бирск: Бирск. гос. соц.-пед. акад., 2009. - С. 118 - 121. (1/2)

8. Исмаилова, Н.В. Нечеткое моделирование педагогической деятельности учителя информатики [Текст]/ Н.В. Исмаилова, Т.И.Волкова, С.М.Усманов // Наука в школе и вузе: Материалы научной конференции аспирантов и студентов - Ч.1 - Бирск: Бирск. гос. соц.-пед. акад., 2009. - С. 121 - 123. (1/3)

9. Исмаилова, Н.В. Оценка качества образовательного процесса [Текст]/ Н.В. Исмаилова // Наука в школе и вузе: Материалы научной конференции аспирантов и студентов - Ч.2 - Бирск: Бирск. гос. соц.-пед. акад., 2009. - С. 30 - 32.

10. Исмаилова, Н.В. Современные подходы к компьютерному контролю и оценке результатов обучения [Текст]/ Н.В. Исмаилова // Сб. научных трудов VII Всероссийской научно - практической конференции «ЭВТ в моделировании и обучении». - Бирск: Бирск. гос. соц.-пед. акад., 2009. - С. 196 - 198.

11. Исмаилова, Н.В. Модель оценки качества мультимедийных педагогических программных средств на основе нечеткой логики [Текст]/ Н.В. Исмаилова, Т.И. Волкова, С.М. Усманов // Сб. научных трудов VII Всероссийской научно - практической конференции «ЭВТ в моделировании и обучении». - Бирск: Бирск. гос. соц.-пед. акад., 2009. - С. 199 - 203. (1/3)

...