Опытно-экспериментальная апробация системы оценки качества дистанционного обучения в ВУЗе

Размещено на http://www.allbest.ru/

Опытно-экспериментальная апробация системы оценки качества дистанционного обучения в вузе

Г.В. Курицына, ст. преподаватель,

Н.Д. Чикова, ст. преподаватель,

кафедра математики и информатики,

Нижегородский государственный лингвистический университет им. Н.А. Добролюбова,

г. Нижний Новгород, Россия

Актуальность исследования определяется необходимостью инновационных решений в системе вузовского образования, связанных с повышением качества и применением новых форм обучения. В статье изложен ход и представлены результаты эксперимента по созданию и внедрению универсальной системы качества дистанционного обучения в вузе на примере Нижегородского государственного лингвистического университета. Процесс развития дистанционного обучения сопровождается рядом противоречий. С одной стороны, использование дистанционных образовательных технологий делает получение высшего образования более доступным, а с другой, недостаточная разработанность критериев оценки качества приводит к снижению уровня подготовки студентов. Имеющиеся на сегодняшний день технологии оценки не отвечают современным требованиям компетентностного подхода к подготовке специалиста. В ходе эксперимента проверена эффективность технологии реализации оценки качества дистанционного обучения в вузе, в основе которой лежит пошаговый контроль формирования компетенций, использование уровневых заданий, разработанных по принципам таксономии Б. Блума. Для обработки первичных данных применены методы математической статистики, выбор которых обусловлен небольшим количеством студентов в группах, что является спецификой организации процесса обучения в лингвистическом университете. Получено эмпирическое подтверждение того, что разработанная технология является эффективным средством оценки качества дистанционного обучения, так как позволяет получать достоверные данные, дает возможность обеспечивать непрерывность процесса совершенствования качества обучения. Необходимость разработки содержательной базы и технологии оценки качества дистанционного обучения в вузе обусловлена современной потребностью в развитии качественного дистанционного обучения, направленного на подготовку конкурентоспособных специалистов.

Ключевые слова: дистанционное обучение, качество обучения, оценка качества дистанционного обучения, таксономия, инструментарий оценивания, статистические методы обработки результатов, эксперимент

Качественное образование на сегодняшний день является основой профессионального успеха отдельного человека и залогом стабильного развития общества. Использование дистанционных образовательных технологий (ДОТ) помогает решить одну из важнейших современных задач, стоящих перед образовательной сферой, - предоставление гражданам равных возможностей получения образования любого уровня независимо от места проживания, финансовых средств, физических ограничений. Тем не менее при всей востребованности данной формы обучения недостаточно четко определены требования к критериям качества на разных уровнях обучения, отсутствуют четкие рекомендации по созданию содержательной базы оценивания и контроля. Имеющиеся технологии оценки не отвечают современным требованиям компетентностного подхода к подготовке специалиста.

Вопросы повышения качества и эффективности дистанционного обучения раскрываются в работах Р. Аткинсона и Д. Грина, Дж. Даниэля, Б.Г. Дейла, Р. Льюиса и К. Макбиса, А. Макилроя, Д. Мичема и Ф. Ноуенса, Дж. Оукланда и Р. Робинсона, Р. Уолкера и др. Несмотря на некоторую разницу формулировок, по мнению ученых, процесс дистанционного обучения должен быть индивидуально направленным и опираться на современные информационные технологии, методы математического моделирования.

Технологизация обучения и контроля в условиях дистанционного обучения неизбежно вызвала выработку определенных параметров и способов измерения результатов обучения, связанных с квалиметрическим подходом. Основой современной контрольно-оценочной системы у нас в стране стали работы В.С. Аванесова, Т.И. Батуриной, В.А. Болотова, С.И. Высоцкой, Н.Ф. Ефремовой, М.И. Зарецкого, В.А. Качалова, Н.А. Кулемина, А.Н. Майорова, А.И. Субетто, Г.К. Селевко, А.О. Татура, В.А. Хлебникова, М.Б. Челышковой, В.Д. Шадрикова, А.Г. Шмелева и др. Процессы педагогических измерений в работах этих ученых представляются последовательностью действий, к которым относятся качественное описание предмета измерения, разработка измерителей и выбор соответствующих шкал, математико-статистическая обработка первичных результатов, систематизация окончательных данных и интерпретация их в виде матриц, таблиц и графиков.

В Нижегородском государственном лингвистическом университете им. Н.А. Добролюбова (далее - НГЛУ) дистанционные образовательные технологии стали внедряться с 2008 года во всех формах обучения: очной, заочной и очно-заочной. Параллельно с созданием дистанционных курсов проводилась разработка модели оценки качества дистанционного обучения и опытно-экспериментальная проверка ее эффективности. В эксперименте приняли участие более 500 студентов и 45 преподавателей разных дисциплин. Учебные курсы разрабатывались по методикам и рекомендациям известных ученых и специалистов в области дистанционного обучения. В задачи эксперимента входили разработка критериальной базы оценки, создание банка заданий по различным дисциплинам, разработка рекомендаций для преподавателей по использованию технологии оценки в своей преподавательской практике.

При создании системы оценки качества дистанционного обучения мы остановились на анализе тех педагогических подходов, которые в наибольшей мере соответствуют созданию универсальной системы оценивания. Это компетентностный, квалиметрический, информационный и индивидуальный подходы. Идею синтеза подходов к образованию можно считать одной из основных идей дистанционного обучения.

Компетентностный подход позволил создать практико-ориентированные методики формирования компетенции. Для детализации формируемой способности разработаны технологические карты компетенций. Компетенция рассматривается в виде уровневой структуры. Каждый уровень характеризуется определенными достижениями студента. В ходе эксперимента разработана технология реализации оценки качества обучения, в основе которой лежит пошаговый контроль формирования компетенций.

В создании критериальной базы оценки и банка заданий использован таксономический подход Б. Блума, позволяющий определить уровни познавательных целей обучения и структурировать систему заданий3. Таксономия, предложенная группой ученых под руководством Б. Блума в 50-х годах прошлого столетия, несмотря на то что неоднократно подвергалась критике, по мнению современных исследователей, является одной из самых популярных систематизаций учебных целей, так как наиболее полно охватывает различные области учебной деятельности: когнитивную (познавательную), аффективную, психомоторную4.

На организованных в НГЛУ курсах повышения квалификации преподавателей разрабатывались тестовые задания, соответствующие трем начальным уровням таксономии (знание, понимание, применение), проверяемые автоматически, и задания творческого характера, соответствующие трем последним уровням (анализ, синтез, оценка), которые проверяются преподавателем.

Поскольку взаимодействие участников процесса обучения при дистанционной форме происходит опосредованно, с использованием телекоммуникационных технологий, в НГЛУ для создания виртуальной обучающей среды выбрана современная платформа дистанционного обучения Moodle, имеющая богатый инструментарий для создания тестовых заданий открытого и закрытого типа, проведения семинаров в режиме онлайн и оффлайн и другие ресурсы электронной обучающей среды. Были установлены критерии оценки, по которым можно судить о достижении результат дистанционного обучения: полнота ответа, самостоятельность, оригинальность решения, активность при выполнении групповых заданий и т. п.

Целью педагогического эксперимента является эмпирическое подтверждение того, что предложенная технология оценки является более эффективной, чем применение традиционных методик, на примере отдельно взятой математической дисциплины «Линейная алгебра». Сложившаяся в практике вузов оценка дистанционного обучения ориентирована в основном на оценку конечного результата, тогда как развивающий эффект обучения остается неопределенным. Можно отметить субъективность трактовки результатов обучения, чрезмерную склонность к применению тестовых технологий, слабую рефлексию результатов со стороны преподавателей, что в целом снижает качество дистанционного обучения.

В эксперименте участвовали две группы, первоначально совпадающие по своим характеристикам. В экспериментальную и контрольную группу вошли студенты первого курса направления подготовки «Экономика», обучающиеся с применением ДОТ. Эксперимент длился в течение семестра. В контрольной группе оценка результатов проходила по традиционной методике. Инструментарием оценки служили обычные самостоятельные и контрольные работы, тестовые задания, выявляющие, как правило, три первых уровня глубины охвата изучаемой темы: знание, понимание, применение. Для оценки результатов проводилось рубежное и итоговое тестирование. По результатам рубежного тестирования студенты допускались к изучению следующей темы дисциплины. В экспериментальной группе студенты выполняли уровневые задания, разработанные по принципам таксономии Б. Блума, охватывающие шесть уровней глубины освоения. По каждому уровню выполнялось 3-4 задания. В процессе изучения темы проводилось промежуточное оценивание результатов, позволяющее учитывать индивидуальные достижения студентов. Был расширен инструментарий оценивания: студенты участвовали в вебинаре, обсуждали собственные достижения и давали оценку работам одногруппников, участвовали в групповом проекте. Для промежуточного оценивания использовались тестовые задания и электронная обучающая лекция, позволяющая проводить самооценку при изучении темы. Результаты самооценки давали преподавателю информацию для рефлексии результатов и своевременной корректировки процесса обучения.

Проведем два сравнения и покажем, что при первом сравнении (до начала педагогического эксперимента) характеристики экспериментальной и контрольной группы совпадают, а при втором (после окончания эксперимента) - характеристики экспериментальной группы превосходят характеристики контрольной группы (характеристикой обучающегося - признаком - является число правильно решенных им задач). Конечно, говорить о совпадении или различии характеристик экспериментальной и контрольной групп можно лишь в статистическом смысле. Для того чтобы выяснить, являются ли совпадения или различия случайными, используем статистический метод Вилкоксона выбор которого обусловлен тем, что данные получены в результате измерений в шкале отношений, малым объемом выборок, а также их независимостью.

Экспериментальная и контрольная группы включают 20 человек (объем каждой выборки равен 10). Цель измерения заключается в определении уровня знаний путем проведения теста, включающего 20 заданий, составленных по шести уровням усвоения. Результаты измерений уровня знаний в контрольной и экспериментальной группах до и после эксперимента приведены в таблице 1.

По данным таблицы 1, проверим две гипотезы. Первая гипотеза: характеристики экспериментальной и контрольной групп до эксперимента совпадают. Если данная гипотеза отклоняется, то принимается конкурирующая гипотеза: характеристики экспериментальной и контрольной групп до эксперимента считаются различными.

Вторая гипотеза: характеристики экспериментальной и контрольной групп после эксперимента совпадают. Если она отклоняется, то принимается конкурирующая гипотеза: характеристики экспериментальной группы после эксперимента лучше (выше) характеристик контрольной группы после эксперимента.

Установление совпадения характеристик двух групп до эксперимента проведем с применением статистического критерия Вилкоксона. Все таблицы и диаграммы экспортируются из компьютерных программ Microsoft Excel. Так как данный статистический критерий не реализован в Microsoft Excel 10, расчеты эмпирических значений критерия проведем вручную, используя компьютер или калькулятор, для получения описательной статистики и автоматизации расчетов.

Расположим варианты обеих выборок в виде одного вариационного ряда и проведем нумерацию по способу, описанному в книге В.Г. Гмурмана5. Вариационный ряд с порядковыми номерами до эксперимента представлен в табл. 2.

На основании информации о результатах наблюдений (характеристиках членов экспериментальной и контрольной группы до эксперимента) вычислим эмпирическое значение критерия Wэмп. Это число сравним с известным (заданным таблично) эталонным числом, называемым критическим значением критерия (в нашем случае это не одно, а два значения: нижняя и верхняя критические точки wнижн.кр., wверхн.кр.)6. Критические значения берем для уровня значимости б = 0,05, это значит, допускается не более чем 5% возможности ошибки7.

Согласно критерию Вилкоксона, если wнижн.кр. < w'эмп < wверхн.кр., то принимается первая гипотеза.

Получили 78 < 106,5 < 132, следовательно, гипотеза о совпадении характеристик контрольной и экспериментальной групп до начала эксперимента принимается на уровне значимости 0,05.

Проверим однородность контрольной и экспериментальной групп после эксперимента по тому же критерию. Вариационный ряд с порядковыми номерами после эксперимента отражен в табл. 3.

Получили W'эмп = 78,5, wнижн.кр. (0,05,10,10) = 82, wверхн.кр. = 128.

Так как w'эмп < wверхн.кр., то данную гипотезу отвергаем. Это значит, что конкурирующая гипотеза (характеристики контрольной группы уступают характеристикам экспериментальной группы после окончания эксперимента) верна на 95%.

Следовательно, можно сделать вывод: положительный эффект изменений обусловлен применением экспериментальной методики обучения.

На завершающем этапе подтвердим наши выводы показателями описательной статистики числа правильно решенных задач в контрольной группе после окончания эксперимента, которые представлены в табл. 4, и показателями описательной статистики числа правильно решенных задач в экспериментальной группе после окончания эксперимента в табл. 5.

дистанционный обучение вебинар оценка

Данные, полученные в таблице 4 и таблице 5, показали, что в конце эксперимента уровень знаний экспериментальной группы выше уровня знаний контрольной группы. Об этом свидетельствуют следующие характеристики: среднее число правильно решенных задач в экспериментальной группе - 15,6, в контрольной - 11,3; мода (число правильно решенных задач, имеющее наибольшую вероятность) в экспериментальной группе равна 18, в контрольной - 13; выборочная дисперсия (разброс значений относительно среднего числа правильно решенных задач) в экспериментальной группе равна 6,9, в контрольной - 30,2; интервал (разница между максимальным и минимальным значениями) в экспериментальной группе - 9, в контрольной - 16.

Полученные данные подтверждают эффективность разработанной технологии и возможность ее применения для оценки качества дистанционного обучения. Как отмечают преподаватели, участвующие в эксперименте, принципы таксономии Б. Блума и разработанные рекомендации по ее применению помогают педагогу найти подходы к составлению творческих заданий, упрощают создание тестовых заданий.

Таким образом, конкретизация целей упрощает работу преподавателя дистанционного курса, позволяя строить учебный процесс как пошаговую отработку его элементов. Система оценки качества дистанционного обучения должна опираться на результаты текущего контроля, дающего возможность своевременно корректировать процесс обучения. Для наибольшей эффективности оценки инструментарий оценивания должен быть разнообразным и включать в себя такие ресурсы платформы дистанционного обучения, как вебинары, электронные обучающие лекции, тестовые задания и пр. Методы математического моделирования, статистической обработки результатов и последующая интерпретация позволяют получать точные и достоверные результаты оценки обучения.

Литература

1. Щенников С.А. Открытое дистанционное образование. М.: Наука, 2002. С. 527.

2. Курицына Г.В. Квалиметрический подход в системе педагогического контроля результатов дистанционного обучения студентов вуза // В мире научных открытий. 2013. № 11.1(47). С. 182-203.

3. Bloom, B.S. (1975) Taxonomy of Educational Objectives, Book 1 Cognitive Domain. Longman Publishing.

4. Чошанов М.А. Инженерия обучающих технологий. 2-е изд. М.: БИНОМ. Лаборатория знаний, 2013. С. 239.

5. Гмурман В.Г. Теория вероятностей и математическая статистика: учеб.пособие для вузов. 9-е изд., стер. М.: Высш. шк., 2003. С. 479.

6. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Наука, 1983. С. 416.

7. Новиков Д.А. Статистические методы в педагогических исследованиях (типовые случаи). М.: МЗ-Пресс, 2004. С. 67.

Размещено на Allbest.ru