Оценка результатов внедрения в балльно-рейтинговую систему элементов компьютерного тестирования

НАУЧНЫЙ ДИАЛОГ. 2016 Выпуск № 12 (60) / 2016

Размещено на http://www.allbest.ru//

426

Размещено на http://www.allbest.ru//

ФГБОУ ВО «Уфимский государственный нефтяной технический университет»

Оценка результатов внедрения в балльно-рейтинговую систему элементов компьютерного тестирования

Фаткуллин Николай Юрьевич

кандидат экономических наук, заведующий кафедрой математики

Рассматриваются вопросы своевременной, всесторонней и объективной фиксации результатов учебной деятельности каждого обучающегося. Утверждается необходимость разработки системы оценивания учебных достижений. По результатам сопоставительного анализа научной литературы и исследований в этой области установлено, что в настоящее время наиболее эффективной системой такого рода является балльно-рейтинговая система. Особое внимание при этом уделяется наличию отдельных элементов субъективизма в процессе непосредственного оценивания преподавателем результатов отчетных работ обучающихся. В условиях реализации личностно-ориентированного подхода в учебном процессе подобные факторы, несомненно, подлежат устранению или минимизации. Показано, что одной из действенных мер является включение в состав отчетных работ балльно-рейтинговой системы процедур компьютерного тестирования. Научная новизна исследования видится в том, что предлагается рассмотрение двойной функции данных процедур. Во-первых, они обеспечивают повышение объективности итоговой оценки. Во-вторых, они выступают критерием объективности оценочной деятельности преподавателя. Методами математической статистики проверена гипотеза о согласованности результатов оценивания деятельности обучающихся преподавателем и результатов оценки успешности обучения студентов посредством применения компьютерных технологий. Установлено, что в целом процедуры компьютерного тестирования вполне органично включены в действующую балльно-рейтинговую систему.

Ключевые слова: личностно ориентированный подход; обучающийся; результаты учебной деятельности; оценивание; балльно-рейтинговая система; тестирование.

компьютерный тестирование рейтинговый отчетный

Введение

Балльно-рейтинговая система (далее -- БРС) является в настоящее время одним из самых эффективных инструментариев при реализации личностно-ориентированного подхода к учету и оценке учебных достижений обучающихся [Богдан, 2010, с. 42; Федоров, 2014, с. 2740]. Фактически в этой системе происходит детальный учет индивидуальных достижений, выражаемый, как правило, в баллах. Изначально предполагается, что оценивание достижений обучающихся будет беспристрастно и объективно [Далингер, 2007, с. 44; Трубилин и др., 2016, с. 1039], система учета и построения итоговой оценки будет положительно мотивировать обучающихся [Борисова и др., 2014, с. 27; Будаев, 2010, с. 51; Вохминцева и др., 2007, с. 32]. В то же время на практике нередки проявления субъективизма со стороны преподавателей, причем совершенно разного рода, как правило, отрицательно влияющие на мотивацию обучающихся к освоению научных дисциплин [Мамаева и др., 2015, с. 51; Плахотникова и др., 2011, с. 154--155; Фаткуллин и др., 2016, с. 153]. С учетом этого обстоятельства представляется вполне логичным осуществить сочетание ручной и компьютерной проверки знаний обучающихся. В то же время полная замена квалифицированного и добросовестного труда преподавателя компьютерной процедурой не есть сама по себе гарантия успеха, так как задания в составе теста могут иметь низкие валидность, репрезентативность и т. п. по данной научной дисциплине [Вайндорф-Сысоева и др., 2016, с. 27; Фаткуллин и др., 2009, с. 4]. Именно поэтому, на наш взгляд, в органичном сочетании разных форм оценки в БРС и может формироваться объективная система контроля и оценки.

Постановка задачи

В данном исследовании за основу были приняты данные БРС, функционирующей на кафедре математики Уфимского государственного нефтяного технического университета (УГНТУ), а именно результаты обучения четырех учебных групп бакалавров двух факультетов на основании индивидуальных данных каждого из студентов по итогам первого семестра. В течение семестра данные группы согласно единому унифицированному календарному плану должны были выполнить три расчетных задания (далее -- РЗ), три аттестационных тестирования (далее -- АТ) и две лабораторные работы (далее -- ЛР). Распределение баллов по данным видам отчетных работ БРС и последовательность их выполнения обучающимися приведены далее (табл. 1).

Отметим тот факт, что по решению методического совета кафедры математики прием РЗ должен осуществляться путем компьютерного тестирования, а проверка АТ -- в ручном режиме преподавателем, ведущим практические занятия. Таким образом, из данных таблицы 1 следует, что выполнение трех РЗ по 10 баллов максимум каждое составляет 30 % от 100 максимальных рейтинговых баллов в семестр.

Таблица 1

Содержание учебных модулей дисциплины «Математика» для обучающихся очной формы обучения в 1 семестре

Целью данного исследования являлась проверка педагогической гипотезы о согласованности средств объективного контроля (компьютерного тестирования) и традиционной ручной проверки отчетных работ по БРС преподавателями кафедры. Целесообразность введения элементов компьютерного тестирования в систему БРС, на наш взгляд, можно оценить по степени согласованности результатов тестирования и следующих за ними по календарному плану результатов выполнения АТ. Предполагается, что в случае, когда проверка методами математической статистики установит согласованность результатов, то с определенной долей уверенности можно говорить о том, что роль выполнения РЗ как подготовки к АТ достигнута и объективность деятельности преподавателя в ручной проверке результатов АТ также подтверждена. В противном случае необходимо выполнить анализ выявленных несоответствий и произвести корректирующие действия в отношении содержания и форм проведения отчетных работ.

Экспериментальноеисследование

В условиях функционирования БРС, описанной выше, в исследовании принимали участие две группы бакалавров одного факультета по 29 человек и две группы бакалавров другого факультета по 26 человек в каждой, завершившие изучение дисциплины «Математика» в первом семестре (табл. 2). Таким образом, согласно положениям математической статистики, данные группы как выборки не являются малыми по своим объемам [Гмурман, 2012, с. 189]. Репрезентативность данных обеспечивалась случайностью выбора факультета и групп [Граничина, 2012, с. 10; Дьячук, 2013, с. 50].

На первоначальном этапе по данным БРС для каждой из рассматриваемых групп была установлена нормальность распределения их рейтинговых баллов (рис. 1) путем построения гистограмм распределения частот итоговых рейтинговых баллов. Кроме того, отдельно была проверена однородность групп парным t-критерием Стьюдента, который определяет значимость различий средних в выборках при заданном уровне ошибки I рода в условиях равенства или неравенства групповых дисперсий значений рейтингового балла [Гмурман, 2012, с. 303].

Таблица 2

Фрагмент данных БРС по учебной группе № 2

Рис. 1 Гистограмма распределения частот итоговых рейтинговых баллов

На следующем этапе была проверена выдвинутая педагогическая гипотеза о согласованности индивидуальных результатов обучающихся по данным БРС как по результатам сдачи РЗ в форме компьютерного тестирования, так и следующего за ним аттестационного тестирования, проверяемого преподавателем вручную.

Результаты исследования

По результатам статистической проверки для обеих учебных групп первого факультета установлено (табл. 3), что во всех трех случаях сравнения результатов соответствующих РЗ и АТ выполнялось условие

НАУЧНЫЙ ДИАЛОГ. 2016 Выпуск № 12 (60) / 2016

Размещено на http://www.allbest.ru//

426

Размещено на http://www.allbest.ru//

что указывает на принятие гипотезы о согласованности результатов обеих отчетных работ [Там же, с. 316] и объективности ручной проверки, проводимой преподавателем. Аналогичные результаты были получены и для групп второго факультета.

На следующем этапе была подвергнута проверке согласованность результатов обеих учебных групп отдельно по каждому факультету, как по одним и тем же расчетным заданиям, так и по аттестационным тестированиям (табл. 4). Результаты статистического анализа вновь указывают на согласованность итогов.

На заключительном этапе проверим согласованность результатов компьютерного тестирования, сравнивая попарно индивидуальные результаты обучающихся одной и той же учебной группы по каждому из трех тестирований по РЗ 1, 2, 3 (табл. 5).

Таблица 3

Двухвыборочный t-тест с различными дисперсиями группы № 2

Таблица 4

Двухвыборочный t-тест с различными дисперсиями групп №№ 1, 2

Таблица 5

Двухвыборочный t-тест с различными дисперсиями группы № 2

Анализ результатов показал, что для учебной группы № 2 условие

НАУЧНЫЙ ДИАЛОГ. 2016 Выпуск № 12 (60) / 2016

Размещено на http://www.allbest.ru//

426

Размещено на http://www.allbest.ru//

выполняется при попарном сравнении лишь РЗ 1 и РЗ 2. В то же время для той же учебной группы при попарном сравнении РЗ 2 и РЗ 3, а также РЗ 1 и РЗ 3 условие не выполняется, так как и . Второе обстоятельство указывает на тот факт, что средние значения рейтинговых баллов этих отчетных работ БРС отличаются значимо и случайными факторами их объяснить нельзя [Там же, с. 286]. Иначе говоря, результаты РЗ 3 не согласуются с результатами предыдущих двух тестирований, и, следовательно, встает вопрос о ее корректировке в дальнейшем.

Выводы

Таким образом, в ходе проведенного исследования установлено, что:

рассматриваемые учебные группы имеют нормальное распределение итоговых рейтинговых баллов в действующей БРС и попарно однородны между собой по величине среднего рейтингового балла;

результаты выполнения обучающимися обеих групп соответствующих РЗ и АТ согласуются между собой, то есть различия незначимы; данный факт может являться подтверждением того, что проверки, выполняемые в ручном формате, и проверки на основе компьютерного тестирования согласуются между собой, следовательно, компьютерный контроль и ручную проверку можно считать объективными, так как признаки субъективизма методами статистического анализа в данном случае не выявлены;

согласованность результатов компьютерной и ручной проверок указывают на неконфликтное сочетание средств человеческого и машинного контроля;

сопоставление результатов тестирования между собой указывает на то, что тестирования по РЗ 1 и РЗ 2 согласованы между собой и в то же время не согласуются с результатами РЗ 3. Данное обстоятельство указывает на необходимость коррекции, предположительно, именно РЗ 3, что требует проведения дополнительных исследований.

Литература

Богдан Н. В. Бально-рейтинговая система как метод оценки качества образования в вузе / Н. В. Богдан // Вестник ЮУрГУ. -- 2010. -- № 3. -- С. 42--45.

Борисова Ю. Г. Применение балльно-рейтинговой системы в технических университетах при изучении курса «Химия» / Ю. Г. Борисова, Н. Н. Михайлова, А. А. Богомазова // История и педагогика естествознания. -- 2014. -- № 4 -- С. 26--28.

Будаев В. Д. О трудностях перехода на балльно-рейтинговую систему оценки знаний студентов / В. Д. Будаев // Universum : Вестник Герценовского университета. -- 2010. -- № 10 -- С. 51--54.

Вайндорф-Сысоева М. Е. Сравнительный анализ рейтинговых показателей обучающихся при тестовой форме контроля на примере дисциплины «Математика» / М. Е. Вайндорф-Сысоева [и др.] // Вестник Южно-Уральского государственного университета. Серия : Образование. Педагогические науки. -- 2016. -- Т. 8. -- № 3. -- С. 26--38.

Вохминцева Л. В. Рейтинговая система в современном образовательном процессе / Л. В. Вохминцева [и др.] // Успехи современного естествознания. -- 2007. -- № 5 -- С. 32.

Гмурман В.Е. Теория вероятностей и математическая статистика / В. Е. Гмурман. -- Москва : Юрайт, 2012. -- 480 с.

Граничина О. А. Математико-статистические методы психолого- педагогических исследований / О. А. Граничина. -- Санкт-Петербург : Изд-во ВВМ, 2012. -- 115 с.

Далингер В. А. Совершенствование процесса подготовки будущих учителей на основе модульно-рейтинговой системы / В А. Далингер // Успехи современного естествознания. -- 2007. -- № 3. -- С. 43--44.

Дьячук А. А. Математические методы в психологических и педагогических исследованиях: учебное пособие / А. А. Дьячук. -- Красноярск : Красноярский гос. пед. ун-т им. В. П. Астафьева, 2013. -- 347 с.

Мамаева Н. А. Педагогическая модель формирования учебной мотивации студентов технических вузов в процессе изучения математики / Н. А. Мамаева, В. Д. Львова, Д. В. Мамаева // Вестник АГТУ. -- 2015. -- № 1 (59) -- С. 47--55.

Плахотникова И. В. Особенности личности преподавателя высшей школы / И. В. Плахотникова, Л. Э. Зотова // Вестник Московского государственного областного университета. Серия : Психологические науки. -- 2011. -- № 2. -- С. 149--156.

Трубилин А. И. Система оценки знаний и рейтингового тестирования студентов / А. И. Трубилин, О. В. Григораш // Научный журнал КубГАУ. -- 2016. -- № 116 -- С. 1038--1050.

Фаткуллин Н. Ю. Выявление особенностей процесса индивидуального оценивания учащихся преподавателем на основе ассоциативной модели педагогической прогностики / Н. Ю. Фаткуллин, В. Ф. Шамшович, М. Е. Вайндорф-Сысоева // Вестник Московского государственного областного университета. Серия : Педагогика. -- 2016. -- № 2. -- С. 151--163.

Фаткуллин Н. Ю. Процедура анализа вариаций основной компоненты базы данных тестовых заданий методами нейросетевых технологий / Н. Ю. Фаткуллин, В. Ф. Шамшович, А. А. Галлямов // Педагогические и информационные технологии в образовании. -- 2009. -- № 8. -- С. 4--8.

Федоров Р. Ю. Модель формирующего оценивания в структуре балльнорейтинговой системы и условия ее реализации в вузе / Р. Ю Федоров // Фундаментальные исследования. -- 2014. -- № 11--12. -- С. 2740--2744.

Размещено на Allbest.ru