К вопросу об автоматизации измерения умений по дисциплинам практической направленности

Размещено на http://www.allbest.ru/

Барнаульский юридический институт МВД России

К вопросу об автоматизации измерения умений по дисциплинам практической направленности

Литвинов Владимир Андреевич

кандидат физико-математических наук

Баумтрог Виктор Этмонтович

кандидат физико-математических наук

Аннотация

Предметом исследования является процесс оценки степени сформированности умений обучающихся по дисциплинам практической направленности, с применением активных форм обучения. Объектом исследования являются способы автоматизации процесса измерения умений, форма тестовых заданий, применяемых для промежуточной и итоговой аттестации обучающихся. Авторы рассматривают традиционные методы измерения степени умений с получением результата измерения в балльной системе и автоматизацию процесса измерения умений путем компьютерного тестирования. Особое внимание уделено использованию мультимедийных средств, как инструмента контроля наличия умений у обучающегося. Как дополнение к мультимедийным тестам предлагается использовать компьютерные симуляторы и программы тренажеры. Результаты работы получены на основе применения системного анализа проблем, возникающих при оценке компетенций обучающихся образовательных организаций Предложены формы автоматизации процесса измерения степени сформированности умений по дисциплинам практической направленности. Авторы предлагают использовать компьютерные симуляторы для оценки умений работы со сложным дорогостоящим оборудованием. Для составления тестовых заданий, получение правильного ответа на которые, требует наличия у тестируемого определенных умений, предложено использовать мультимедийные материалы.

Ключевые слова: компетенции, тестирование, умения, образование, мультимедиа, проверка умений, оценка компетенций, компьютерные тренажеры, эффективность тестирования, навыки

Abstract

The subject of this research is the process of assessment of the level of formedness of knowledge of the practical disciplines students with implementation of the active forms of education. The object of this research is the ways of automation of the knowledge testing process, as well as the pattern of test tasks, applied for the interval final academic assessment of the students. The authors examine the traditional methods of knowledge testing with grade system and using the computer testing. Special attention is given to application of the multimedia means as a tool of control over the students' knowledge. In addition to the multimedia means, it is suggested to use computer simulators and training programs. The results of the work have been acquired based on the use of systemic analysis of the problems emerging in assessment of competencies of the educational organizations. The authors propose using the computer simulators for assessment of knowledge in work with the complex valuable equipment, as well as for composition of the test tasks, using the multimedia materials.

Keywords: competency evaluation, checking skills, multimedia, education, ability, testing, competence, computer simulator, effectiveness of testing, skills

На протяжении нескольких последних десятилетий российская экономика и все общество претерпели существенные изменения, которые естественным образом повлияли и на систему образования. Множество реформ, проводимых в системе образования страны, проводятся под девизом «повысим качество подготовки обучающихся». Это утверждение справедливо к любому уровню системы образования страны.

Повышение качества образования, несомненно, достойная цель. Но далеко не все изменения, ставящие своей целью повышение качества образования, приводят к ней. Ряд мероприятий по первоначальному замыслу призванных улучшить, сделать эффективнее образовательный процесс не приносят желаемого эффекта.

В федеральных государственных образовательных стандартах (ФГОС) третьего поколения результатом образовательного процесса провозглашено формирование определенного набора компетенций. При этом в содержательной части стандартов перечислялись также базовые знания, умения и навыки, которые должны быть сформированы в процессе обучения, например, [1]. В новых редакциях стандартов ФГОС 3+ из содержательной части исключены формулировки знаний, умений и навыков [2]. Вероятно, это предполагает, что контролю подлежат только сформированные компетенции обучающихся.

По нашему мнению, такой подход требует полного перестроения организации образовательного процесса. В частности, отказа от предметной оценки знаний, умений и навыков. В данной работе мы не будем делать попыток выяснить преимущества предметной и блочно-модульной системы организации обучения. Отметим лишь, что на запрос «оценка компетенций» на ресурсе e-library выдается около 6000 ссылок. Многие авторы отмечают, что в нашей стране отсутствует единый инструментарий, позволяющий измерить и оценить результаты обучения [3-6].

Одним из выводов, который можно сделать из обзора литературы по методике оценки сформированности компетенций, является необходимость создания новых инновационных технологий комплексного оценивания совокупности знаний, умений, навыков и социально-личностных характеристик, формирующих компетенции. Отмечается, что компетентностный подход предполагает не простую трансляцию знаний и демонстрацию набора умений, а ситуационную деятельность по применению знаний и умений.

Применение компьютерного тестирования для оценки умений

Широкое внедрение информационных технологий в образовательный процесс, развитие и востребованность дистанционных технологий требует совершенствования методик оценки качества образования с применением компьютеров. Наиболее распространенным является применение компьютерных тестов для проверки теоретических знаний. По физико-математическим, техническим дисциплинам тесты применяют также и для проверки умений решать определенные задачи. Но, все-таки, большинство тестов ориентированы на проверку наличия знаний некоторого фактографического материала. В то же время, как указывалось выше, компетентностный подход предполагает в первую очередь проверку умений.

В данной работе рассмотрены варианты применения компьютерных технологий для проверки определенной совокупности умений, традиционно проверяемых при помощи использования технических средств. Показано, что использование мультимедийных тестовых заданий позволяет автоматизировать процесс проверки широкого круга умений обучающихся.

Востребованность компьютерных технологий при оценке умений обучающихся объясняется не только желанием автоматизировать эту сторону образовательного процесса. По многим практическим дисциплинам применяемые традиционные методы проверки умений трудоемки, экономически затратны и, что не маловажно, не безопасны.

Например, проверка умения соблюдать определенную последовательность действий при настройке дорогостоящего оборудования. При необходимости провести проверку такого умения у большого числа обучающихся у преподавателя будет много времени тратиться на наблюдения за действиями обучающегося и на возврат настроек оборудования в исходное состояние. Применение компьютерного моделирования, соответствующих тренажеров может существенно повысить эффективность данного этапа образовательного процесса.

Компьютерные тесты позволяют эффективно проверять умения обучающихся выполнять действия, результат которого поддается формализации. Выше уже отмечалось, что решение задач по математическим и техническим дисциплинам заканчивается в большинстве случаев получением численного результата, что легко поддается проверке при помощи компьютера. Для сложных задач можно предусмотреть контроль промежуточных результатов, что позволит дифференцировать оценку за выполнение задания. В качестве примера данного типа заданий на проверку умений приведем следующие: определить, на какую частоту настроена выданная обучающемуся радиостанция; определить, какое слово содержалось в удаленном с флеш-накопителя текстовом файле.

К рассматриваемой группе заданий можно отнести также задания на проверку умений поиска необходимой информации, умения проводить классификацию (группировку) объектов по некоторым признакам и т.д.

Как предварительная оценка умений выполнять некоторые действия может быть использована оценка выделять из видео-, аудио материалов фрагменты, соответствующие правильным или ошибочным действиям. И, как отмечалось выше, широкий простор для проверки умений и даже навыков дает использование компьютерных симуляторов (тренажеров).

В меньшей степени компьютерные технологии применимы для проверки сформированных у обучающегося навыков. Но следует отметить, что на современном рынке труда спрос на сотрудников с высшим образованием, обладающих определенными навыками, фактически не сформирован. Это объясняется тем, что традиционно в российской высшей школе основной упор делался на фундаментальность образования. Авторы работы [7] отмечают, что «…сегодня основная часть сообщества работодателей в нашей стране не имеет профессиональных стандартов. В основной своей массе работодатели, топ_менеджеры и собственники бизнес_организаций не испытывают особого интереса к взаимодействию с вузами, полагая, что приняв на работу молодых специалистов с хорошей фундаментальной подготовкой, они смогут самостоятельно их доучить, обеспечив нужную профилизацию.»

По нашему мнению именно профилизация образования определяет перечень необходимых навыков у выпускников. Отсутствие сформированного спроса на рынке труда на навыки, конечно, не исключает их формирование в процессе обучения. Но если сравнивать перечень формируемых в образовательной организации навыков со знаниями и умениями, то последние явно превосходят навыки. Таким образом, на наш взгляд автоматизация проверки наличия навыков по сравнению с проверкой знаний и умений является задачей второстепенной.

При подготовке тестовых заданий для проверки умений необходимо соблюдать все требования, которые формулируют к тестам на проверку знаний. В ходе составления контрольно-измерительных материалов разработчики руководствуются такими требованиями, как: валидность (объекты оценки должны соответствовать поставленным целям обучения), надежность (использование единообразных стандартов и критериев для оценивания достижений), справедливость (обучающиеся должны иметь равные возможности для достижения успеха), эффективность (соответствие результатов деятельности поставленным задачам).

Относительно легко выполнить вышеуказанные требования при оценке теоретических знаний. Например, создав достаточно большое количество тестов разной степени сложности. Более трудная ситуация возникает, когда необходимо измерить степень освоения тех или иных операций, приемов, владений. Например, в рамках дисциплины «Специальная техника ОВД» это могут быть приемы работы с радиостанциями, металлоискателями, диктофонами и прочими приборами; в рамках дисциплины «Физическая подготовка» -- правильность выполнения приемов боевого раздела; в рамках дисциплины «Огневая подготовка» -- действия по командам руководителя стрельб.

Один из вариантов решения такой проблемы, удовлетворяющий вышеуказанным критериям, следующий. Формулируем практические задания по всем изученным техническим средствам. При этом, для контроля степени освоения умения работы с конкретным техническим средством необходимо предусмотреть по нескольку заданий: от простого, соответствующего пороговому уровню сформированности компетенций, до сложного, соответствующего продвинутому уровню. Далее присваиваем в зависимости от степени сложности задания соответствующее ему количество баллов. Для выполнения требования надежности блок контрольно-измерительных материалов для оценки практических умений в каждом варианте должен включать в себя полный набор заданий по всем возможным умениям, освоение которых предусмотрено в рамках изучаемой дисциплины. Причем, для выполнения принципа справедливости, предъявляемого к контрольно-измерительному материалу, обучающиеся должны иметь возможность набрать одинаковое максимальное количество баллов в любом варианте. Распределяя максимально возможные баллы между теоретическим тестированием и оценкой практических умений (например, 30 -- за теоретическое тестирование, 70 за практическую часть), можно регулировать вклад каждой компоненты в общую оценку и достаточно надежно измерить степень сформированности компетенций дисциплины.

Следует заметить, что у представленного выше способа имеется один недостаток -- он весьма трудоемкий для преподавателя. Проверка и оценка степени усвоения умений занимает вовсе не одну минуту. К примеру, чтобы выполнить все практические задачи по дисциплине «Специальная техника ОВД» на экзамене хорошо подготовленному обучающемуся необходимо минимум 90 минут времени. В этой связи, автоматизация измерения умений весьма актуальна. Причем, при реализации программ дистанционного образования, измерение умений в автоматическом режиме, дает дополнительные возможности для повышения эффективности дистанционного контроля уровня сформированности компетенций.

Обратимся к определению термина «умение». Умение -- это освоенный субъектом способ выполнения действия, обеспечиваемый совокупностью приобретенных знаний и навыков. Формируется путем упражнений и создает возможность выполнения действия не только в привычных, но и в изменившихся условиях. Таким образом, при осуществлении умений обучающийся должен четко представлять себе порядок выполнения определенных операций, движений, манипуляций. Процесс правильного и неправильного выполнения заданий можно зафиксировать на видеосъемке. К примеру, правильность и неправильность выполнения приемов боевой борьбы или действий по команде «Оружие к осмотру» вполне возможно реализовать в видеоформате. При этом есть ряд преимуществ такого теста: зрительная визуализация правильного действия более информативна для обучающегося и воспринимается более легко обучающимся, чем действия, соответствующие правильным умениям, изложенные в текстовом виде (см. рис.1); при повторном решении обучающийся не сможет угадать правильный ответ по внешнему виду задания; достаточно значим его обучающий потенциал, т.к. просматривая правильную видеореализацию умения, проще повторить его на практике.

Рис. 1. Вид одного и того же тестового задания для измерения умений в текстовом формате (слева) и видеоформате (справа)

Другим вариантом реализации тестового задания на измерение умений может быть задание с видеофрагментом и предложением выбрать вариант ответов указывающих ошибки, сделанные в демонстрационном фрагменте.

Таким образом, для контроля умений можно использовать расширенный вариант тестового материала, который бы включал в себя видео-, а, возможно, аудиовизуальную часть. В настоящее время для целей тестирования широко практикуются традиционные тестовые задания: выбор одного или нескольких вариантов ответа; ввод ответа с клавиатуры; установка соответствия; расстановка в нужном порядке. Полагаем, что следующим этапом совершенствования тестов будет их реализация с использованием:

· вставки изображений различных форматов;

· вставки анимированных GIF-изображений;

· вставки произвольного HTML и JavaScript-кода (например, для интеграции видео из YouTube);

· вставки видео файлов с возможностью воспроизведения;

· вставку аудио файлов с возможностью воспроизведения;

· вставку произвольных файлов-вложений для скачивания.

Такие возможности предоставляет, к примеру, тестовая программа «Индиго» (рис. 2). Возможна реализация вышеуказанных опций и в программе тестирования [8,9], при минимальной ее доработке.

Широкие возможности для проверки умений дают компьютерные программы тренажеры. В работе [10] описан инструментарий для создания тренажеров по решению задач, требующих алгоритмизированных действий. В качестве примера рассмотрено расследование квартирной кражи. Собственно инструментарий позволяет создавать произвольные задания, выполнение которых регламентируется набором логических условий, допускающих выполнение одного из возможных действий или запрещающих таковые. Ошибки в действиях обучающегося разделены на критические и исправимые, что позволят ранжировать оценки даже при получении положительного итога.

Выше мы рассматривали уже существующие инструментарии, позволяющие автоматизировать процедуру проверки наличия определенных умений у обучающихся. Но в отдельных случаях можно использовать и специализированные компьютерные тренажеры, которые могут также применяться в процессе обучения. Например, как это указывалось ранее, симуляторы настройки режимов работы дорогостоящего оборудования [11].

Рис.2 Возможности контроля тестовой программы «Индиго» (ресурс http://indigotech.ru)

В настоящей работе приведены способы автоматизации процесса измерения степени сформированности умений. В частности, применение компьютерных программ тестирования с элементами мультимедиа и интерактивности позволит повысить эффективность работы преподавателя, снизить на него нагрузку при оценке умений. В результате целенаправленного формирования тестовых материалов, направленных на измерение умений, можно существенно повысить эффективность и надежность оценивания степени сформированности компетенций. Применение компьютерных технологий позволяет оценить степень сформированности всех или почти всех умений обучающихся за приемлемый временной интервал. Для проверки сложных комбинаций умений и знаний предлагается использовать компьютерные тренажеры.

обучение автоматизация тестовый

Библиография

1. Федеральный государственный образовательный стандарт высшего профессионального образования по направлению подготовки (специальности) 031001 правоохранительная деятельность (квалификация (степень) «специалист»): утвержден приказом Минобрнауки РФ от 14.01.2011 г. №20 [Электронный ресурс] .- Режим доступа : http://www.consultant.ru/cons/cgi/online.cgi?req=doc&base=LAW&n=116769&dst=0&profile=0&mb=LAW&div=LAW&BASENODE=69774703-4081201017 (Дата обращения 30.03.2017).

2. Федеральный государственный образовательный стандарт высшего образования по специальности 40.05.02 правоохранительная деятельность (уровень специалитета): утвержден приказом Минобрнауки РФ от 08.12.2016 г. №44618 [Электронный ресурс] .- Режим доступа : http://www.consultant.ru/cons/cgi/online.cgi?req=doc&base=LAW&n=208501&rnd=244973.1901110497#0 (Дата обращения 30.03.2017).

3. Коломийцева, С.В. Об оценке уровня сформированности компетенций и результатов обучения программистов / С.В. Коломийцева; Сборник материалов научно-методической конференции, посвященной памяти В. Г. Григоренко. Под ред А.Н. Гануса // Проблемы и перспективы развития образования в технических вузах .- Хабаровск, 2016. - С. 85-92.

4. Малышев, Е.Н. Интеграция систем оценки уровня освоения дисциплин и оценки уровня компетенций / Е.Н. Малышев, Н.В. Васильев // Высшее образование в России. - 2015, № 7. - С. 75-78.

5. Кряклина, Т.Ф. Оценка знаний и оценка компетенций: общее и особенное / Т.Ф. Кряклина, А.П. Детков // Мир науки, культуры, образования .- 2009, № 4. - С. 119-122.

6. Тимофеев, В.В. Источники и современные направления инновации образовательного процесса современной высшей школы. / В.В. Тимофеев; Гарантии качества профессионального образования: тезисы докладов Международной научно-практической конференции. - Барнаул: Изд-во АлтГТУ, 2015. - С. 188-191.

7. Звонников, В.И. Контроль качества обучения при аттестации: компетентностный подход / В.И. Звонников, М.Б. Челышкова .- М.: Логос, Университетская книга, 2009. - 158 с.

8. Литвинов, В.А. Информационное обеспечение организации управления в вузе МВД России : монография / В.А. Литвинов. - Барнаул: Барнаульский юридический институт МВД России, 2008. - 296 с.

9. Донских, С.Ю. Система «Электронный учебник-компьютерный тест» и эффективность учебного процесса / С.Ю. Донских, В.Н. Казанцев, В.А. Литвинов // Вестник Барнаульского юридического института МВД России.-Барнаул: БЮИ МВД России, 2005, 8.-С. 111-114.

10. Литвинов, В.А. Инструментальная среда учебных тренажеров на основе интернет технологий / В.А. Литвинов // Вестник БЮИ МВД России. - Барнаул, Изд-во БЮИ ,2008, № 15. - С. 150-155.

11. Кирюшин, И.И. Информационные технологии как фактор оптимизации обучения в Барнаульском юридическом институте МВД России Гарантии качества профессионального образования: тезисы докладов Международной научно-практической конференции / И.И. Кирюшин .- Барнаул: Изд-во АлтГТУ, 2015.-С. 109-111.

Размещено на Allbest.ru