Система автоматизированного контроля знаний по общепрофессиональным дисциплинам

Размещено на http://www.allbest.ru/

Академия Спецсвязи России

Система автоматизированного контроля знаний по общепрофессиональным дисциплинам

Панченко В.И.

Обучение с применением информационных технологий становится нормой сегодняшнего дня. Однако использование обучающих и контролирующих программ сталкивается не столько с проблемами технического характера, сколько с неразработанностью дидактических и психолого-педагогических основ применения и эффективности новых форм обучения. Можно выделить следующие недостатки внедрения тестового контроля знаний: не в должной мере учитываются достижения в области педагогической квалиметрии; некоторые разработки носят механистический характер, не побуждают обучающихся к самостоятельности; внедрение тестовых программ носят бессистемный характер.

Сложность заключается в том, что измерение многих критериев качества обучения носит условно количественный характер и полная формализация таких критериев вряд ли возможна, поскольку при оценке интеллектуальной деятельности субъектов существуют не подверженные формализации аспекты. Однако, опираясь при проектировании систем автоматизированного контроля знаний на научно-обоснованные методики, процедуры и измерители, для разработки которых необходим системный научный подход и участие специалистов в области педагогических измерений, можно добиться повышения эффективности образовательного процесса в вузе.

Анализ педагогических источников показывает, что многие педагоги склоняются к следующим педагогическим требованиям по организации контроля учебной деятельности:

Индивидуальный характер, предполагающий осуществление контроля над работой каждого обучающегося.

Систематичность, регулярность проведения контроля на всех этапах процесса обучения, сочетание его с другими сторонами учебной деятельности.

Разнообразие форм проведения контроля, обеспечивающее выполнение обучающей, развивающей и воспитывающей его функций.

Всесторонность, заключающаяся в том, что контроль должен охватывать все разделы учебной программы, обеспечивать проверку теоретических знаний, интеллектуальных и практических умений и навыков обучающихся.

Объективность, исключающая субъективные и ошибочные оценочные суждения.

Единство требований педагогов, осуществляющих контроль обучающихся.

Мотивация познавательной деятельности и стимулирование честной конкуренции и заинтересованности обучающихся в повышении результативности обучения.

Возможность самоконтроля, самокоррекции и самооценки.

Вышеперечисленные требования были положены в основу разрабатываемой системы автоматизированного контроля знаний (САКЗ) информационной технологии обучения дисциплины «Электропитание устройств и систем телекоммуникаций». Она представляет собой компьютерную программу на основе наборов пачек тестов. По структуре САКЗ состоит из входного контроля (входное тестирование), текущего контроля по изучаемым темам дисциплины (тестирование по темам) и подготовке к лабораторным работам (тестирование по лабораторным работам), а также выходного контроля по всему материалу дисциплины (итоговое тестирование) [1].

Проектирование САКЗ осуществлялось по следующей схеме: определение целей теста; отбор содержания; выбор форм и составление тестовых заданий; разработка компьютерной программы; апробация теста на репрезентативной выборке испытуемых; оценка теста на валидность, надежность, дифференцирующую способность и привлекательность дистракторов; распределение тестовых заданий по уровням трудности; разработка шкалы измерений на основе качественных соображений и статистической обработки результатов.

Включение в САКЗ входного контроля преследует цель определения остаточных базовых знаний курсантов по обеспечивающим дисциплинам и коррекции лекционного курса преподаваемой дисциплины при незначительных пробелах обучающихся или введение коррекционного курса при глубоких пробелах знаний обучающихся (формирование курсантами индивидуальной самостоятельной работы по устранению пробелов в знаниях). Мы полагаем, что разработку входного контроля целесообразно проводить в следующей последовательности:

на этапе отбора и структурирования содержания дисциплины определить межпредметные связи и требования к обеспечиваемым дисциплинам по уровню обученности курсантов;

разработать и согласовать тесты со старшими преподавателями обеспечиваемых дисциплин;

апробировать и провести оценку тестов;

после проведения и анализа входного тестирования довести его результаты преподавателям обеспечиваемых дисциплин для использования этой информации при коррекции их технологий обучения.

Текущий контроль обеспечивает возможности мониторинга усвоения знаний, умений и навыков обучающихся по отдельным темам дисциплины, а также развития их интеллектуальных способностей. Кроме этого решает вопросы оперативного контроля подготовки курсантов к лабораторным работам с учетом специфики выполняемой работы на лабораторной установке.

Итоговое тестирование позволяет обучающимся осуществлять самоконтроль подготовки к выпускному экзамену по дисциплине.

Тестовое задание должно отвечать целому ряду требований. Оно должно иметь четкую форму, отличаться предметной чистотой содержания, быть логически правильным, технологичным, иметь известную трудность и коррелироваться с критерием [2].

Разработка тестовых заданий была направлена на проверку усвоения теоретических основ курса, умения оперировать основными понятиями, проводить сравнительный анализ, давать оценку схемотехнических устройств источников электроснабжения и вторичного электропитания, выбирать режимы исследования устройств электропитания, анализировать причины неисправностей электроагрегатов, электростанций и внутристанционных блоков электропитания, определять направления протекания процесса под действием заданного возмущения.

В соответствии с целями САКЗ был принят критериально-ориентированный подход, который применяется для решения следующих задач: педагогический учебный информационный тестовый

оценка доли учебного материала, усвоенной обучающимися;

сопоставление с требуемым стандартом образования учебных достижений отдельных курсантов и учебных групп;

аттестация учебных заведений на основании сопоставления знаний их учащихся с требуемым стандартом;

выбор стратегии дальнейшего обучения.

В основу разработки тестовых заданий нами были положены следующие принципы:

обеспечение безусловного соответствия между уровнем запланированных целей обучения и содержанием теста;

использование многоуровневых тестов в соответствии с требованиями уровня обученности курсантов (по шкале В.П. Беспалько I - узнавание, II - воспроизведение, III - умения и навыки);

устранение взаимосвязанных заданий, содержание которых может служить подсказкой для одного из них;

использование формулировок, вскрывающих причинно-следственные связи;

усиление выразительности заданий использованием графиков и чертежей (в будущем планируется использование звука и видеозаписей).

Для составления тестовых заданий использовались следующие формы:

Задания закрытой формы, т. е. на выбор правильных вариантов из списка предложенных. При этом предлагается одиночный или множественный выбор. Задание может быть представлено в текстовой или графической форме (графики функций, векторные диаграммы, фрагменты электрических схем). Наиболее распространенным способом построения альтернативных вопросов с множественным выбором является обобщение объектов по некоторому признаку;

Задания открытой формы, т. е. такие задания в которых обучающийся сам дает ответ. Как правило, это ключевое слово или фраза, дописываемое в утверждении, превращая его в ложное или истинное.

Задания на соответствие, в которых элементам одного множества требуется сопоставить элементы другого множества, причем число элементов во втором множестве на 20-30 % превышает число элементов первого множества. Это обеспечивает курсанту широкое поле для поиска правильного ответа.

Задания на установление правильной последовательности, в которых курсант указывает с помощью нумерации операций, действий или вычислений требуемую заданием последовательность.

Формулирование тестовых заданий процесс довольно сложный и трудоемкий. С целью сокращения затрат времени В. С. Алешин и А.Н. Швецов предлагают следующие основные методы автоматической генерации вопросительных предложений из текстов учебных пособий: удаление из текста предложения цифровых данных, с дальнейшим предложением их воспроизвести; выборка из текста предложения ряда чередующихся сведений с предложением повторить их последовательность; удаление сокращенных обозначений с дальнейшим предложением их воспроизвести; модификация текста предложения с изменением смысла на противоположный введением или удалением частиц при модальных глаголах или заменой типичных свойств - имен прилагательных их антонимами с дальнейшим предложением пользователю опровергнуть или подтвердить полученное высказывание [3].

На наш взгляд для реализации выше рассмотренных принципов разработки тестовых заданий и самого процесса применения САКЗ компьютерная программа должна обладать следующими возможностями:

простотой заполнения базы тестовых заданий и внесения изменений в эту базу;

свободой в создании пачек тестовых заданий с требуемым (различным) числом вопросов в каждой пачке;

возможностью присвоения каждому вопросу определенного коэффициента трудности, который можно автоматически использовать при выставлении отметки;

способностью применения различных форм тестовых заданий;

выбором способа предъявления заданий курсанту, когда они выдаются в порядке, ранжированном по трудности или с чередуемой трудностью в определенном или случайном порядке;

вводом ограничений по времени отводимым на один вопрос;

автоматизацией учета ответов с заданием способа статистической обработки результатов;

возможностью автоматического анализа качества заданий, в частности отбраковки чрезмерно простых или излишне сложных заданий по критерию, задаваемому преподавателем. Выявление трудных для обучающихся тестовых заданий может служить информацией о слабо усваиваемых разделах дисциплины, а следовательно о несовершенстве элементов информационной технологии обучения и необходимости ее коррекции.

Качество тестов традиционно оценивается двумя основными критериями. Первый - надежность теста, ассоциируемая в первую очередь с точностью измерения. Эта точность определяется воспроизводимостью полученных результатов на том же контингенте испытуемых, использованием параллельных тестов и другими методами. Второй критерий - валидность теста, определяемая обычно как способность теста измерять именно то, что он призван измерять по замыслу автора. При проверке теста на валидность он подвергается экспертной оценке [2].

Разрабатываемые тесты оценивались по параметрам надежности, валидности, дифференцирующей способности. Содержательная полнота тестов оценивалась экспертами, которые оценивали полноту охвата требований к уровню подготовки будущих специалистов в пачках теста и правильность пропорций содержания теста. Надежность пачек тестов проверялась методом повторных испытаний на одних и тех же выборках обучающихся. Повышение надежности теста производилось за счет увеличения числа заданий.

Обработка результатов контроля определяется целью контроля и может составлять следующую информацию:

об абсолютной и качественной успеваемости;

о среднем балле;

о среднем квадратичном отклонении.

Это может быть реализовано в виде диаграмм Парето, на которые нанесены предельные и регулировочные уровни. В результате можно выявить группы с несовершенной успеваемостью (низкий уровень абсолютной и качественной успеваемости, среднеквадратичное отклонение выше предельного даже при среднем балле, лежащем в пределах допустимых границ). При этом принимается решение о необходимости установления причин несоответствий и принятии мер по их устранению.

Апробация системы автоматизированного контроля знаний в образовательном процессе позволяет выделить следующие основополагающие преимущества тестового контроля перед традиционными методами:

высокая содержательность за счет возможности включения тестовых заданий по всему курсу дисциплины;

большая объективность оценки знаний за счет наличия эталона и обеспечения равных возможностей всем обучающимся;

сокращение затрат времени за счет автоматизации процесса контроля;

возможность индивидуального подхода за счет применения адаптивных тестов;

возможность оценки эффективности процесса обучения и при необходимости внесения корректив за счет автоматизированной статистической обработки результатов;

возможность самооценки;

устранение негативного влияния со стороны курсанта на преподавателя;

стимулирует активность обучающихся на лекциях, практических и лабораторных занятиях.

В образовательной практике происходит смещение акцентов с оценки по результату на оценку процесса получения результата. Эти тенденции находят свое отражение в широком внедрении тестовых методик, контрольно-обучающих программ с развернутыми диагностическими функциями, многочисленных инновациях в содержании и форме тестовых заданий, побуждающих обучающихся перейти от предъявления готового ответа на заданный вопрос к активному конструированию содержания ответа и проверяющих не отдельные предметные, а интегральные междисциплинарные умения.

Эти тенденции позволяют сделать вывод о расширении возможностей автоматизированных систем контроля знаний, а соответственно и повышении их эффективности и качества.

Литература

1. Образцов П.И., Панченко В.И. Актуальные проблемы проектирования и реализации современного образовательного процесса в вузе. Материалы межвузовской научно-методической конференции 15-17 мая 2001 г. г. Орел /Под общей ред. Л.Д. Козловой. - Орел: ОрелГТУ, 2001, с. 24-26.

2. Маркова А.С. Технология массового тестирования студентов. М: МТУСИ, 1996, с.16-18.

3. Алешин В.С., Швецов Н.А. Построение системы автоматизированного тестирования учащихся на основе лексико-семантического анализа материалов учебных пособий./ Материалы IX международной конференции "Современные технологии обучения "СТО-2003". - Санкт-Петербург: СПбГЭТУ "ЛЭТИ", 2003, том 1 с. 345.

Размещено на Allbest.ru