Инжекторный тип вопроса обеспечивает ввод ответа в виде некоторой строки символов. Правила записи для первого типа следующие:

<Формулировка инжекторного вопроса>:=#Input

<Текст вопроса>

<Правильный ответ>

#end

Правила записи текста вопроса аналогичны правилам записи в меню-вопросе. Рассмотрим правила записи правильного ответа:

<Правильный ответ>:=#stand <Переопределение знаков>

<Дерево И-ИЛИ>

#end

<Дерево И-ИЛИ>:= <Фигурная открывающая скобка>

<Или-список>

<Дерево И-ИЛИ>:= <Круглая открывающая скобка> <И-список>

<Дерево И-ИЛИ>:= <Cлово>

<Или-список>:= <Дерево И-ИЛИ> <Или-продолжение>

<Или-продолжение>:= <Запятая><Дерево И-ИЛИ>

<Или-продолжение>

<Или-продолжение>:= <Фигурная закрывающая скобка>

<И-список>:= <Дерево И-ИЛИ> <И-продолжение>

<И-продолжение>:= <Запятая> <Дерево И-ИЛИ>

<И-продолжение>

<И-продолжение>:= <Круглая закрывающая скобка>

<Слово>:=<Знак $>| <строка символов>

<Фигурная открывающая скобка>:= {

<Круглая открывающая скобка>:= (

<Запятая>:= ,

<Фигурная закрывающая скобка>:=}

<Круглая закрывающая скобка> :=)

<Знак $>:=$

Рассмотрим примеры записи многовариантного ответа.

Пример 1

Кто написал повесть «Дубровский»?

Запись соответствующего дерева И-Или будет следующая:

{({A.,А.С.,$},Пушкин),(Пушкин, {A.,А.С.,$})}

Тогда множество правильных ответов будет:

А. Пушкин

А.С. Пушкин

Пушкин

Пушкин А.

Пушкин А.С.

Пример 2

В ответ необходимо ввести несколько правильных последовательностей.

(1, 2, {(4,5),4,5} , {7,8}, 9)

Тогда правильные последовательности следующие:

1 2 4 5 7 9

1 2 4 5 8 9

1 2 4 7 9

1 2 5 7 9

1 2 4 8 9

1 2 5 8 9

Механизм переопределения знаков необходим на тот случай, если знаки, используемые при записи дерева И-ИЛИ, записываются в ответе. Например, в ответе требуется ввести последовательность, разделенную запятыми. Правила записи замены следующие:

<Переопределение знаков>:= key <Переопределение>

<Продолжение списка переопределений>

<Продолжение списка переопределений>:=<Переопределение>

<Продолжение списка переопределений>

<Продолжение списка переопределений>:=end

<Переопределение>:=<Знак>=<Знак замены>

<Знак>:={ | ( | , | ) | } | $

<Знак замены>:=любой знак не использующийся при записи ответа.

#stand key ,=+ end (5+8+11) #end

Тогда в ответе должен быть записан

5, 8, 11

Например:

#num 4

#{#input

#quest Назовите основные компоненты ЭЦ (ответ дайте в алфавитном порядке через пробелы). #end

#stand (({И,и},сточники),{и,$},приемники)#end

#}

ФОРМУЛИРОВКА ЧИСЛОВОГО ВОПРОСА

Числовой вопрос аналогичен инжекторному, только в ответ необходимо ввести некоторое число. Это число может быть записано в формате числа с плавающей запятой. Правила записи этого вопроса следующие:

<Формулировка числового вопроса>:=#numinput

<Текст вопроса>

<Правильный ответ>

#end

Правила записи текста вопроса записаны в разделе 4.4.2.

Правила записи правильного ответа следующие:

<Правильный ответ>:=#Number<Эталонное значение>

<Погрешность ввода>

#end

<Эталонное значение>:= [число]

<Погрешность ввода>:=[число}

<Погрешность ввода>:=пусто

Правила для сравнения введенного ответа с эталонным ответом следующие:

1. Если эталонное значение равно нулю, то введенный ответ будет правильным, если тоже будет равен нулю.

2. Если эталонное значение не равно нулю и установлен интервал ошибки, то правильный ответ вычисляется по следующей формуле:

где АЭ - эталонный ответ;

АС - ответ, введенный студентом;

O ошибка ответа.

Если ошибка

где - погрешность ввода, то ответ считается правильным. В противном случае - неправильным.

3. Если значение ошибки ввода отсутствует в описании правильного ответа, то ее значение приравнивается 0,05 по умолчанию.

Такое представление правильного ответа позволяет управлять ситуацией с неточным и округленным ответом. Например, если правильный ответ 100, а студент ввел значение 99,9, то в зависимости от погрешности ввода этот ответ будет считаться правильным или неправильным.

#num 1

#{#numinput

#QuestTabl

#Text"Концентрация свободных электронов в металле равна #math 5@mul #v(10,22)$prob$#v(см,minus$3)#end. При температуре металла 23°С его удельное сопротивление равно #math 0%05$prob$мкОм*м#end. При напряженности электрического поля 2 В/м тепловая скорость электронов равна ... м/с. Массу электронов металла считайте равной массе электрона в вакууме."#end

#Number [1.16e5] [0.05]

#}

ФОРМУЛИРОВКА ВСТАВКИ СТРОК

Вопрос с многократным вводом ответа аналогичен инжекторному. Их отличие в том, что в этом типе вопроса ответ вводится в указанном месте, а в инжекторном есть строка ввода. Ключевое слово, обозначающее этот тип вопроса, имеет вид:

<Формулировка вставки строк>:=#varinput <размер>

<varТекст>

<Список описаний ввода>

#end

<Размер>:=#size<цифра><цифра>

Параметр #size задает количество окон ввода в вопросе.

<varТекст>:=#quest<Словосочетание><Строка ввода>

<varПродолжение>

<varПродолжение>:=<Словосочетание><Строка ввода>

<varПродолжение>

<varПродолжение>:=#end

<Строка ввода>:=#<Число символов><Символы>

<Число символов>:=<цифра><цифра>

<Символы>:= строка символов указанной длинной

Например, #05xxxxx задает окошко ввода размером в 5 символов.

<Список описаний ввода>:=<Правильный ответ>

<Список описаний ввода>

<Список описаний ввода>:=пусто

Правила описания правильного ответа такие же, как в инжекторном вопросе. Пример оформления данного типа вопроса записан ниже:

#num 136

#{#varinput#size02

#quest Вставьте пропущенное слово.

Оператор #10saaaaaaaaaa - конструирует новую таблицу посредством взятия горизонтального подмножества существующей таблицы, т.е. всех строк таблицы, которые удовлетворяют условию. #end

#stand ({s,S},elect)#end

#}

Запись #10saaaaaaaaaa означает, что на этом месте будет вводиться ответ, и размер строки ввода равен десяти символам.

ФОРМУЛИРОВКА ВОПРОСА ВЫБОРА СТРОК

· прием задания;

· анализ множества вопросов на предмет реализации с помощью инструментальной системы проектирования КУП;

· доработка инструментальной системы;

· планирование работ;

· реализация на языке инструментальной системы;

· отладка КУП средствами инструментальной системы;

· внутреннее тестирование;

· внешнее тестирование;

· формирование программы проведения контрольной работы или экзамена на основе итоговой программы проверки;

· рецензирование;

· передача готовой программы в диспетчерский отдел и подписание акта приемки-сдачи.

Рассмотрим каждый этап более подробно.

Рис. 1. Технология разработки

ПРИЕМ ЗАДАНИЙ

Задания на разработку компьютерного теста поступают из учебно-методического отдел. Однако в тех случаях, когда методист конкретного курса не знаком с технологией построения компьютерных тестов и генераторов, проводится предварительное обучение. Это обучение включает:

1) технологию проведения компьютерных контрольных работ и экзаменов;

2) технологию построения шаблонов к генераторам компьютерных экзаменов и контрольных работ;

3) знакомство с системой проведения компьютерных экзаменов и контрольных работ.

После проведения обучения методист формирует банк вопросов или шаблонов, передает в учебно-методический отдел. Учебно-методический отдел фиксирует поступление банка вопросов и передает этот банк в лабораторию вместе с технологической картой (рис. 2).

Технологическая карта (ТК) подготовки компьютерного экзамена (КЭ)

Специальности, на которых экзамен может быть использован

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Автор экзамена: _________________________________________

Кафедра: __________________________________________

Контактные телефоны (e-mail): __________________________

Кол-во вопросов на экзамене: ___________________________

Диапазон оценок: ____________________________________

Рис. 2. Технологическая карта подготовки компьютерного экзамена

График прохождения экзамена

В этой карте должно быть указано:

· организация заказчик;

· кафедра;

· название курса;

· автор экзамена;

· контактные телефоны и адрес электронной почты;

· количество вопросов;

· параметры системы оценивания.

По мере изготовления теста или генератора теста фиксируются соответствующие этапы выполнения работ. Это позволяет проследить за ходом выполнения работ.

АНАЛИЗ ТЕСТА НА ПРЕДМЕТ РЕАЛИЗАЦИИ С ПОМОЩЬЮ ИНСТРУМЕНТАЛЬНОЙ СИСТЕМЫ ПРОЕКТИРОВАНИЯ КУП

На данном этапе тест анализируется на предмет реализации средствами инструментальной системы (ИС). Анализируются следующие элементы:

1. Формулировки вопросов, с точки зрения представления информации на экране компьютера (рисунки, формулы, таблицы).

2. Анализируются способы ввода ответа.

3. Анализируются способы представления ответов.

Если возникают проблемы с реализацией компьютерного экзамена, то:

1) предлагается переделать вопрос;

2) предлагается внести изменения в инструментальную систему.

ДОРАБОТКА ПРИ НЕОБХОДИМОСТИ ИНСТРУМЕНТАЛЬНОЙ СИСТЕМЫ

Может возникнуть потребность в изменении самой инструментальной системы: добавить новый вид вопроса и т.д. Например, в тесте по курсу «Радиоматериалы и радиокомпоненты» возникла необходимость добавить ввод ответа с учетом погрешности - появился новый тип вопроса numinput. Эта информация также фиксируется.

Для проверки правильности работы ИС после внесения в нее изменений существует тестовый набор исходных текстов компьютерных экзаменов, в которых отражены все типы вопросов в большом количестве. После того как система была доработана, она тестируется на корректность работы, и только потом предыдущая версия заменяется новой.

В зависимости от сложности изменений пересматриваются сроки сдачи готовой программы.

ПЛАНИРОВАНИЕ РАБОТ

На данном этапе происходит распределение работ, связанных с:

1) преобразованием формул с помощью языка представления формул;

2) созданием библиотеки рисунков;

3) кодированием множества вопросов с помощью языка представления тестов;

4) тестированием ИС;

5)если тест был передан в текстовом виде, то учитывается еще и его набор и проверка в редакторе MicrosoftWord. Оцениваются сроки выполнения работ, строится график работ по созданию данного теста.

РЕАЛИЗАЦИЯ НА ЯЗЫКЕ ИНСТРУМЕНТАЛЬНОЙ СИСТЕМЫ

Процесс кодирования теста также можно разделить на ряд этапов:

определение параметров теста - время и параметры оценивания;

запись заставки;

кодирование вопросов по темам;

создание библиотеки рисунков.

Сами рисунки создаются любым графическим редактором, например, FotoShop фирмы Adobe . Формат представления рисунков должен быть Jpeg. Далее необходимо использовать программу для работы с библиотекой рисунков, которая выполняет следующие функции: создает библиотеку рисунков; добавляет новый рисунок; удаляет рисунок из библиотеки; замещает рисунок на новый; выводит список рисунков.

Рис. 3. Схема работы инструментальной системы

На рис. 3 показаны основные этапы использования инструментальной системы для создания и отладки теста.

ОТЛАДКА КУП СРЕДСТВАМИ ИНСТРУМЕНТАЛЬНОЙ СИСТЕМЫ

По окончании реализации теста начинается этап отладки готовой программы. Программу запускают на выполнение и смотрят, безошибочно ли работает транслятор, все ли запускается. Если транслятор выдает ошибку, то происходит исправление этой ошибки.

ВНЕШНЕЕ ТЕСТИРОВАНИЕ

После осуществления отладки и внутреннего тестирования разработанный тест передается преподавателю разработчику вопросов на проверку. Для этого используется специальная программа, которая позволяет просмотреть все вопросы и получить правильные ответы. Кроме того, преподаватель получает и программу проведения экзамена или контрольной работы в зависимости от вида теста.

Результатом внешнего тестирования могут быть:

1) замечания и неточности, обнаруженные преподавателем и требующие внесения изменений в проверяемый тест;

2) удаление или замена отдельных вопросов;

3) изменение параметров системы оценивания.

Этот процесс носит итерационный характер, но, как правило, на второй итерации процесс тестирования заканчивается.

РЕЦЕНЗИРОВАНИЕ

После изготовления в некоторых случаях тест передается на рецензирование. Рецензентом назначается специалист из данной предметной области для оценки содержания теста. Рецензент получает тот же набор программ, что и разработчик теста, и пишет рецензию. В рецензии он оценивает качество вопросов и системы оценивания. Если рецензент обнаружил неточности в формулировках вопросов, то процесс создания теста возвращается на этап отладки. Это процесс также носит итерационный характер.

ПЕРЕДАЧА В ДИСПЕТЧЕРСКИЙ ОТДЕЛ

После завершения исправлений замечаний рецензента формируются файлы теста и подписывается акт приемки/сдачи. Этот акт подписывается представителями учебно-методического отдела, лаборатории инструментальных систем моделирования и обучения, диспетчерского отдела и автором банка вопросов. После подписания акта файлы передаются в диспетчерский отдел для внесения в базу тестов.

В тех случаях, когда инструментальная система дорабатывается, новая версия также передается в диспетчерский отдел.

ТЕХНОЛОГИЯ РАЗРАБОТКИ ГЕНЕРАТОРОВ

Этапы создания генераторов те же самые, что в технологии создания компьютерных контрольных работ и экзаменов. Однако содержание некоторых этапов существенно отличается. Перечислим следующие отличия:

1. Принимается для реализации не банк вопросов, а банк шаблонов (заготовок). Каждый шаблон содержит описание генерируемого вопроса в соответствии с выбранной моделью.

2. На этапе анализа оцениваются возможности каждого шаблона по генерации вопросов, отсеиваются те, которые генерируют небольшое число вариантов или довольно трудоемки для программной реализации.

3. Выбирается система программирования. Это может быть СBuilder, VisualC и другие, которые создают DLL.

4. Создается программный образ генератора и производится тестирование и отладка генератора. Важным элементом отладки генератора является планирование тестирования, поскольку он может генерировать огромное число вопросов. Здесь предлагается поступить следующим образом: в тех случаях, когда общее число вопросов менее 100000, можно перечислить все вопросы, используя алгоритмы генерации по номеру; если общее число вопросов очень велико (см. пример 1 в главе 5, общее число вопросов ), то можно использовать случайную выборку в разумных пределах.

Опыт создания генераторов показал, что наиболее важной проблемой является проблема зацикливания, поскольку при создании генератора часто программируется случайная выборка параметров в цикле. Например:

генерировать(a);

цикл

генерировать(b);

пока(a>b)

Если границы изменения параметров a и b одинаковы, то при принятии a максимального значения цикл будет бесконечным. Данный пример очевиден, однако в реальной практике встречаются более сложные случаи. Выходом из данного положения являются:

1) ограничение числа итераций в цикле по счетчику или по времени и в случае зацикливания отказ от использования данного шаблона в данном процессе генерации;

2) использовать алгоритмы генерации по номеру вопроса и те номера, которые некорректны, записывать в список исключений.

5. Проверка готового генератора преподавателем также носит итерационный характер. Причем необходимо многократно запускать генератор и проверять сгенерированные вопросы.

В целом следует отметить, что создание генератора вопросов намного сложнее процесса создания теста из готового банка вопросов.

Размещено на Allbest.ru