Разработка инструментария для подготовки тестовых заданий

Анализ способов хранения и передачи контрольно-измерительных материалов. Проектирование и разработка редактора тестовых заданий. Предназначение и сущность системы дистанционного тестирования. Описание архитектуры студии компетентностных деловых игр.

Рубрика Программирование, компьютеры и кибернетика
Вид дипломная работа
Язык русский
Дата добавления 01.10.2016
Размер файла 1,5 M

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Оглавление

Введение

Глава 1. Анализ предметной области

1.1 Деловые игры

1.2 Компьютерные деловые игры

1.3 Архитектура студии компетентностных деловой игры

1.4 Стандарты систем дистанционного обучения

1.5 Системы дистанционного тестирования

1.6 Модель компетенции

1.7 Характеристики тестового задания

1.8 Выводы по главе

Глава 2. Описание функционала системы

2.1 Описание требований

2.2 Спецификация прецедентов

2.3 Диаграмма активностей

2.4 Выводы по главе

Глава 3. Проектирование и разработка редактора тестовых заданий

3.1 Инфологическая модель базы данных

3.2. Даталогическая модель базы данных

3.3 Разработка классов

3.4 Разработка интерфейса

3.5 Программная реализация редактора тестовых заданий

3.6 Выводы по главе

Заключение

Список сокращений и условных обозначений

Библиографический список

Приложение

Введение

Эффективность образовательной программы напрямую зависит от знаний, умений и навыков, которые остаются после обучения. Информация, полученная в процессе обучения, должна быть закреплена на практике. При этом, чем большее участие принимает обучаемый в процессе, тем лучше он усваивает материал. Однако стандартные методы обучения обеспечивают только теоретическую базу студента, а выработка практических навыков будет происходить уже в профессиональной среде. Современные образовательные и профессиональные стандарты предполагают, что у студентов в конце обучения будет выработан определенный набор компетенций, в том числе и профессиональных.

Повысить уровень компетенции студентов можно с помощью активных методов обучения, таких как симуляторы, тренинги и деловые игры. Деловая игра (ДИ) позволяет смоделировать реальную ситуацию по определённым правилам предметной области, что в свою очередь позволяет всем участникам быть вовлеченными в процесс обучения. В результате у обучающихся усваиваются не только знания и навыки, но и формируются компетенции, такие как «работа в команде», «ведение переговоров» или «лидерство». Проведение деловой игры в компании также позволяет сотрудникам выработать, проверить и закрепить профессиональные компетенции в «безопасной» обучающей среде, а не во время основной трудовой деятельности. дистанционный тестирование игра

Современные информационные технологии позволяют проводить компьютерную деловую игру. В отличие от традиционной игры, компьютерная может подстраиваться под каждого участника индивидуально. Персональные настройки дают возможность обучающимся проходить деловую игру в «своем темпе» и познакомиться с большим количеством ситуаций и их решений в условиях информационной неопределенности. Однако, такая деловая игра ограничивает общение и тормозит развитие компетенций, связанных с взаимодействием с другими людьми.

Для формирования и проверки компетенций в компьютерной деловой игре по различным предметным областям реализуется проект «Студия компетентностных деловых игр» (далее СКДИ). СКДИ - это информационная система для проектирования и проведения компьютерных деловых игр. Из-за высокой сложности СКДИ разбита на подсистемы, позволяющие управлять всеми стадиями проведения игры, в том числе проектированием ДИ, проведением ДИ, измерением компетенций, полученных участником в ходе игры, и анализом результатов игры.

Данное исследование будет проводиться в рамках подсистемы измерения СКДИ, которая дает возможность проверить сформированность компетенций с помощью контрольно-измерительных материалов. Без осуществления контроля над уровнем знаний, умений и навыков игрока невозможно оценить эффективность его обучения.

Для измерения компетенций в автоматическом режиме предполагается использование тестирования. Оно позволяет достаточно быстро и объективно проверить сформированные компетенции и подобрать индивидуальный план игры в зависимости от выявленных проблемных мест. Результаты тестирований наглядно представляют динамику развития компетенции у игрока, его проблемные места и возможные варианты их решения. Однако стоит учесть, что тестирование проверяет готовность участника к применению компетенций на практике, конечное формирование и закрепление же возможны только в ходе деловой игры, так как личностные качества (личностные компетенции) активно проявляются только в реальной ситуации.

Подсистема измерения СКДИ разделяется на три модуля: инструментарий для разработки тестов, модуль тестирования участников ДИ и модуль анализа результатов проведенного тестирования.

Инструментарий для разработки тестов предоставляет возможность создания и редактирования тестовых заданий и генерации тестов под каждое требование различных деловых игр.

Модуль тестирования участников осуществляет непосредственное тестирование участников с помощью созданных тестов, результаты которых передаются на обработку в модуль анализа.

Модуль анализа результатов тестирования предоставляет отчетность об усвоении компетенций участниками и эффективности деловой игры.

Основная проблема данного исследования заключается в создании тестовых заданий, проверяющих определенные компетенции.

Объектом исследования является система проведения автоматизированного тестирования.

Предметом исследования является редактор тестовых заданий.

Целью данного исследования является разработка инструментария для подготовки тестовых заданий для измерения компетенций в СКДИ.

Для достижения поставленной цели необходимо выполнить ряд задач:

1. Исследовать существующие стандарты представления материалов тестирования.

2. Проанализировать способы хранения и передачи контрольно-измерительных материалов.

3. Провести анализ существующих систем автоматизированного тестирования.

4. Исследовать существующие способы проверки компетенций.

5. Спроектировать редактор тестовых заданий.

6. Разработать прототип редактора тестовых заданий.

Глава 1. Анализ предметной области

1.1 Деловые игры

Впервые понятие деловой игры появилось в 30-х годах ХХ века в работах М.М. Бирштейн [1]. Автор предлагала использовать деловую игру для руководящего персонала при запуске новых проектов, как инструмент для проведения испытаний на качество новшеств организационного характера.

Первоначально деловые игры применялись военной сфере для подготовки офицерского состава. В 50-х годах успешное применение деловых игр для обучения служб снабжения армии привело к разработкам деловых игр экономической направленности.

В 1955 году в США и 1977 году в СССР были разработаны первые деловые игры с использованием ЭВМ. Впоследствии автоматизированные игры экономической направленности стали считаться перспективным направлением исследований. Большинство компьютерных деловых игр моделировали только определенную экономическую задачу. В то же время, были описаны принципы компьютерной деловой игры по управлению корпорациями.

В настоящее время на рынке существует множество разнообразных деловых игр, ориентированных на использование в учебном процессе в образовательных учреждениях среднего и высшего образования, а также - в условиях корпоративного обучения. Бизнес-школы создают или проводят индивидуальные проекты деловых игр, отвечающие на любые требования и цели заказчика для любой предметной сферы. Высшие учебные заведения используют деловые игры для целенаправленного преобразования абстрактной теории в практические навыки профессиональной среды [2].

Многообразие способов применения деловой игры привело к расширению границ определения деловой игры. Вербицкий А.А. дает следующее определение: «деловая игра - это форма воссоздания в образовательном процессе предметного и социального содержания профессиональной деятельности, моделирования систем отношений, характерных для данного вида труда» [3].

Зубрицкая Л.С. использует определение деловой игры, как практическое занятие, моделирующее различные аспекты профессиональной деятельности обучаемых и обеспечивающее условия комплексного использования имеющихся у них знаний предмета профессиональной деятельности [4].

Другой вид деловой игры с использованием компьютера определяется Cоловьевым И.В., как учебно-тренинговая форма подготовки (переподготовки) обучаемых, основанная на компьютерном имитационном моделировании условий и ролевых функций специалистов как при индивидуальной деятельности, так и в составе коллектива, с учетом компетенций, сформированных у обучаемых лекционно-семинарским методом [5].

Как можно увидеть из данных определений, деловая игра имеет ряд ключевых особенностей. Первое на что требуется обратить внимание, деловая игра - это модель профессиональной деятельности, учитывающая различные условия выполнения функциональных обязанностей. Во-вторых, это социальный характер игры, отражающий готовность обучающегося принять и полноценно отыграть заданную профессиональную роль. Третья особенность связана с тем, что обучаемые уже обладают необходимой базой для участия в игре.

Согласно Вербицкому А.А. деловая игра должна иметь следующие основные элементы:

1. Сценарий, определяющий правила прохождения этапов игры.

2. Профессиональная роль с трудовой функцией, выбираемая участниками в рамках рассматриваемой игры.

3. Этапы. Каждая игра должны быть разделена на несколько этапов развития игры.

4. Методы оценки результатов прохождения этапов и самой игры.

1.2 Компьютерные деловые игры

Компьютерная деловая игра (КДИ) отличается от обычной деловой игры моделью симуляции и методами оценки результатов. Особенностью КДИ является то, что она позволяет многократно моделировать реальные ситуации предметной области. Это способствует формированию компетенций участников КДИ. Современные КДИ чаще всего являются многопользовательскими системами, которые можно рассматривать как on-line среду для проведения ДИ.

Чаще всего КДИ являются интеллектуальными системами, которые способны предоставить участнику игры индивидуальную траекторию прохождения ДИ. Выстраивание такой траектории опирается на оценку и анализ результатов участника, получаемых им в ходе игры. Таким образом, возникает проблема оценивания участника игры. В качестве инструмента оценивания можно рассматривать тестирование участника игры. Современные КДИ предполагают возможность подключения к сторонним инструментам анализа и проведения контроля знаний. Экспорт/импорт файлов между системами позволяет расширить возможности для проверки способностей игроков.

1.3 Архитектура студии компетентностных деловой игры

В 2013 года кафедра информационных технологий в бизнесе разработала концепцию среды для проведения деловых игр для оценки уровня профессиональных компетенций обучающегося. Деловая игра создается на основе существующий бизнес планов предметной области [6].

Студия компетентностных деловых игр (рисунок 1.1) представляет собой связанные между собой проектные блоки, управляющие процессом проведения деловой игры от создания сценария в подсистеме проектирования до анализа результатов проверки усвоенного уровня компетенций, полученных в ходе игры.

Рисунок 1.1. Структурная схема СКДИ

Подсистема проектирования используется для создания сценария, целей и предметной области проводимой деловой игры. на основе исходных данных создаются необходимые контрольно-измерительные и методические материалы для проведения деловой игры.

Подсистема проведения непосредственно содержит средства для проведения игры среди ее участников, используя материалы, разработанные в предыдущей подсистеме.

Далее идут подсистемы мониторинга и анализа, служащие для сбора материалов игры и результатов игроков и его дальнейшего анализа. целью подсистемы анализа является вычисление качества методологического обеспечения и внесение рекомендаций в подсистеме корректировки для дальнейшего изменения правил самой игры.

Оценка уровня усвоенных профессиональных компетенций происходит в подсистеме измерения, позволяющей осуществлять подготовку контрольно-измерительных материалов (тестовых заданий и тестов), проводить тестирование участника игры и оценивать результаты тестирования. На рисунке 1.2. представлена структура подсистемы измерения СКДИ.

Рисунок 1.2. Взаимодействие частей подсистемы измерения СКДИ.

Подсистема измерения СКДИ включает:

1. Редактор тестовых заданий, который позволяет создавать и вносить изменения в тестовое задание и экспортировать их в банк тестовых заданий.

2. Генератор тестов служит для построения теста с заданными характеристиками такими как: тема, набор проверяемых компетенций, количество заданий и их сложность.

3. Модуль проведения тестирования, предназначенный для проведения тестирования и сохраняющий результаты.

4. Модуль анализа полученных результатов, обрабатывающий результаты тестирования для проверки качества теста и уровня усвоения материала.

1.4 Стандарты систем дистанционного обучения

В конце 90-х годов XX века начали разрабатываться стандарты и спецификации представления учебного контента (учебный материал, контрольно-измерительные материалы, базы данных и знаний, мультимедиа) в системах дистанционного обучения. Необходимость разработки таких стандартов продиктована неоднородностью информационных ресурсов образовательных информационных систем, что снижает эффективность их использования и ограничивает возможности для распространения. Соблюдение общих стандартов способствует развитию обмена и разработке методических материалов, включая контрольно-измерительные. На данный момент наибольшую популярность имеют несколько спецификаций [7]:

1. Sharable Content Object Reference Model (SCORM).

2. Instructional Management System от Global Learning Consortium (IMS).

3. Стандарт IEEE.

IMS и SCORM представляют собой международные средства по организации и хранению контента учебного курса. Удачные решения в подобных системах заимствуются другими системами. Например, в SCORM используется стандарт IMS CC для представления контента курса. Обе системы специфицирует учебный контент в формате XML, который позиционируется в настоящее время как формат обмена данными между образовательными системами.

Спецификация SCORM разрабатывалась под нужды министерства обороны США несколькими агентствами, что дало возможность создать независимый от конкретной учебной системы пакет с необходимым материалом. Другими словами, файл, созданный под данной спецификацией, представляет собой набор универсальных документов с возможностью настройки ограничения и порядка доступа к элементам учебного курса. Таким образом элемент курса становится автономным (не связанным с системой), что иногда может являться недостатком. Например, можно получить полную информацию о прохождении учебного курса, но не получить содержание данного курса [8].

Спецификации SCORM имеет всё необходимое для создания системы дистанционного обучения, предусматривающей только самостоятельное изучение представленного однотипного материала, который не предполагает внесение изменений после загрузки в систему. Выбор вариантов представления заданий для тестирования ограничен стандартным набором вопросов: 6 закрытых вопросов и 2 открытых. В связи с чем, возникает необходимость создания нескольких документов с различными типами данных или созданием нового обработчика документов под требования определенной системы для обучения. SCORM основан на формате XML.

Спецификация IMS в отличие от SCORM разрабатывалась под нужды высших учебных заведений и дистанционного образования. Формат хранения аналогичен спецификации SCORM. Отличие состоит в том, что в пакете хранятся не файлы, а ссылки на них. Данный способ хранения предоставляет больше возможностей по использованию файлов, по подключению дополнительных функций.

IMS Common Cartridge за счет хранения не документов, а ссылок на них расширяет сферу своего применения и позволяет ссылаться на сторонние ресурсы и приложения. Можно использовать только необходимые модули системы. В текущей работе нас интересует конкретный модуль: IMS Question&Test Interoperability (QTI) описывающий структуру представления задания, теста и соответствующей отчетности (рисунок 1.3.).

Рисунок 1.3. Структура модуля IMS QTI

Формат IMS QTI имеет более 30 вариантов представления тестового задания, включая классическое закрытое и открытое задание, а также возможность использование мультимедийных фалов и интерактивных элементов, таких как карты Google Earth [9].

1.5 Системы дистанционного тестирования

Системы дистанционного тестирования используются для удаленной проверки знаний тестируемых. Тестируемому предоставляется только экземпляр теста, все остальное, а именно хранение самого теста и результатов его прохождения, проверка результатов тестирования, осуществляется на сервере.

В зависимости от вида, системы тестирования можно разделить на несколько типов:

1. Системы для проведения опросов. Данные системы позволяют быстро создать тест-опрос с необходимым набором вопросов. При этом тест содержит собственную базу вопросов, не передающихся в другие тесты. Данные системы служат для сбора определённых данных и статистики, в основном не предполагают авторизацию пользователей.

2. Системы контроля знаний. Данные системы предполагают автономные сервисы по созданию тестов, проведению тестирования и анализу результатов. В системах уже может использоваться общая база тестовых заданий для создания и генерации тестов. В данных системах база заданий разбивается на секции по определенным темам, а затем формируется тест с заданным количеством вопросов из каждой секции.

3. Системы тестирования в системах дистанционного обучения (СДО). Редактор тестов является элементом системы и соответствует нуждам СДО. Тесты соответствуют определенным элементам курсов, имеют возможность задать условия запуска тестирования, все пользователи имеют авторизацию в системе, что позволяет анализировать прогресс каждого пользователя.

Малый масштаб систем и отрыв их от СДО привел к тому, что системы базируются на собственных разработках, не учитывая готовые спецификации представления тестов. Существующие спецификации предполагают использование в полноценной СДО с курсами и участниками, а также системами анализа не только систем контроля успеваемости студента, но ведение деятельности преподавателя. Подобные системы состоят из множества модулей, отвечающих за представление контента курса, и модуль тестирования интегрирован в другие модули. Данная модель представления курсов заставляет разработчиков систем тестирования или разрабатывать систему в уже существующей спецификации СДО или вовсе не использовать спецификации, так как они включают не используемые в системе тестирования элементы СДО. Однако большинство малых систем также разрабатывает модули для экспорта/импорта тестов в другие системы, в том числе и для систем, использующих спецификации.

Далее рассмотрим конкретные системы для проведения автоматизированного тестирования, а точнее редакторы тестов и тестовых заданий. Системы подбирались по следующим критериям: интерфейс поддерживает русский язык, есть возможность экспорта во внешний файл, а также являются наиболее популярными в России. Анализ возможностей систем проводился путём изучения документации и обзоров к системам, а также с использованием демо-версий продуктов, предоставляемых на сайтах компаний.

Первой мы рассмотрим систему Indigo (рисунок 1.4.) [10]. Данная система поставляется как многоязычный веб- сервис на определённый лимит единовременных подключений с бессрочной лицензией, и распространяется или как серверное приложение, или как облачный сервис. Indigo позволяет управлять базой данной тестируемых пользователей наравне с базой тестовых заданий.

Тестовые задания хранятся в группах, разделённых по темам. Данное разделение позволяет задавать правила проверки для всей группы заданий, а также задавать количество необходимых заданий из группы для использования в тесте. В тоже время существует возможность задать неограниченное количество правил оценок тестового задания для каждого созданного теста. Для самих тестов также существуют правила их проведения: указывается вид теста (обучающий - с выдачей пояснений и неограниченным временем, контрольный - проводится только один раз для каждого пользователя), время доступа (например, 25.04.2016 с 15:00 до 20:00).

Правила оценки могут задаваться, как в общем для теста, так и для каждой группы заданий в тесте. Шкала для оценки задается пользователем в процентном отношении набранных баллов за правильно выполненные задания к максимальной сумме баллов за тест (иными словами можно установить системы оценки зачет/не зачет, 5 балльную,10 балльную шкалу или любую другую шкалу). Indigo дает возможность вывести как статистику прохождения тестирования для каждого конкретного пользователя, так и результаты прохождения всех пользователей конкретного теста или задания. Тесты в системе могут импортироваться/экспортироваться из популярных систем СДО и из текстовых файлов формата TXT, DOC или XML, одновременно с этим можно распечатать тест на бумажном носителе.

Рисунок 1.4. Интерфейс для Подготовки тестов системы INDIGO

Далее рассмотрим продукт quizmaker от компании iSpring (рисунок 1.5) [11]. У компании также есть продукт по созданию электронных курсов Suite с такой же возможностью создания тестов. Программа распространяется по такой же подписке, как и Indigo, то есть по бессрочной подписке на каждую лицензию. Сам Quizmaker основан на шаблоне Microsoft PowerPoint и имеет подобный интерфейс. Структура теста построена аналогично предыдущей системе и основана на группе вопросов, для которых определены правила добавления в тест. Главным отличием системы Quizmaker от Indigo является возможность построения сценария ветвлений: в зависимости от ответа на задание или группу заданий меняются последующие списки заданий. Такой способ построения теста позволит выяснить проблемные места тестируемого или направить его в нужную сторону. Система позволяет установить следующие правила оценки: количество попыток ответить на данный вопрос, штрафные баллы за задание, установить минимальный проходной балл или задать баллы за частично верные ответы, также можно настроить уведомления на каждый вариант ответа.

Рисунок 1.5. Система тестирования QuizMaker

Quizmaker разрабатывался как кроссплатформенное веб-приложение, поэтому система может взаимодействовать с множеством систем СДО и выгружать тесты не только как XML файл, но также в формате HTML (веб-страница), EXE, FLASH или в стандартный документ WORD. Quizmaker поддерживает импорт тестов из таблиц EXCEL.

В отличие от вышеперечисленных систем, Mytest (рисунок 1.6) [12] имеет бесплатную и коммерческую версию. Mytest предоставляется только в настольной версии продукта без возможности тестирования через веб-браузер. Тест также как в предыдущих приложениях состоит из группы вопросов. Однако эти группы привязаны к определённому тесту и хранятся в одном файле, при этом в системе не используется база данных. При прохождении теста есть возможность создания подсказок к каждому заданию, а также установки максимального балла за прохождение задания. Система оценки позволяет установить шкалу от 2-х балльной до 100 бальной системы и минимальный процент накопленных баллов для каждого элемента шкалы.

Рисунок 1.6. Система тестирования MyTestPRO

Mytest это система, разрабатываемая в рамках проекта klyaksa.net для проведения тестирования школьников. В связи с этим система разработана под нужды данного проекта и поддерживает связанные с этим проекты. Система может импортировать TXT документы или тесты из систем Ассистент2, NetTest с предварительной конвертацией в шаблон XML. Аналогично с другими системами система позволяет создавать «бумажную» версию теста в документе WORD, или как приложение формата EXE. Существует также импорт/экспорт фалов из системы Moodle с такой же предварительной конвертацией шаблонов.

Проанализировав выше перечисленные системы подготовки тестов, выявим следующие критерии для их сравнения:

1. Количество поддерживаемых типов тестовых заданий.

2. Импорт тестовых заданий.

3. Экспорт тестовых заданий.

4. Установка правил оценки.

5. Установка времени прохождения.

Результаты сравнения систем по критериям, указанным выше, показаны в таблице 1.1.

Таблица 1.1. Сравнение аналогов

Критерии

Indigo

Quizmaker

MyTest

Количество поддерживаемых типов заданий

5

11

10

Импорт заданий

TXT, DOC

XLS

TXT

Экспорт заданий

DOC, RTF

DOC, HTML, FLASH

XML, DOC

Установка правил оценки тестовых заданий

Баллы за правильный ответ

За каждый ответ

Баллы за правильный ответ

Штрафной балл

За каждый ответ

Баллы за правильные ответы

Установка времени прохождения

-

+

+

В результате проведенного анализа было выявлено, что свойствами редакторов являются: возможность установки правил оценки тестовых задний, поддержка четырех типов вопроса (одиночный выбор, множественный выбор, открытый вопрос, последовательность) и возможность вывести «печатную» версию задания (форматы DOC, RTF, TXT). Дополнительные типы вопроса служат для задания более жестких правил оценки каждого задания.

Хранение тестов и тестовых заданий осуществляется в собственных форматах данных каждой системы тестирования. Однако, в системах предусмотрено сохранение контента в формате xml-документа, который обеспечивает возможность обмена учебным контентом между различными системами тестирования.

1.6 Модель компетенции

Как было сказано Вербицким А.А. необходимым условием для прохождения игры является уже сформированная теоретическая база, проверкой которой и должна заниматься подсистема измерения. В тоже время должна осуществляться проверка как закрепились знания у обучаемого в результате игры [3].

Основной оценкой результатов проверки должен служить уровень усвоенных компетенций. Тем не менее, компетенция - это комплексная характеристика, отображающая знания, умения, навыки личностные качества и стремления обучающегося. Для их проверки требуются определённые условия и ограничения, например, для проверки навыков требуется установить жесткие ограничения по времени, иначе можно говорить о проверке умений, а не навыков [13].

Полностью проверить компетентность человека с помощью только одного тестового задания зачастую очень сложно, и чаще всего невозможно. В связи с этим, на данном этапе разработки, тестовое задание будет проверять только часть компетенции, а именно знания и умения.

Компетенции в большинстве состоят из уникального набора элементов, в нашем случае из знаний и умений. Однако бывают такие знания и умения, которые присутствуют в нескольких компетенциях, например, умение вычислять определенный интеграл, может входить состав компетенций, связанных со статистикой, физикой, астрономией, и без данного умения невозможно полностью овладеть данными компетенциями.

С другой стороны, тест может содержать задание проверяющие несколько компетенций, или точнее сказать элементов компетенции, которые могут относиться к нескольким компетенциям, но в рамках тестирования нас будет интересовать только один вопрос: какую конкретную компетенцию мы проверим с помощью данного тестового задания.

Для того чтобы контролировать процесс подготовки к тестированию эксперту необходимо точно знать, что конкретно он проверяет данными заданиями. Получить данную информацию можно из матрицы покрытия компетенций (таблица 1.2).

Таблица 1.2. Матрица покрытия компетенций

Компетенция 1

Компетенция 2

Компетенция N

Знание 1.1

Знание 1.a

Умение 1.1

Умение 1.B

Знание 2.1

Знание 2.c

Умение 2.1

Умение 2.d

Знание 1.1

Знание N.1

Умение j.m

Умение N.m

Задание 1

Х

Х

Х

Задание 2

Х

Х

Задание 3

Х

Х

1.7 Характеристики тестового задания

Тестовое задание является источником для качественного теста. Именно от самого тестового задания зависит как будет отвечать тестируемый и как будет производиться оценка его результатов экспертом. Каждое задание в тесте формирует эффективность теста в целом для проверки усвоения материалов обучающего курса. Так качественные характеристики тестового задания имеют существенное влияние на дальнейшую работу по анализу результатов тестирования.

Главными элементами тестового задания являются:

1. Формулировка тестового задания.

2. Формулировка вариантов ответа на задание.

3. Пояснение к решению.

Основными характеристиками тестового задания являются:

1. Тип тестового задания.

2. Сложность задания.

3. Покрываемые элементы компетенции.

Формулировка тестового задания и ответов к нему является главным проблемным местом. В зависимости от неё может меняться смысл задания. Однако, цели эксперта также могут быть различными по данной причине формулировка задания может быть любой. Для однозначной интерпретации требований к выполнению задания к формулировке предъявлены ряд рекомендаций [14]:

1. Формулировка должны быть однозначной.

2. Предложения представлены в повествовательной форме.

3. Из формулировки должны быть исключены повторы, двойные отрицания и сленг.

Современные информационные технологии позволяют использовать все возможности мультимедиа, а также средств хранения и представления данных. Однако для проверки необходимых знаний чаще всего можно обойтись использованием 4 видов вопросов:

1. Выбор одного варианта ответа (рисунок 1.7 [15]).

Рисунок 1.7. Задание с выбором одного варианта ответа

2. Выбор нескольких вариантов ответа (рисунок 1.8 [15]).

Рисунок 1.8. Задание с выбором нескольких ответов

3. Соответствие блоков (рисунок 1.9 [11]).

Рисунок 1.9. Задание на установление соответствия

4. Правильный порядок ответов (рисунок 1.10 [15]).

Рисунок 1.10. Задание с установкой порядка ответов

Дополнительные виды вопросов служат для более точной оценки умений тестируемого и их можно преобразовать к первым 4 типам. Данные виды вопросов используют различные варианты представления вопроса и ответа к нему. Примером может служить вопрос, в котором на графическом поле необходимо найти элемент. Нажатие «мыши» на определенном участке поля засчитывается как ответ.

Сложность тестового задания устанавливает экспертом для оценки уровня знаний и умений проверяемыми задание: чем больше знаний и умений требуется для выполнения задания, тем выше сложность самого задания. Самыми популярными шкалами сложности являются шкалы «от 1 до 3» и «от 1 до 5». Так для выполнения задний 1 уровня сложности необходимы только базовые знания и умения студента, в тоже время для выполнения заданий самого высокого уровня от тестируемого требуется полноценные знания и умения выработанными входе обучения. В данной работе для оценки сложности тестового задания используется шкала «от 1 до 5».

В результате прохождения обучающего курса студент должен уметь находить решения в определённом ряде проблем, а не только в одной определенной ситуации. Так если студент решил одну задачу, то должен решить и другие, эквивалентные ей. Если студент не может решить несколько эквивалентных заданий, то можно говорить о том, что студент не освоил учебный материал.

Эквивалентными тестовыми заданиями считаются задания, проверяющие одинаковый набор знаний и умений, а также имеющие одинаковый уровень сложности. Эквивалентность тестовых заданий будет определяться автоматически в ходе сравнений параметров, описанных выше.

1.8 Выводы по главе

Деловая игра - это один из методов активного обучения, заключающийся в моделировании проблемной ситуации для закрепления способов ее решения на практике. Компьютерная деловая игра в отличие от «классической» предоставляет возможность многократного повторения прохождения игры, возможность автоматизировать процесс оценивания и анализа результатов игроков.

Международные стандарты обмена учебными материалами позволяют осуществлять обмен учебным контентом между системами обучения, включая системы автоматизированного тестирования.

Анализ программных аналогов - систем автоматизированного тестирования позволил выявить четыре основных типа тестовых заданий: одиночный выбор множественный выбор, последовательность, открытый вопрос.

Тестовое задание имеет следующие характеристики: тип задания, сложность, компетенции, порываемые эти заданием.

Каждая компетенция определяется набором элементов: знания, умения, навыки. В данной работе рассматриваются только знания и умения.

2. Описание функционала системы

Основная цель редактора тестовых заданий - создание банка тестов для проверки уровня определенных компетенций у участников деловой игры.

Процесс разработки редактора состоит из трех этапов: проектирование базы данных, проектирование пользовательского приложения и разработка приложения.

Для разработки приложения необходимо понять, как будет работать каждый из компонентов системы. Чтобы понять, как будут взаимодействовать элементы с пользователем и между собой, мы опишем модель системы с помощью UML диаграмм.

2.1 Описание требований

Опишем требования к редактору тестовых заданий:

1. Обеспечить добавление, редактирование и удаление тестового задания.

2. Обеспечить возможность добавления и редактирования компетенций.

3. Обеспечить возможность добавления и редактирования знаний и умений, связанных с компетенцией.

4. Обеспечить возможность добавления и редактирования разделов и связанных с ними тем.

5. Обеспечить привязку тестового задания к разделам и темам.

6. Обеспечить привязку тестового задания к компетенциям и элементам компетенций.

2.2 Спецификация прецедентов

Основной действующий субъект разрабатываемой системы является эксперт. Все требования выполняемые и связанные с субъектом можно разнести по прецедентам, представленным в таблице 2.1.

Таблица 2.1. Список требований и прецедентов

Требование

Прецедент

Создать тестовое задание для БТЗ

Создать тестового задания

Редактировать тестовых заданий находящиеся в БТЗ

Редактирование тестового задания

Поиск тестового задания для изменения или удаления

Поиск тестового задания

Удаление тестового задания из БТЗ

Удаление тестового задания

Редактирование предметной области тестового задания

Редактирование темы

Редактирование компетенций и их элементов

Редактирование элементов компетенции

Вывод матрицы покрытия

Вывод матрицы компетенции

Главной целью системы является создание банка тестовых вопросов. В связи, с чем основным прецедентом является «Создание тестовое задание», возникающий каждый раз, когда эксперту необходимо создать тестовое задание. Описание прецедента «Создание тестового задания» показано в таблице 2.2.

Таблица 2.2. Прецедент «Создание тестового задания»

Краткое описание

Прецедент дает возможность Эксперту создать тестовое задание для БТЗ

Актеры

Эксперт

Предусловия

На экране отображается форма редактора тестовых заданий

Основной поток

· Пользователь заполняет поле раздел тестового задания.

· Пользователь заполняет поле тему тестового задания.

· Пользователь заполняет поле Вид тестового задания.

· Пользователь заполняет поле Компетенций

· Пользователь заполняет поле Умений

· Пользователь заполняет поле Знаний

· Пользователь заполняет числовое поле Сложность.

· Пользователь заполняет поле Формулировки тестового задания.

· Пользователь заполняет поле Пояснение к решению.

· Пользователь заполняет поле Ответов, с указанием верного, в порядке их следования.

· Поле Раздел выбирается из списка Разделов.

· Поле Тема выбирается из списка Тем.

· Поле Вид выбирается из списка Видов.

· Поле Компетенции выбирается из списка Компетенций.

· Поле Умений выбирается из списка Умений, принадлежащий выбранной компетенции.

· Поле Знаний выбирается из списка Знаний, принадлежащий выбранной компетенции.

· При Заполнения всех полей, становиться доступной кнопка «сохранить».

· При нажатии на кнопку «сохранить», создается экземпляр класса тестового задания с заполненными полями и сохраняется в БТЗ.

· При успешном сохранении отображается сообщение о внесении тестового задания в БТЗ.

Альтернативные потоки

· В случае отсутствия необходимой для Эксперта раздела или темы, он может нажать кнопку «Редактировать тему», и перейдет к прецеденту «Добавление темы».

· В случае отсутствия необходимой для Эксперта компетенции или их элементов, он может нажать кнопку «Редактирование элементов компетенции», и перейдет к прецеденту «Редактирование элементов компетенции».

· В случае ошибочного формата данных в полях, должно выдаваться системное сообщение.

Постусловия

Тестовое задание сохранено в БД

Для дальнейшей работы с тестовыми заданиями, эксперту необходимо будет найти в банке тестовых заданий необходимое задание для редактирования или удаления. Описание прецедента «Поиск тестового задания» показано в таблице 2.3.

Таблица 2.3. Прецедент «Поиск тестового задания»

· Краткое описание

· Прецедент дает возможность Эксперту найти тестовое задание в БТЗ

· Актеры

· Эксперт

· Предусловия

· На форме отображается окно редактора тестовых задний

· Было произведено нажатие кнопки «поиск»

· Основной поток

· На экране отображается форма для заполнения параметров тестового задания

· При успешном поиске тестового задания в БТЗ, создается экземпляр класса тестового задания.

· Альтернативные потоки

· В случае отсутствия необходимого тестового задания, выдается сообщение о не удачном поиске.

· В случае ошибочного формата данных в полях, должно выдаваться системное сообщение.

· Постусловия

· Переход на форму редактора тестовых заданий

После нахождения необходимого тестового задания, эксперт может менять на форме редактора тестового задания интересуемые его поля, которые при изменении выделяются цветом. Описание прецедента «Редактирование тестового задания» показано в таблице 2.4.

Таблица 2.4. Прецедент «Редактирование тестового задания»

Краткое описание

Прецедент дает возможность Эксперту редактировать тестовое задание из БТЗ

Актеры

Эксперт

Предусловия

На форме отображается форма редактора тестового задания

Основной поток

· Эксперт нажимает кнопку «Поиск», для вызова прецедента «Поиск тестового задания».

· При успешном поиске тестового задания в БТЗ, объект отображается в форме тестового задания.

· При завершении редактирования эксперту требуется нажать кнопку «Сохранить изменения».

· При успешном сохранении тестового задания на БТЗ отображается сообщение о внесение изменении.

Альтернативные потоки

· В случае неудачного поиска (объект не найден) тестового задания в БТЗ, выдается сообщение об ошибке.

· В случае ошибочного формата данных или отсутствия значений в полях, должно выдаваться сообщение.

Постусловия

Изменения в тестовом задании сохранены в БТЗ

Аналогично с редактированием тестового задания, эксперт после нахождения интересуемого задания может удалить его с помощью нажатия кнопки «Удалить», которая вызывает соответствующий прецедент. Описание прецедента «Удаление тестового задания» показано в таблице 2.5.

Таблица 2.5. Прецедент «Удаление тестового задания»

· Краткое описание

· Прецедент дает возможность Эксперту удалять тестовое задание из БТЗ

· Актеры

· Эксперт

· Предусловия

· Нажата кнопка «Удалить»

· Основной поток

· Эксперт нажимает кнопку «Поиск», для вызова прецедента «Поиск тестового задания».

· При успешном поиске тестового задания в БТЗ, объект отображается в форме редактора тестового задания.

· При нажатии кнопки «Удалить», будет произведено удаление из БТЗ.

· При успешном удалении отображается сообщение об удалении.

· Альтернативные потоки

· В случае неудачного поиска (объект не найден) тестового задания в БТЗ, выдается сообщение об ошибке.

· Постусловия

· Перед экспертом появляется пустая форма редактора тестового задания.

· Тестовое задание удалено из БТЗ.

Если в процессе создания тестового задания эксперту необходимо создать новую или внести изменения в уже существующую тему связать ее с новым или существующим разделом, ему предоставляется такая возможность при нажатии кнопки «Редактирование тем» на форме редактора тестового задания. Описание соответствующего прецедента «Редактирование темы» показано в таблице 2.6.

Таблица 2.6. Прецедент «Редактирование темы»

· Краткое описание

· Прецедент дает возможность Эксперту создать тему или раздел

· Актеры

· Эксперт

· Предусловия

· Было произведено нажатие кнопки «Редактирование тем»

· Основной поток

· При нажатии кнопки открывается форма для редактирования темы

· На форме отображается Поле Раздел.

· на форме отображается поле для ввода, изменения формулировки раздел

· Поле Раздел выбирается из списка Разделов.

· На форме отображается Поле Темы.

· на форме отображается поле для ввода, изменения формулировки Темы

· Поле Темы выбираются из списка Тем, принадлежащих выбранному разделу

· При нажатии на кнопку «сохранить», информация сохраняется в БД.

· При успешном сохранении отображается сообщение о добавлении.

· Альтернативные потоки

· В случае ошибочного формата данных в полях, должно выдаваться системное сообщение.

· В случае отсутствия необходимого для Эксперта Раздела, он может ввести в поле Раздел новое значение или изменить уже существующее

· Постусловия

· Темы сохранены в БД

· Новый раздел сохранен в БД

Для просмотра проверяемых элементов компетенций каждым заданием, принадлежащих определенной теме, осуществляется с помощью прецедента «Вывод матрицы покрытия компетенций». Описание прецедента «Вывод матрицы покрытия компетенции» показано в таблице 2.7.

Таблица 2.7. Прецедент «Вывод матрицы компетенции»

· Краткое описание

· Прецедент дает возможность Эксперту просмотреть матрицу покрытия компетенций

· Актеры

· Эксперт

· Предусловия

· Нажата кнопка «Вывод матрицы»

· Основной поток

· Пользователь заполняет поле раздел тестового задания.

· Пользователь заполняет поле тему тестового задания.

· Поле Раздел выбирается из списка Разделов.

· Поле Тема выбирается из списка Тем.

· После заполнения параметров, если в БД есть подходящие тестовые задания, заполняется таблица

· Альтернативные потоки

· В БД отсутствуют тестового задания по выбранной параметрам

· Постусловия

·

Для редактирования и создания компетенции и связанных с ними знаний и умений, эксперт может вызвать соответствующий прецедент при нажатии кнопки «редактировать элементы компетенций». Описание прецедента «Редактирование элементов компетенции» показано в таблице 2.8.

Таблица 2.8. Прецедент «Создание элемента компетенции»

Краткое описание

Прецедент дает возможность Эксперту создать и редактировать компетенции и предлежащие к ней знания и умения

Актеры

Эксперт

Предусловия

Было произведено нажатие кнопки «Редактирование элементов компетенции»

Основной поток

· При нажатии кнопки открывается форма для редактирования элементов компетенции

· На форме отображается Поле Компетенция.

· На форме отображается Поле выбора типа элемента компетенции.

· На форме отображается Поле ввода для элемента компетенции.

· Поле Компетенция выбирается из списка компетенций

· При нажатии на кнопку «сохранить», информация сохраняется в БД.

· При успешном сохранении отображается сообщение о добавлении.

Альтернативные потоки

· В случае ошибочного формата данных в полях, должно выдаваться системное сообщение.

· В случае отсутствия необходимой для Эксперта компетенции, он может ввести новое значение компетенции в поле Компетенция

Постусловия

· Знания и умения внесены в БД

· Новая компетенция внесена в БД

Диаграмма прецедентов, представленная в Приложении А (рисунок А.1), служит для формирования общих требований к поведению проектируемой системы.

2.3 Диаграмма активностей

Диаграмма активности позволяет моделировать сложный жизненный цикл объектов, в особенности переход от одной деятельности объекта к другой [16]. При этом не показывает, каким образом выполняются или как осуществляется процесс передачи управления между действиями.

Процесс работы с приложением выполняется только экспертом, так, как только он обладает необходимыми компетенциями в предметной области. На рисунке 2.1 «Диаграмма активности системы» отображена работа реализуемой системы.

Рисунок 2.1. Диаграмма активности системы

В разрабатываемой системе эксперт работает с редактором тестового задания, в котором он может создавать, редактировать, удалять интересующие тестовые задания и просматривать матрицу проверяемых задание элементов компетенций.

Основной целью редактора является наполнение БТЗ тестовыми заданиями, которые в первую очередь необходимо создать. Таким образом мы переходим к процессу создания тестового задания для БТЗ (рисунок 2.2). Эксперт выбирает предметную область и проверяемые тестовым заданием компетенции и их элементы. Далее формируется само тестовое задание: его формулировка, тип, варианты ответов, сложность и по необходимости пояснение к решению или дополнительную справочную информацию.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Рисунок 2.2. Диаграммы активностей «Создания тестового задания» и «Поиска тестового задания»

Поиск заданий (рисунок 2.2) осуществляется выбором задания из списка попадающих под условия заполненных полей (раздела, тем, компетенций, элементов компетенции, сложности). После выбора задания система сгенерирует экземпляр класса тестового задания и отобразит его на форме «редактора тестовых заданий» для дальнейшего редактирования.

В ситуации, когда при создании тестового задания эксперту необходимы новые темы или элементы компетенции (рисунок 2.3), он может перейти на действия по добавлению необходимых тем к существующему или новому разделу, соответственно к новой или существующей компетенции.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Рисунок 2.3. Диаграмм активности создания новой Темы и Элемента компетенций

2.4 Выводы по главе

При проектировании функционала приложения использовались
UML-диаграммы вариантов использования и активности. Построение диаграммы вариантов использования позволяет выявить требования к функционалу приложения, отображая возможные роли и функции, выполняемые в системе с помощью прецедентов.

Диаграмма активности отображает поведение системы, порядок переходов из одной деятельности в другую. Данные диаграммы отображают необходимые функции для выполнения конкретной операцией.

3. Проектирование и разработка редактора тестовых заданий

3.1 Инфологическая модель базы данных

Инфологическая модель - семантическая модель предметной области с высоким уровнем абстракции. Другими словами, инфологическая модель базы данных является как моделью проектируемой базы данных, так и моделью предметной области, описанной с помощью информационных объектов или понятий и связей между ними. Вместе с этим модель также может включать описание информационных объектов: его допустимые значения и ограничения.

В данной работе главными информационным объектами являются:

1. Тест.

2. Тестовое задание.

3. Тема.

4. Компетенция.

5. Элемент компетенции (Знание и умение).

Каждый объект представляет собой элемент предметной области с интересующими нас атрибутами. В таблице 3.1 информационные объекты и соответствующие атрибуты:

Таблица 3.1. Информационные объекты и их атрибуты

Информационный объект

Атрибут

Тест

1. Название

2. Номера вопросов

Тестовое задание

1. Формулировка задания

2. Сложность

3. Ответы

4. Пояснения

5. Тип задания

6. Тематическая область

7. Проверяемые компетенции

8. Проверяемые знания/умения

Тема

1. Раздел

2. Название

Компетенция

1. Формулировка компетенции

2. Знания, содержащиеся в компетенции

3. Умения, содержащиеся в компетенции

Элемент компетенции

1. Формулировка Элемента компетенции

2. Задания, проверяющие Элемента компетенции

Далее построим модель отражающие связи между информационными объектами (рисунок 3.1):

Рисунок 3.1. Инфологическая модель БД

При проектировании сущностей и связей между ними получилось, что все они имеют связь много-ко многим. Рассмотрим причины данной связи между таблицами:

1. Связь «компетенция - элемент компетенции»: компетенции чаще всего состоят из уникального набора элементов, однако бывают такие базовые знания, которые входят в несколько компетенций, например, умение вычислять определенный интеграл входит в состав компетенций по геометрии, физике, статистике, астрономии, а знание таблицы химических элементов используется как в химии, так и в ядерной физике.

2. Связь «тестовое задание - элемент компетенции»: для решения тестовых заданий средней и высокой сложности испытуемому может понадобиться набор из нескольких знаний и умений. Так для решения заданий группы А1 из теста ЕГЭ по информатике необходимы знания системы счисления и правил перевода между системами счисления вместе с умением применять данные правила. В то же время, на другие тестовый задания из группы проверяют идентичный набор знаний и умений.

3. Связь «тестовое задание - тема»: в связи с развитием наук и ростом количества исследований на их стыке, одно задание может использоваться для проверки участника по нескольким тематическим областям.

4. Связь «тест - тестовое задание»: тест - это набор тестовых заданий из БТЗ, в тоже время тестовое задание может использоваться в нескольких тестах.

3.2 Даталогическая модель базы данных

Даталогическая модель базы данных - это инфологическая модель, описанная с помощью конкретной модели данных, например, с помощью реляционной модели базы данных. Данная модель разрабатывается с учетом специфики модели. В нашем случае, нам необходимо построить реляционную базу данных для SQL SERVER.

Инфологическая модель БД состоит из пяти сущностей со связями многие- ко- многим. Данная связь требует создания дополнительной таблицы-связки между ними. Таким образом у нас появляются таблицы-связки «Тест-Тестовое задание», «Тестовое задание - Темы», «Тестовое задание - Элемент компетенции» и «Компетенция - Элемент компетенции».

Далее приводя процесс нормализации БД, мы избавляемся от функциональных зависимостей внутри таблицы, повторяющихся строк и устанавливаем ключевые атрибуты в каждой таблице (таблица 3.2).

Таблица 3.2. Структура БД

9. Таблица

10. Атрибуты

11. Тестовое задание

12. Код Тестового задания

13. Код Типа задания

14. Формулировка задания

15. Сложность

16. Пояснение

17. Тип задания

18. Код Типа задания

19. Наименование типа

20. Ответ

21. Код ответа

22. Код тестового задания

23. Формулировка варианта ответа

24. Правильность

25. Тест

26. Код Теста

27. Наименование теста

28. Тестовое задание - Тест

29. Код группы

30. Код тестового задания

31. Код теста

32. Раздел

33. Код Раздела

34. Наименование раздела

35. Тема

36. Код темы

37. Код раздела

38. Наименование темы

39. Тестовое задание - Тема

40. Код группы

41. Код тестового задания

42. Код темы

43. Компетенция

44. Код компетенции

45. Наименование компетенции

46. Элемент компетенции

47. Код Элемента компетенции

48. Код Типа элемента

49. Наименова...


Подобные документы

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.