Модели, алгоритмы и комплекс программ оценивания знаний в интерактивной обучающей системе

Размещено на http://www.allbest.ru/

модели, алгоритмы и комплекс программ оценивания знаний в интерактивной обучающей системе

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

оценивание знание тестовый

Актуальность темы. Процессы глобализации, становление мирового информационного пространства, внедрение новых образовательных технологий изменяют подходы к решению традиционных вопросов образования. В последнее десятилетие остро строит проблема создания единого образовательного пространства. Ее решение требует внедрения обучающих систем в учебный процесс. Ряд известных коммерческих компаний разрабатывает высококачественные с точки зрения технических, программных, эргономических и других требований программные продукты учебного назначения, но не решает проблемы интерактивности, качественного оценивания знаний, широкого внедрения в образовательный процесс. Анализ данной области показал, что:

? современные обучающие системы в полной мере не используют современные технологии обучения, в частности технологии e-Learning, признанные европейскими образовательными учреждениями;

? в существующих обучающих системах отсутствуют готовые интерактивные, мультимедийные компоненты;

- не уделяется достаточного внимания задачам подготовки качественных тестовых заданий (ТЗ);

? отсутствует обобщенная модель, привязанная к существующему программному обеспечению, позволяющая ускорить процесс внедрения обучающих систем в учебный процесс.

Необходимость решения этих вопросов определили актуальность темы диссертационной работы, предопределили ее цель и задачи.

Исследованию задач разработки обучающих и тестирующих систем посвящены работы следующих российских учёных: В.С. Аванесова, Л.А. Александровой, Г.А. Атанова, А.И. и И.А. Башмаковых, В.П. Беспалько, П.Л. Брусиловского, В.И. Васильева, И.Х. Галеева, В.И. Гловы, Н.Ю. Добровольской, Л.Х. Зайнутдиновой, Л.В. Зайцевой, А.Д. Иванникова, Ю.В.Кольцова, Г.С. Курганской, А.Н. Майорова, Е.С. Полат, Л.А. Растригина, А.П. Свиридова, А.В. Соловова, Н.Ф. Талызиной, Т.Н. Тягуновой, М.Б. Челышковой и др. Зарубежный опыт по проблемам электронного обучения представлен в исследованиях таких авторов, как H. Bцcker, P. De Bra, R. Glaser, G.J. Houben, B. Holtmerg, C. Kaplan, M. Keane, M. Kiyama, A. Kobsa, A.A. Lumsdaine, P. Miller, L. Pesin, E. Rich, S. Ritter, J. Self, B. Skinnery, G. Weber и др.

Объектом исследования являются технологии разработки информационных обучающих и тестирующих систем, используемых в учебном процессе технических вузов.

Предметом исследования являются методы, модели, алгоритмы для автоматизации создания обучающих систем.

Целью работы является повышение качества оценивания знаний обучаемого.

Научная задача работы заключается в разработке обобщенной модели интегрированной интерактивной обучающей системы, метода и алгоритмов оценивания знаний, комплекса программ оценивания тестовых заданий.

Достижение поставленной цели и задачи потребовало решения следующих вопросов:

- анализа моделей создания интерактивных обучающих и тестирующих систем;

- разработки обобщенной модели интегрированной интерактивной обучающей системы, модели интерактивной подсистемы оценивания знаний, конечно-автоматной модели выработки интерактивных воздействий;

разработки метода оценивания знаний;

- разработки алгоритмов определения веса ТЗ, оценивания корректности тестового материала, сценариев тестирования;

- создания и реализации комплекса программ оценивания тестовых заданий.

Методы исследований. Для решения поставленной задачи в диссертационной работе использовались: методы и технологии математического моделирования, численные методы, теория вероятности и математической статистики, теорий множеств, алгоритмов, распознавания образов, кластерного анализа.

Достоверность полученных результатов обоснована корректными теоретическими положениями, сравнением с результатами других авторов, проведением экспериментальных исследований с применением математических методов для количественной оценки полученных результатов и их качественной интерпретации, внедрением результатов работы.

Научная новизна работы заключается в следующем:

- разработаны обобщенная модель интегрированной интерактивной обучающей системы и модель интерактивной подсистемы оценивания знаний;

- предложена конечно-автоматная модель выработки интерактивных воздействий;

- предложен численный метод оценивания знаний «Штрафов и поощрений»;

- разработаны алгоритмы определения веса тестового задания, оценивания корректности тестового материала и комплекс программ.

Теоретическая значимость работы заключается в разработке моделей интегрированной интерактивной обучающей системы (ИИнОС) и интерактивной подсистемы оценивания знаний, конечно-автоматной модели выработки интерактивных воздействий, а также в разработке метода оценивания знаний.

Практическая ценность работы заключается в реализации на основе предложенных алгоритмов комплекса программ оценивания корректности тестового материала и определения веса тестовых заданий.

Публикации. Содержание диссертационной работы отражено в 27 работах, из них 2 статьи в журналах, рекомендованных ВАК РФ, 4 статьи и 21 работа в материалах и трудах конференций.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на: международных научно-практических и научно-методических конференциях «Инновационное образование в техническом университете» г. Казань, 2004г.; «VIII Королевские чтения» г. Самара, 2005г.; «Информационная культура в системе подготовки будущего инженера» г. Нижнекамск, 2006г.; «XIV Туполевские чтения» г. Казань, 2006г.; «Информационные технологии в науке, образовании и производстве», г. Казань, 2007г; «Инфокоммуникационные технологии глобального информационного общества» г. Казань, 2007г., 2008г.; «XV Туполевские чтения» г. Казань, 2007г.; «Наука и профессиональное образование» г. Нижнекамск, 2007г.; «Технологии электронного обучения в современном вузе» г. Минск, 2008г.; «Наука и профессиональная деятельность» г. Нижнекамск, 2008г.; «XVI Туполевские чтения» г. Казань, 2008г.; «XXXIV Гагаринские чтения» г. Москва, 2008г.; «Проблемы техники и технологий телекоммуникаций ПТиТТ-2008» г. Казань, 2008г.

Реализация результатов работы. Результаты проведенных исследований:

? внедрены в учебный процесс КГТУ им. А.Н. Туполева и используются при подготовке тестовых заданий преподавателями кафедры СИБ;

? прошли успешную апробацию и внедрены в учебный процесс ЧОУ ВПО Институт экономики, управления и права г. Казань;

? используются при оценивании тестового материала в Региональном учебно-информационном центре «ОБРАЗОВАНИЕ».

Пути дальнейшей реализации результатов работы. Созданный комплекс программ планируется использовать в составе интегрированных интерактивных обучающих систем, как инструмент преподавателя для формирования тестового банка и оценивания знаний обучаемого.

На защиту выносятся:

? функциональные модели интегрированной интерактивной обучающей системы и подсистемы оценивания знаний;

? конечно-автоматная модель выработки интерактивных воздействий;

? метод оценивания знаний;

? алгоритмы определения веса тестового задания и оценки корректности тестового материала;

? комплекс программ оценивания тестовых заданий.

Структура и объём диссертации. Диссертация изложена на 148 страницах машинописного текста, содержит 75 рисунков, 34 таблицы, состоит из введения, четырёх глав, заключения, списка использованной литературы из 180 наименований на 17 страницах.

Личный вклад автора состоит в следующем:

? выполнен анализ структур обучающих систем, их наполнения и технологий реализации;

? разработана обобщенная модель интегрированной интерактивной обучающей системы;

? разработана модель интерактивной подсистемы оценивания знаний;

? предложена конечно-автоматная модель выработки интерактивных воздействий;

? разработаны алгоритмы оценивания знаний, оценивания тестового материала;

? реализован комплекс программ оценивания тестовых заданий.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертации, формулируются объект, предмет, цель и задача исследования, отмечены методы исследования, достоверность и новизна полученных результатов, их теоретическая значимость и практическая ценность, приведены данные о публикациях, апробации и реализации результатов, сформулированы научные положения, выносимые на защиту. Приведены данные о структуре и объеме диссертации, дается краткий обзор диссертации по главам.

В первой главе определяется роль обучающих систем в современных электронных образовательных ресурсах. Анализируются функциональные возможности существующих обучающих систем, их модели, методы и средства моделирования. Выявляются преимущества и недостатки инструментальных средств создания обучающих систем.

Анализ современных обучающих систем показал, что современные системы не совершенны и выявил необходимость универсальной обобщенной модели интерактивной обучающей системы, а также моделей, алгоритмов, программного обеспечения интерактивного оценивания знаний.

Во второй главе предлагается обобщенная модель ИИнОС, разработанная на основе компонентного подхода. Определена структура ИИнОС. Дано теоретико-множественное и функциональное представление модели ИИнОС. Продемонстрирована обобщающая роль предложенной модели и ее связь с существующими моделями обучающих систем.

В данной работе будем использовать термин «компонент», в виду его функциональной самостоятельности и возможности работы. Под компонентом понимается модуль, пакет или подсистема, выполняющие определенные функции. Каждый компонент разрабатывается по принципу «черного ящика», имеющего входные и выходные параметры.

Модель интегрированной интерактивной обучающей системы построена на основе компонентов , параметров, определяющих ИИнОС и процедур для формирования компонентов , где - индивидуальные параметры обучаемого, - эталонные образы обучаемых, - тестовые задания, - банк методик диагностирования обучаемого, - параметры сценария обучения, - параметры сценария тестирования, - выходной параметр системы (результат оценивания знаний).

При теоретико-множественном представлении компонентов выходные параметры одного компонента могут быть входными для другого. В работе входные и выходные параметры обозначены одинаковыми символами (): - входные параметры, - выходные параметры.

Модель компонента исследования необходима для определения индивидуальных характеристик обучаемого () и дальнейшей адаптации процесса обучения и тестирования под возможности обучаемого. В модели задействованы первоначальные данные об обучаемом () и множество существующих методик диагностирования (). Компонент принимает решение о принадлежности обучаемого к эталонным образам (), на основе его индивидуальных характеристик (), которое выполняется с помощью решающих правил (). Реальный класс обучаемого () может быть пересмотрен с помощью интерактивного воздействия , вырабатываемое компонентом . Модель компонента формирования контента , работает с выходными параметрами компонентов , , , . Контент () ИИнОС получается на основе класса обучаемого (), учебного материала () и сценария обучения (). Контент корректируется интерактивными воздействиями (). Модель компонента обучения работает со сценариями обучения (), с контентом (), сформированными под определенный класс обучаемого (). Все состояния и параметры обучаемого в процессе обучения (), фиксируются компонентом . Процесс обучения корректируется интерактивными воздействиями (). В процессе обучения обучаемый приобретает различные виды знаний (). Знания оцениваются с помощью компонента оценивания методом (), по сценарию тестирования () на основе корректных ТЗ () с учетом параметров качества и интерактивных воздействий (). В результате оценивания определяется показатель знаний (), который может быть представлен традиционной оценкой, бально-рейтинговой оценкой или профилем обучаемого. В данной работе компонент оценивания представлен в виде конечно-автоматной модели и рассмотрен в главе 3. Основной компонент предложенной модели ИИнОС - компонент интерактивности , который вырабатывает интерактивные воздействия () на процесс обучения, тестирования и оценивания, формируемые на основе состояний обучаемого (), хранимых компонентом . Модель компонента сценария обучения представляет собой обобщенный алгоритм формирования сценария обучения , учитывающий все возможные параметры () процесса обучения. Компонент анализа тестового материала формирует корректные ТЗ () на основе исходных ТЗ () и алгоритма оценки корректности ТЗ (). Алгоритм оценки корректности ТЗ представлен в главе 3. Модель компонента сценария тестирования представляет собой обобщенный алгоритм формирования сценария , учитывающий все возможные параметры () процесса тестирования и процедуру выбора сценария тестирования (). Модель компонента репозитория работает с компонентами , , и фиксирует состояния () системы, параметры обучаемого, в т.ч. приобретенные знания () в процессе обучения.

Функциональная модель ИИнОС в нотации IDEF0 представлена на рис.1. В диссертации модель детализирована до 4 уровня иерархии и содержит 19 диаграмм.

Рис.1. Основная диаграмма функциональной модели ИИнОС

Функциональная модель в нотации IDEF0 отражает три основные функции: подготовка к обучению, обучение и оценивание знаний. В модели отражены входные, выходные параметры, управляющие и исполнительные механизмы. Исполнительными механизмами модели ИИнОС традиционно являются: преподаватель, обучаемый, тестолог - специалист по тестовым технологиям и интерактивная обучающая система. Входными параметрами являются: исходные данные об обучаемом, методики диагностирования, параметры сценариев тестирования и обучения, которые определяются преподавателем из созданных банков сценариев. Эти входные параметры подготовить преподавателю не составляет особого труда, пользуясь готовыми методиками и банками сценариев тестирования и обучения, которые можно сформировать на основе обобщенных алгоритмов, предложенных в главе 3. Управляющие механизмы можно поделить на два класса - это традиционные механизмы управления: ФГОС, учебный план, учебная программа и механизмы, необходимые для организации интерактивного обучения и качественного тестирования: модель выработки интерактивных управляющих воздействий, предложенная в данной работе и критерии к ТЗ. Выходным параметром модели является показатель приобретенных знаний, который выражается либо традиционной оценкой, либо бально-рейтинговой оценкой или профилем обучаемого.

Предложенная модель ИИнОС обобщает наиболее значимые существующие модели процесса обучения. В модели ИИнОС большое внимание уделено компоненту интерактивности и новому подходу к оцениванию знаний, на основе предложенного метода «Штрафов и поощрений» (ШиП).

В третьей главе модель интерактивной подсистемы оценивания знаний (ИПоЗ), разработана на основе предложенных алгоритмов и метода оценивания знаний, алгоритма определения качества ТЗ, обобщенного алгоритма сценария тестирования. Дано автоматное и функциональное представление модели ИПоЗ. Определена структура ИПоЗ. Предложена конечно-автоматная модель выработки интерактивных управляющих воздействий на весь обучающий процесс: процесс обучения, тестирования, оценивания знаний.

В настоящее время наиболее распространенной технологией оценивания знаний является тестовая технология. Качество оценивания знаний определяется методами оценивания, качеством тестового материала, моделью оценивания знаний, степенью ее интерактивности. Наряду с автоматной моделью ИПоЗ, представленной в диссертации, разработана функциональная модель ИПоЗ. Функциональная модель ИПоЗ (рис.2) детализирует процесс А3 диаграммы А0 представленной на рис. 1.



Рис. 2. Основная диаграмма функциональной модели ИПоЗ

Основное преимущество предложенной модели ИИнОС заключается в компоненте интерактивности. Современная обучающая система должна быть гибкой. Гибкость системы, отклик на различные отклонения от типового сценария обучения, тестирования, должен выражаться в реакциях системы, в качестве интерактивных воздействий. В работе компонент представлен в виде конечно-автоматной модели выработки интерактивных воздействий: , где - конечное множество внутренних состояний, , - множество входных сигналов, - множество выходных сигналов, - функция перехода, - функция выхода. Данная модель представлена в виде конечного автомата на рис. 3.

Рис. 3. Граф автомата интерактивности

В конечно-автоматной модели выработки интерактивных воздействий приняты следующие обозначения: - обучение; - самоаттестация по теме N; - неудовлетворительный результат самоаттестации; - удовлетворительный результат самоаттестации; - отнесение обучаемого к другому классу; - формирование нового контента; - оценивание знаний; - вычисление оценки знаний; - завершение процесса обучения с удовлетворительным результатом; - рекомендации к повторному обучению по темам; - рекомендации по дополнительной проработке тем; - завершение процесса обучения с неудовлетворительным результатом; - признание итоговой оценки знаний; - рекомендации по прохождению дополнительного оценивания; - оценка ; - принятие решения преподавателем; - определение количества попыток самоаттестации по теме N; - проверка ограничений на количество попыток самоаттестации; - допустить к итоговому оцениванию; - пройти повторное обучение; - признать итоговую оценку знаний; - провести дополнительное оценивание знаний; - сформировать новый контент; - завершить процесс самоаттестации по теме N с неудовлетворительным результатом; - пройти самоаттестацию по теме N; - завершить процесс обучения с неудовлетворительным результатом; - завершить процесс обучения с удовлетворительным результатом; - подтвердить результаты аттестаций; - пересмотреть решение об идентификации образа обучаемого; - возврат к обучающему материалу для подготовки к повторному оцениванию знаний; - дополнительно проработать темы N; - завершить процесс оценивания знаний; - вывести рекомендации по дополнительной проработке тем N; - вывести рекомендации по повторному прохождению тем N; - вывести рекомендации по прохождению дополнительного оценивания; - вывод оценки знаний; - уменьшить количество попыток самоаттестации по теме N; - проверить ограничение на количество итераций самоаттестации темы N; - утверждение преподавателем решения интерактивной обучающей системы;

, , , , , , , , , , , , , , , , , , , , , , , , .

Качество оценивания знаний определяется качеством тестового материала, гибкостью сценариев тестирования и достоверностью метода оценивания знаний. В данной работе для определения качества тестового материала предложен алгоритм оценивания корректности ТЗ.

Алгоритм оценки корректности ТЗ. В основу алгоритма заложен набор параметров оценивания ТЗ , сформированных на существующих критериях к программно-дидактическим материалам и технологиям компьютерного тестирования и решающие правила отнесения ТЗ к классам корректных и некорректных тестовых заданий, соответственно. Основными параметрами оценивания ТЗ являются: корректность формулировки вопроса, ответа ТЗ, соответствие ТЗ предметной области и др. Алгоритм сводится к следующим шагам.

- Преподаватель подготавливает множество ТЗ , выбирает из предложенного набора параметров, те , по которым будет оцениваться корректность ТЗ.

- Для каждого определяется значение параметров .

- С помощью определяются корректные и некорректные ТЗ.

- Выдаются рекомендации преподавателю по модификации некорректных ТЗ.

В основу метода оценивания знаний ШиП заложены весовые коэффициенты ТЗ. Алгоритм определения весовых коэффициентов ТЗ основан на весах сложности содержания ТЗ и весах сложности формы ТЗ. В общем виде, вес ТЗ () определяется:

,

где - весовой коэффициент уровня сложности класса ТЗ, - вес сложности содержания ТЗ, - вес формы ТЗ, .

Вес сложности содержания ТЗ определяется по следующему алгоритму:

a) каждое ТЗ классифицируется преподавателем-экспертом по степени сложности, т.е. исходное множество разбивается на классы простых (), сложных ТЗ () и ТЗ средней сложности ();

b) элементы каждого класса упорядочиваются по степени сложности в соответствии с процедурой упорядочения (рис. 4);

c) упорядоченные ТЗ ранжируются: каждому ТЗ класса , , присваивается свой ранг:

d) , , ,

e) - количество элементов в классе , - шаг приращения, - минимальная и максимальная градации в классе ,

, n - количество градаций в классе , , ;

определяются весовые коэффициенты классов ТЗ , ;

f) вычисляется вес сложности содержания ТЗ, .

Вес формы ТЗ () определяется на основе сложности формы ТЗ и сложности конструкции ответов формы ТЗ , где - j-ая форма ТЗ. Значение параметра определяется экспериментальным путем. Значения параметра определяются методом анализа иерархий.

Рис. 4. Схема процедуры упорядочения тестовых заданий

Большинство известных методов оценивания знаний проверяют правильность ответа на ТЗ, путем сравнения с эталоном (под эталоном понимается правильный ответ на ТЗ). Предложенный метод ШиП, построен на следующих параметрах: - вес сложности содержания ТЗ, - вес формы ТЗ, - вес уровня сложности класса ТЗ, - параметр качества ответа на ТЗ. Параметр оценивается 4 градациями: правильный ответ на ТЗ, неполный правильный, ложный и случайный.

«Правильный» ответ - это полное совпадение с эталоном и соответствует истинному знанию (ИЗ). Градация «неполный правильный» соответствует ситуации, когда в ответе обучаемого нет неверных вариантов ответов (элементов), но ответ обучаемого является неполным. Такую ситуацию будем называть неполным знанием (НП), . «Ложный ответ» (ЛЗ) - это отсутствие правильных элементов в ответе обучаемого. «Случайный ответ» включает правильные и ложные элементы в ответе обучаемого на ТЗ и характеризует случайный выбор ответов ТЗ. Случайный ответ говорит о неподготовленности обучаемого и отсутствии знания, т.е. о незнании (НЗ).

Метод ШиП вводит для оценки ответа на ТЗ такие градации как: правильный ответ на ТЗ, неполный правильный, ложный, случайный и отказ от ответа на ТЗ. На основе данных градаций определяется общая оценка за тест. Продемонстрируем данный метод на ТЗ закрытой формы с несколькими вариантами правильных ответов. Оценка определяется на основе параметров .

Значение параметра определяется:

; , для

где - ответ обучаемого на ТЗ, - эталонный ответ на ТЗ, - весовой коэффициент ТЗ, - значение свободного параметра. Параметр отражает количество правильных ответов и обычно определяется положительной величиной.

При определении параметров и вводится понятие «штраф», под которым понимается отрицательное значение, назначаемое за неправильный или случайный ответ, указанный обучаемым при выполнении ТЗ. “Штраф” также распространяется на элемент «ловушка» (), указанный обучаемым при ответе на ТЗ. Некоторые варианты неправильных ответов ТЗ могут содержать «ловушки» и попадание в «ловушку» влечет больший штраф.

, ,

, ,

где - “штраф” за случайный ответ на ТЗ, - количество ложных элементов в ответе на ТЗ, , , - свободные параметры, размер “штрафа”.

При определении вводится понятие «поощрение», под которым понимается положительное значение, назначаемое за «неполный правильный» ответ на ТЗ.

, , ,

где - “поощрение” за неполный правильный ответ на ТЗ, - количество правильных элементов в неполном ответе на ТЗ, - свободный параметр, размер “поощрения” за каждый правильный элемент ответа на ТЗ. В неполном правильном ответе на ТЗ недопустимо наличие ложных вариантов ответов.

При отказе от ответа на ТЗ () баллы не начисляются, .

Значения свободных параметров будут определены экспериментальным путем в главе 4.

Итоговая оценка за тест с помощью метода ШиП определяется следующим образом:

- определяется общее время тестирования;

- определяются значения параметров: , , , , ;

- вычисляется итоговая оценка ;

- оценка масштабируется в , в соответствии с максимальным количеством баллов , которые может получить обучаемый за аттестацию,



где, - максимально возможное количество баллов, за которые выставляется наивысшая оценка;

- определяется традиционная оценка в соответствии с граничными значениями параметров , определяемых экспертным путем;

- определяется профиль обучаемого.

Данный метод предполагает определение профиля обучаемого на основе параметров , , , . Задача определения профиля обучаемого сводится к построению реальных классов обучаемых, решение которой будет рассмотрено в 4 главе.

В четвертой главе проведено экспериментальное исследование качества предложенной модели оценивания знаний. Введены показатели качества оценивания знаний, выявлены параметры, влияющие на эти показатели и определены их экспериментальные зависимости. Показано, что предложенный метод ШиП позволяет выявить четыре профиля обучаемых. Описывается структура и реализация комплекса программ для оценивания ТЗ.

В работе для оценивания качества предложенной модели введены показатели: время тестирования (), процент обучаемых, успешно справившихся с ТЗ (), чувствительность к профилю обучаемого (). Проведено экспериментальное исследование зависимости предложенных показателей от корректности ТЗ, формы ТЗ, количества и вида градаций ответа на ТЗ. В эксперименте участвовали 450 - 500 обучаемых института ТКиИ, КГТУ им. А.Н. Туполева.

Корректность ТЗ определялась критериями . Полученные результаты представлены на рис. 5, 6. Из рис. 5 видно, что наиболее значимыми критериями корректности являются и (ТЗ, в котором длина вопроса больше двух и трех строк) Увеличение показателя в среднем на 74,5% дает сокращение длины вопроса ТЗ до одной строки. Существенное повышение показателя дает исключение нестрогих слов в формулировке ТЗ (критерий ) - увеличивается на 17%. Меньше всего дает изменение показателя критерий (присутствие в ТЗ слов повелительного наклонения) - на 6%, что говорит о не значительности данного критерия. После корректировки ТЗ значение увеличивается в среднем на 32%.

Рис. 5. Зависимость результата тестирования от корректности ТЗ

Рис. 6. Зависимость времени тестирования от корректности ТЗ

На рис. 6. показано время, затрачиваемое на тестирование до корректировки ТЗ (28 мин.) и после корректировки (21 мин.). Улучшение показателя в 1,33 раза происходит за счет корректного тестового материала.

В работе исследовано влияние форм ТЗ на качество оценивания. Определены веса сложности форм ТЗ (рис. 7). Гистограмма показывает, что наименьший вес имеет закрытая форма ТЗ с одним вариантом правильного ответа, наибольший вес - форма ТЗ на упорядочивание. В работе показано, что градации, введенные в метод ШиП (OP, ON, OL, OS, OT) позволяют выявить 4 профиля обучаемых. Графическое изображение профилей показано на рис. 8, где OP - процент правильных ответов обучаемого, ON - процент неполных ответов, OL - процент ложных ответов, OS - процент случайных ответов, OT - процент отказов от ответа на ТЗ.

На основе экспериментальных данных определены свободные параметры , используемые в методе ШиП (=0,56, =0,49, =0,39).

В данной работе разработан комплекс программ оценивания ТЗ, в основу которого заложены алгоритмы оценки корректности ТЗ и определения веса тестового задания. Структура комплекса программ представлена на рис. 9.

Комплекс программ разработан для решения задач:

- анализа банка тестовых материалов на соответствие критериям;

- выработки рекомендаций по модификации ТЗ;

- определения общего весового коэффициента ТЗ.

Рис. 7. Гистограмма распределения весов сложности форм ТЗ

Рис. 8. Диаграмма профилей обучаемого

Рис. 9. Структурная схема комплекса программ

В заключении диссертационной работы сформулированы научные результаты, полученные в ходе её выполнения, намечены направления перспективных исследований.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Результатом исследования является научно-обоснованная разработка моделей, численного метода и алгоритмов оценивания знаний, комплекса программ, имеющих существенное значение для различных отраслей знаний, использующих информационные системы.

1. Проведен анализ моделей и методов моделирования обучающих систем. Обоснована необходимость разработки обобщенной модели интегрированной интерактивной обучающей системы. Выбран компонентный метод моделирования ИИнОС.

2. Разработана обобщенная модель ИИнОС, представленная в теоретико-множественном и функциональном виде. Разработана модель интерактивной подсистемы оценивания знаний, представленная в автоматном и функциональном виде. Функциональная модель ИПоЗ детализирована до 4 уровня иерархии и содержит 15 диаграмм в нотации IDEF0. Детализация данной модели облегчит процесс реализации обучающей системы. Разработана конечно-автоматная модель выработки интерактивных управляющих воздействий на процесс обучения, тестирования и оценивания знаний. Применение данной модели позволит корректировать обучающий процесс в соответствии с результатами оценивания знаний, адаптируя тем самым процесс обучения под возможности обучаемого и требования преподавателя.

3. Предложен численный метод оценивания знаний - метод «Штрафов и поощрений», который основан на весе сложности содержания ТЗ, весе формы ТЗ, весе уровня сложности класса ТЗ, количестве и видах градаций ответов на ТЗ. В основу метода ШиП заложены свободные параметры, которые определяются экспериментальным путем. Предложенный метод позволяет выявить профиль обучаемого (выявлено 4 профиля). Отнесение обучаемого к конкретному профилю позволяет прогнозировать и определять дальнейший процесс обучения, выявлять слабых обучаемых, корректировать и направлять процесс повышения знаний.

4. Разработан алгоритм определения общего веса ТЗ, в основу которого заложены алгоритмы определения веса сложности ТЗ на основе метода попарных сравнений и алгоритм определения сложности формы ТЗ, основанный на методе анализа иерархий. Предложенный алгоритм заложен в основу комплекса программ оценивания ТЗ и позволит облегчить трудоемкий процесс оценивания преподавателем сложности ТЗ. Разработан алгоритм оценки корректности тестового материала, положенный в основу комплекса программ, что позволяет автоматизировать процесс оценивания корректности ТЗ и получать рекомендации по модификации ТЗ. Разработан обобщенный алгоритм сценариев тестирования, учитывающий все возможные параметры процесса тестирования.

5. Разработан и реализован комплекс программ оценивания тестового материала на корректность и определения веса ТЗ. Разработанный комплекс программ позволяет сократить время подготовки тестового материала, модифицировать ТЗ на основе выданных рекомендаций, включать в процесс тестирования корректные ТЗ, что приводит к сокращению времени тестирования и увеличению процента правильных ответов на ТЗ, облегчить трудоемкий процесс определения веса ТЗ.

Проведены экспериментальные исследования по определению качества оценивания в зависимости от параметров корректности ТЗ, сложности формы, количества и видов градаций ответов на ТЗ. Использование корректных ТЗ позволяет сократить время тестирования на 25%, увеличить процент правильных ответов на ТЗ. Так за счет сокращения длины формулировки вопроса ТЗ значение показателя “процент обучаемых, успешно справившихся с ТЗ” увеличивается на 79%, за счет удаления размытых формулировок “процент обучаемых, успешно справившихся с ТЗ” увеличивается на 17%.

Определено, что каждая форма ТЗ имеет свой вес. Самой легкой является закрытая форма ТЗ с одним вариантом правильного ответа (вес 0,04), что требует исключения данной формы из теста при оценивании знаний. Более сложными формами ТЗ оказались формы на соответствие (вес 0,66) и на упорядочивание (вес 0,91), из чего следует рекомендовать разнообразить тест различными формами ТЗ.

Определено оптимальное количество вариантов ответов для ТЗ закрытой формы (с несколькими вариантами правильного ответа) - от 4 до 7. Определено соотношение правильных и ложных ответов для студентов младших курсов 1:n, для старших курсов - 2:n. Введение дополнительных градаций ответов на ТЗ позволяет экспериментальным путем определить профиль обучаемого и свободные параметры метода ШиП.

Предложенные модели, метод и алгоритмы оценивания знаний позволяют автоматизировать процесс оценивания знаний, обеспечить интерактивное взаимодействие обучаемого и преподавателя, повысить качество оценивания знаний и определить профиль обучаемого.

Таким образом, повышение качества оценивания знаний (сокращение времени тестирования, увеличение процента правильных ответов на ТЗ) произошло за счет корректности ТЗ и метода оценивания. Предложенный метод оценивания знаний является чувствительным к профилю обучаемого.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи в журналах из списка, рекомендованного ВАК РФ:

1. Тумбинская, М.В. Модель интерактивной обучающей системы / М.В. Тумбинская, Л.А. Александрова // Программные продукты и системы. - 2009. - №2. - С. 175 - 178.

2. Тумбинская, М.В. Модель и алгоритмы интерактивного оценивания знаний / М.В. Тумбинская, Л.А. Александрова // Программные продукты и системы. - 2009. - №3. - С. 48 - 51.

В других журналах и материалах научных конференций:

3. Кузьмина, М.В. Новые информационные технологии в образовании / М.В. Кузьмина, Л.А. Александрова // Инновационное образование в техническом университете: международная научно-методическая конференция. - Казань, 2004. - С. 227 - 229.

4. Кузьмина, М.В. Использование современных информационных технологий в дистанционном образовании / М.В. Кузьмина // VIII Королевские чтения: Всероссийская молодежная научная конференция с международным участием. - Самара, 2005. - С. 314 - 315.

5. Кузьмина, М.В. Традиционное и электронное обучение в образовании / М.В. Кузьмина // Туполевские чтения: Международная молодёжная научная конференция, посвящённая 1000-летию города Казани: материалы конференции. - Казань, 2005. - С. 37 - 38.

6. Кузьмина, М.В. Методы и методология электронного обучения / М.В. Кузьмина, Л.А. Александрова // Информационная культура в системе подготовки будущего инженера: материалы региональной научно-практической конференции. - Нижнекамск, 2006. - С. 5 - 6.

7. Кузьмина, М.В. Тестирование в электронном обучении / М.В. Кузьмина, Л.А. Александрова // Информационная культура в системе подготовки будущего инженера: материалы региональной научно-практической конференции. - Нижнекамск, 2006. - С. 7 - 8.

8. Кузьмина, М.В. Анализ и оценивание тестов и тестовых заданий / М.В. Кузьмина // XIV Туполевские чтения: Международная молодёжная научная конференция: материалы конференции. - Казань, 2006. - С. 53 - 55.

9. Кузьмина, М.В. Использование тестирования, как формы образовательных технологий / М.В. Кузьмина // XIV Туполевские чтения: Международная молодёжная научная конференция: материалы конференции. - Казань, 2006. - С. 162 - 163.

10. Кузьмина, М.В. Функции контроля в процессе обучения / М.В. Кузьмина // XIV Туполевские чтения: Международная молодёжная научная конференция: материалы конференции. - Казань, 2006. - С. 163 - 165.

11. Тумбинская, М.В. Использование технологий моделирования в профессиональном образовании / М.В. Тумбинская, Л.А. Александрова // Наука и профессиональное образование: материалы региональной научно-практической конференции. - Казань, 2007. - С. 3 - 7.

12. Тумбинская, М.В. Моделирование обучающего процесса / М.В. Тумбинская, Л.А. Александрова // Информационные технологии в науке, образовании и производстве: материалы всероссийской научной конференции, посвящённой 75-летию Казанского государственного технического университета им. А.Н.Туполева. - Казань, 2007. - С. 700 - 703.

13. Тумбинская, М.В. Особенности модели приобретения новых знаний в процессе обучения / М.В. Тумбинская, Е.Е. Горелова // XV Туполевские чтения: материалы международной молодёжной научной конференции. - Казань, 2007. - С. 49 - 53.

14. Тумбинская, М.В. Моделирование знаний учебного процесса на основе дидактики / М.В. Тумбинская // XV Туполевские чтения: материалы международной молодёжной научной конференции. - Казань, 2007. - С. 80 - 83.

15. Тумбинская, М.В. Использование возможностей искусственного интеллекта на этапах создания обучающих электронных изданий / М.В. Тумбинская, Е.Е. Горелова // Инфокоммуникационные технологии глобального информационного общества: тез. докл. 5-й ежегодной международной научно-практической конференции. - Казань, 2007. - С. 237 - 239.

16. Тумбинская, М.В. Практическая значимость модели формирования знаний в образовательном процессе / М.В. Тумбинская, Е.Е. Горелова // Инфокоммуникационные технологии глобального информационного общества: тез. докл. 5-й ежегодной международной научно-практической конференции. - Казань, 2007. - С. 239 - 240.

17. Тумбинская, М.В. Моделирование интерактивного процесса обучения / М.В. Тумбинская, Е.Е. Горелова // Технологии электронного обучения в современном вузе: материалы международной научно-практической конференции. - Минск, Республика Беларусь: ГИУСТ БГУ, 2008. - С. 63 - 64.

18. Тумбинская, М.В. Адаптивные сценарии в электронном обучении / М.В. Тумбинская // Технологии электронного обучения в современном вузе: материалы международной научно-практической конференции. - Минск, Республика Беларусь: ГИУСТ БГУ, 2008. - С. 105 - 106.

19. Тумбинская, М.В. Интерактивность процесса обучения в интеллектуальных обучающих системах / М.В. Тумбинская, Е.Е. Горелова // XVI Туполевские чтения: Материалы международной молодёжной научной конференции. - Казань, 2008. - С. 105 - 107.

20. Тумбинская, М.В. Модели и алгоритмы управления процессом обучения с помощью обучающих систем / М.В. Тумбинская // XVI Туполевские чтения: материалы международной молодёжной научной конференции. - Казань, 2008. - С. 110 - 112.

21. Тумбинская, М.В. Моделирование процессов обучения при создании обучающих систем / М.В. Тумбинская // XXXIV Гагаринские чтения: материалы международной молодёжной научной конференции. Т. 4. - М.: МАТИ, 2008. - С. 170 - 172.

22. Тумбинская, М.В. Модель обучаемого в электронных обучающих системах / М.В. Тумбинская // XXXIV Гагаринские чтения: Материалы международной молодёжной научной конференции. Т. 4. - М.: МАТИ, 2008. - С. 174 - 175.

23. Тумбинская, М.В. Особенности моделирования интеллектуальных обучающих систем / М.В. Тумбинская, Е.Е. Мякушкина // Инфокоммуникационные технологии глобального информационного общества: тез. докл. 6-й ежегодной международной научно-практической конференции. - Казань, 2008. - С. 245 - 246.

24. Тумбинская, М.В. Исследование повышения качества обучения путем моделирования образовательного процесса / М.В. Тумбинская, Л.А. Александрова // Наука и профессиональная деятельность: материалы Всероссийской научно-практической конференции. - Нижнекамск, 2008. - С. 280 - 282.

25. Тумбинская, М.В. Автоматизированное тестирование в электронных обучающих системах / М.В. Тумбинская, Е.Е. Мякушкина // Проблемы техники и технологии телекоммуникации и Оптические технологии в телекоммуникациях: материалы международных научно-технических конференций. - Казань, 2008. - С. 479 - 481.

26. Тумбинская, М.В. Моделирование интерактивных обучающих систем / М.В. Тумбинская, Л.А. Александрова // Проблемы техники и технологии телекоммуникации и Оптические технологии в телекоммуникациях: материалы международных научно-технических конференций. - Казань, 2008. - С. 492 - 494.

27. Тумбинская, М.В. Проектирование интеллектуальных электронных средств обучения и их защита / М.В. Тумбинская, Е.Е. Мякушкина // Проблемы техники и технологии телекоммуникации и Оптические технологии в телекоммуникациях: материалы международных научно-технических конференций. - Казань, 2008. - С. 462 - 463.

Размещено на Allbest.ru

...