Интеллектуальная система компьютерного тестирования

Размещено на http://www.allbest.ru/

Аннотация

ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ

Ольга Г. Берестнева¹, Алексей М. Блейхер¹, Валентин В. Грасс¹, Анна Е. Янковская²

¹ 634034, Томск, Томский политехнический университет, balm@am.tpu.ru,

² 63403, Томск, Томский государственный архитектурно-строительный университет, yank@tisi.tomsk.su.

Предлагается интеллектуальная система компьютерного тестирования CmxTest, позволяющая генерировать тесты произвольной размерности для ряда предметных областей, тестировать знания обучаемых (специалистов, студентов), ранжировать обучаемых по результатам тестов, а также визуализировать и протоколировать результаты тестирования в удобном для пользователя виде. Переменные, входящие в тест, могут быть лингвистическими, вещественными, булевыми. Алгоритмы ранжирования основаны на математическом аппарате, включающем алгоритмы мягких вычислений и кластерного анализа. Система CmxTest реализована на языке Object Pascal в среде Delphi 3.0 для операционных систем серии Windows 95/98/NT и апробирована на студентах Томского политехнического университета. Результаты апробации показали целесообразность применения ее в учебных целях.

Введение

Создание интеллектуальной системы компьютерного тестирования не дань моде, а необходимость, связанная с требованиями сокращения временных и стоимостных затрат на обучение, упрощения процедур тестирования, тщательного анализа и удобного представления результатов тестирования в различных проблемных областях.

Для эффективного анализа результатов тестирования вне зависимости от задачи, решаемой пользователем, особое значение приобретают методы визуализации, обеспечивающие по разным тестам единую форму представления конечной информации в виде отображений, адекватных зрительному восприятию человека и удобных для однозначного толкования полученных результатов. Так как результаты тестирования компонуются в виде числовых таблиц, то методы визуализации должны способствовать наглядному изображению этих таблиц в графическом виде.

В последнее время разработано достаточно большое количество интеллектуальных систем и методик для оценки качества подготовки специалистов. К числу этих систем относятся такие как, например, "Экспертные обучающие системы как инструмент педагогического общения" [Котикова и др., 1996], целью которого является разработка модели экспертной обучающей системы; "Автоматизированная обучающая система по английскому языку с использованием мультимедиа и гипертекстовых учебных пособий" [Курушин и др., 1996], целью которой ставилось создание автоматизированных обучающих компьютерных курсов английского языка; "Компьютерное информационное обеспечение учебного процесса" [Ситников и др., 1996]для создания системы компьютерных программ для автоматизации учебного процесса.

Не останавливаясь на сравнительном анализе приведенных выше систем, отметим только, что обычно в качестве исходной информации используются среднестатистические данные, достоверность которых практически невозможно оценить для конкретных тестируемых групп и проконтролировать. Кроме того, дополнительно вводятся оценочные показатели, устанавливаемые, как правило, экспертным путем. Таким образом, используемые сегодня подходы к созданию систем имеют ряд недостатков: субъективизм, низкая достоверность исходной информации и, как следствие, низкое качество результатов оценки.

Рассматриваемый в работе подход, лишен этих недостатков, поскольку выводы основаны на реальных, а не среднестатистических данных. Имеется возможность принципиально по-новому подойти к оценке качества подготовки специалистов с использованием интеллектуальных систем в условиях использования компьютерной сети, баз данных и баз знаний.

В докладе приводятся алгоритмы; описание интеллектуальной системы компьютерного тестирования, реализующей изложенные алгоритмы; кратко излагаются результаты апробации системы и пути дальнейшего ее развития.

1. Алгоритмическое обеспечение

Ключевыми алгоритмами, реализуемыми в интеллектуальной системе, являются:

1) создание и модификация тестов;

2) тестирование;

3) принятие решения по результатам тестирования;

4) визуализации результатов.

В создании и модификации тестов использовались закрытая (альтернативная) и открытая формы тестовых заданий.

Под закрытой понимается такая форма тестовых заданий, где тестируемому предлагается ряд вариантов ответов, среди которых один или несколько правильных. В открытой форме тестируемый должен сам ввести правильный ответ.

Для формирования обобщенной оценки по результатам тестирования на этапе принятия решений в работе были использованы два алгоритма, оценки и упорядочения альтернатив при аддитивности критериев и принятия решения в условиях определенности, основанных на математическом аппарате, представленном в работах [Заде, 1976] и [Кофман, 1982].

Алгоритм оценки и упорядочения альтернатив при аддитивности критериев основан на аддитивной свертке, обобщенной на случай нечеткой исходной информации. При этом используется треугольное представление нечетких оценок альтернатив и коэффициентов важности критериев [Борисов и др., 1990].

Кратко изложим алгоритм упорядочения m альтернатив по n критериям: . Соответствующую оценку альтернативу обозначим . Относительная важность каждого критерия зададим коэффициентом: . В этом случае взвешенная оценка i -й альтернативы вычисляется по формуле:

(1)

или, если оценки нормированы, по формуле:

(2)

После получения взвешенных оценок , сравниваются на их основе альтернативы. Для этого вводится нечеткое множество I, заданное на множестве индексов альтернатив 1,2,..,m, и значение соответствующей функции принадлежности интерпретируется как характеристика степени того, насколько альтернатива является лучшей. Значение вычисляется по формуле:

(3)

Упорядочение альтернатив осуществляется по неубыванию значений функции принадлежности.

В алгоритме принятия решения в условиях определенности, используется свертка на основе операции пересечения нечетких множеств [Борисов и др., 1990].

Пусть имеется множество из m альтернатив: .

Для критерия С может быть рассмотрено нечеткое множество:

,

где соответствующая оценка альтернативы по критерию С. Если имеется n-критериев: , то формула для выбора наилучшей альтернативы может быть записана в виде пересечения соответствующих множеств:

.

Операция пересечения нечетких множеств соответствует операции min, выполняемой над их функциями принадлежности:

(4)

Для выделения однотипных групп тестируемых используются методы кластерного анализа, в частности, distant-алгоритмы, в которых в качестве меры упорядочения образов в пространстве принимается близость точек по расстоянию между ними [Попечителев и др., 1985].

В дальнейшем под термином "таблица данных" понимается ее математическое определение как матрицы данных , подразумевая при этом, что над таблицей данных можно проводить любые математические операции, разрешенные для матриц данных. Элементами N и L будем обозначать число строк и столбцов в матрице (таблице). Вектору соответствует n-я строка матрицы . Она показывает, какие значения приняли все L координат для точки конца этого вектора. Вектором обозначим l-й столбец таблицы . Он определен значениями l-го параметра на всех N элементах выборки X. Число соответствует значению l-го параметра у n-го элемента. Возможны два способа описания: с помощью исходной таблицы данных и с помощью матриц близости.

Для визуального представления числовой таблицы требуется найти такое описание образов ее элементов в виде таблицы T(Y), для которого взаимное расположение точек-образов в (геометрическая структура данных (ГСД)) незначительно отличается от взаимного расположения элементов в (структура исходных данных (СД)). Это условие формализуется соотношением:

, (5)

где - функция, определяющая рассогласование структур данных в пространствах и для выбранного способа их описания; F - описание структуры данных; W={w} - совокупность критериев, по которым можно минимизировать функцию .

Для отображения данных в пространстве реализован алгоритм, основанный на фрактальных ландшафтах. В его основе лежит методика множественного разбиения треугольной основы с последующим растягиванием вершин смежных треугольников по оси OZ [Шемитц, 1998].

3. Описание системы

Интеллектуальная система CmxTest предназначена для конструирования тестов различной сложности и размерности с последующим сохранением результатов тестирования в базах данных, а также для проведения их комплексного анализа, реализуемых на основе вышеприведенных алгоритмов, и визуализации результатов тестирования.

Каждый алгоритм реализуется соответствующим программным модулем:

1) создание и модификация тестов;

2) тестирование;

3) принятие решения по результатам тестирования;

4) визуализации результатов.

Программная реализация системы соответствует современным стандартам:

· контекстно-зависимая справочная система, позволяющая получить справку о том или ином программном компоненте, не запуская исполняемый модуль; интеллектуальная cmxtest тест

· удобный пользовательский интерфейс, представляющий стандартные Windows-компоненты;

· надежность в хранении данных путем использования мировых стандартов доступа к базам данных;

· модифицируемость блоков программы за счет модульной реализации системы.

Разработанная интеллектуальная система CmxTest представляет собой стандартное Windows MDI-приложение, отвечающее всем современным требованиям программного продукта для операционных систем Windows 95/98/NT.

MDI-приложение означает, что программа представляет собой многодокументальный интерфейс, состоящий из одного главного окна и множества динамически создающихся дочерних окон, связанных с главным окном на уровне программных событий.

Система CmxTest написана на языке Object Pascal в среде Delphi 3.0 с использованием BDE (Borland Database Engine) и компонентов RXControls. Базы данных и знаний используются в стандарте Paradox 7.0.

4. Опыт апробации

В разработанную систему были включены следующие компьютерные тесты:

· по учебным дисциплинам кафедры Прикладная математика Томского политехнического университета (компьютерная математика, линейная алгебра и аналитическая геометрия, информатика);

· для оценки уровня подготовки выпускников кафедры;

· профессиональной ориентации.

Были протестированы студенты различных курсов по ряду специальностей: 3-го курса по предмету "Компьютерная математика" по тесту "Опрос по семестровому курсу" (тесты из базы), 4-го курса по предмету "Базы данных и экспертные системы" по тесту "Контрольная работа" (тесты из базы) и 3-го курса по тесту "специальность".

Результаты апробации показали, что система значительно сокращает временные затраты на опрос студентов, объективно контролирует знания студентов и позволяет автоматически протоколировать результаты тестирования.

Заключение

Разработанная интеллектуальная система CmxTest реализована на языке программирования Object Pascal в среде Delphi 3.0 с использованием поддержки баз данных BDE, позволяет конструировать тесты различной сложности и размерности, сохранять результаты тестирования в базах данных и знаний и проводить комплексный анализ и визуализацию результатов тестирования.

В процессе разработки системы были решены следующие основные задачи:

1. Разработаны алгоритмы и программы для отслеживания учебной деятельности студентов в течение всего срока обучения, а также для оценки остаточных знаний.

2. На основе существующих методов теории нечетких множеств разработан алгоритм обобщенной оценки уровня подготовки специалиста.

3. Программно реализовано визуализация результатов тестирования с помощью средств компьютерной графики.

4. Интерфейсная организация системы в режиме реального времени.

Система CmxTest позволяет интерактивно получать, хранить и обновлять данные как на одного испытуемого, так и групп испытуемых.

Для программной реализации визуализации результатов были использованы наиболее перспективные направления: представление данных с помощью фрактальных ландшафтов и отображение скоплений точек на основе кластерного анализа, в котором близость точек по расстоянию между ними определяется с помощью distant-алгоритмов.

Интеллектуальный интерфейс системы (человек-компьютер) реализован в режиме реального времени с учетом современных технологий.

Благодаря модульности реализации алгоритмов, система позволяет дополнять ее новыми алгоритмами обработки тестов, например, включение генетических [Yankovskaya, 1998] и логико-вероятностных методов [Yankovskaya et al, 1998].

Опыт применения системы в учебном процессе показал целесообразность распространения данной системы в ВУЗах страны, а также расширения возможностей системы путем включения других дисциплин.

Дальнейшее развитие системы CmxTest связано с применением автоматной модели контроля знаний [Yankovskaya et al, 1995] в интеллектуальных обучающих системах. Автоматная модель позволяет компактно описывать несколько допустимых последовательностей действий [Евтушенко и др., 1999], приводящих к решению, отличать допустимые последовательности действий от недопустимых (не приводящих к решению) и различать допустимые последовательности по некоторому качественному критерию, то есть как и опытный преподаватель оценивать степень овладения методом решения задачи не только по конечному результату (ответу) [Янковская, 1997].

Работа частично поддержана РФФИ, проект №95-01-00295 и №98-01-03019.

Литература

1. [Борисов и др., 1990] Борисов А., Крумберг И., Федоров И. Принятие решений на основе нечетких моделей - Рига., Знание, 1990.

2. [Евтушенко и др., 1999] Евтушенко Н.В., Паршина Н.А., Янковская А.Е. Автоматная модель контроля знаний в интеллектуальных обучающих системах - Математическое моделирование. Кибернетика. Информатика - Томск, ТГУ, 1999.

3. [Заде, 1976] Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений - М., Мир,1976.

4. [Котикова и др., 1996] Котикова Л.Н., Соловьев В.А., Суздорф В.И. Экспертные обучающие системы - Искусственный интеллект в образовании. Труды международного семинара, ч.2 - Казань, 1996.

5. [Кофман, 1982] Кофман А. Введение в теорию нечетких множеств - М., Радио и связь, 1982.

6. [Курушин и др., 1996] Курушин Д.С., Нестерова Н.М., Низамутдинов О.Б. Автоматизированная обучающая система по английскому языку с использованием мультимедиа и гипертекстовых учебных пособий - Искусственный интеллект в образовании. Труды международного семинара, ч.2 - Казань, 1996.

7. [Попечителев и др., 1985] Попечителев Е.П., Романов С.В. Анализ числовых таблиц в биотехнических системах обработки экспериментальных данных - С.П., Наука, 1985.

8. [Ситников и др., 1996] Ситников Ю.К., Плеухова Л.Ф. Компьютерное информационное обеспечение учебного процесса - Искусственный интеллект в образовании. Труды международного семинара, ч.2 - Казань, 1996.

9. [Шемитц, 1998] Шемитц Дж. Delphi 3 Библиотека программиста - С. П.: Питер Ком, 1998.

10. [Янковская, 1997] Янковская А.Е. Автоматная модель, нечеткая логика и средства когнитивной графики при решении прогностических задач - III конференция распознавания образов и анализ изображений - Нижний Новгород, 1997.

11. [Yankovskaya et al, 1998] Yankovskaya A.E., Matrosova A,Y., Strizhov M.A. The Logical-Probabilistic System of Pattern Recognition - The 5th Open German-Russian Workshop on Pattern Recognition and Image Understanding. Collection of Abstracts - Germany, Herrshing, 1998.

12. [Yankovskaya, 1998] Yankovskaya A.E. The Test Pattern Recognition with Genetic Algorithms Use - The 5th Open German-Russian Workshop on Pattern Recognition and Image Understanding. Collection of Abstracts - Germany, Herrshing, 1998.

13. [Yankovskaya et al, 1995] Yankovskaya A.E., Yevtushenko N. FSM-based Knowledge Representation in a Computer Tutoring System - In Proceedings of the ICCE-95 - Singapore, International Conference Computers in Education, 1995.

Размещено на Allbest.ru