повышение эффективности средств диагностики уровня качества подготовки специалистов

Розглядається проблема застосування технологій штучного інтелекту для генерації тестових послідовностей в діагностиці рівня якості підготовки фахівців. Основана на моделюванні генетична стратегія побудови тестів показує результати, які можна зрівняти з детермінованими методами.

Чайка В.М. Тарасюк А.П.

Повышение эффективности средств диагностики уровня качества подготовки специалистов

V.M. Chaika, A.P. Tarasyuk

Improving efficiency of quality level diagnostical means of specialist trainig

Постановка проблемы

Украина, имея перед собой цель - вхождение в европейское образовательное пространство, руководствуется, прежде всего основными принципами, которые предполагает Болонский процесс: двухцикловое образование, его привлекательность, равный доступ, мобильность и т.д., в том числе и обеспечение его качества. Достаточно большое количество исследователей заняты проблемой повышения качества подготовки специалистов, однако не так много внимания среди них уделяется повышению эффективности средств диагностики оценки качества подготовки специалистов, хотя проблема эта представляется весьма важной, ведь адекватная и эффективная система количественной оценки качества позволяет применять критерии качества с высокой степенью достоверности.

Постановка задачи

тестовый качество обучение специалист

Поскольку содержание обучения, в соответствии с образовательными стандартами имеем структурированную иерархическую форму - эффективные средства диагностики оценки качества позволит выявлять "слабые места" в каждом структурном элементе - учебных элементах, содержательных модулях и даже в блоках содержательных модулей, которые по каким то причинам усвоены не на достаточном уровне в масштабе конкретной специальности в конкретном учебном заведении. Это позволит разработать конкретные практические рекомендации по совершенствованию содержания и методов обучения, а также выявить неудачно сформированные тестовые задания.

Анализ последних исследований

Современные средства диагностики в других предметных областях значительно опередили средства диагностики качества образования благодаря применению новых аналитических технологий.

К сожалению традиционные аналитические технологии (детерминированные и вероятносные) оказываются малоэффективными во многих практических задачах в т.ч. и в диагностике. Это связано с тем, что невозможно достаточно полно описать реальность с помощью небольшого числа параметров модели, либо расчет модели требует слишком много времени и вычислительных ресурсов. Детерминированные алгоритмы для поиска оптимального решения (симплекс-метод) применим только в том случае, если все данные функции линейны. В реальных задачах диагностики качества образования это условие не выполняется. Хотя данные функции можно аппроксимировать линейными, решение в этом случае будет далеким от оптимального.

Вероятностные технологии также обладают существенными недостатками при решении практических задач. Зависимости, встречающиеся на практике, часто нелинейные. Даже если и существует простая зависимость, то ее вид заранее неизвестен. Отметим также, что статистические методы хорошо развиты только для одномерных случайных величин. Если же мы хотим учитывать несколько взаимосвязанных факторов - например, требования к тестам (валидность, надежность и др.) то придется обратиться к построению многомерной статистической модели. Однако, такие модели, либо предполагают гауссовское распределение наблюдений (что не выполняется на практике), либо не обоснованы теоретически. В многомерной статистике, за неимением лучшего, нередко применяют малообоснованные эвристические методы, которые по своей сути очень близки к технологиям нейронных сетей.

Из-за описанных выше недостатков традиционных методик в последние годы идет активное развитие аналитических систем нового типа. В их основе - технологии искусственного интеллекта, имитирующие природные процессы, такие, как деятельность нейронов мозга или процесс естественного отбора. Наиболее популярными и проверенными из этих технологий являются нейронные сети и генетические алгоритмы.

Нейронные сети, в каком то смысле, являются имитацией деятельности головного мозга, поэтому с их помощью успешно решаются разнообразные ''нечеткие'' задачи - распознавание образов, речи, рукописного текста, выявление закономерностей, классификация, прогнозирование, диагностика.

Генетические алгоритмы - это специальная технология для поиска оптимальных решений, в основе которой используется идея естественного отбора среди живых организмов в природе. Генетические алгоритмы часто применяются совместно с нейронными сетями, позволяя создавать предельно гибкие, быстрые и эффективные инструменты анализа данных.

Одним из наиболее распространенных направлений развития искусственного интеллекта являются экспертные системы реального времени (ЭС) - системы объединяющие возможности программных и аппаратных средств со знаниями и опытом экспертов в некой предметной области в такой форме, что система может осуществлять разумное решение поставленной задачи. Классы задач, решаемых экспертными системами реального времени таковы: мониторинг в реальном масштабе времени, диагностики, проектирование, составление расписаний, планирование, оптимизация, поиск, управление и т.д. ЭС представляется весьма эффективным инструментальным средством в диагностике уровня качества подготовки специалистов в конкретной предметной области.

Сердцевину любой экспертной системы составляет база знаний, которая накапливается в процессе ее построения. Знания выражены в явном виде и организованы так, чтобы упростить принятие решений. Для ЭС диагностики, знания представлены в виде тестов, объединенных в направлении роста степени интеграции - наименования: учебных элементов, содержательных модулей, блоков содержательных модулей и дисциплин.

Для контроля качества подготовки специалистов из базы знаний формируются наборы тестов, которые предлагаются испытуемым.

Для решения проблемы выявления "слабых мест", при генерации тестовых последовательностей удобнее всего применить генетические адаптивные алгоритмы, которые основаны на стандартных моделях наследственности и эволюции из области популяционной генетики, являющихся модельным воплощением тех механизмов адаптации, которые имеются в живых системах. Применительно к проблеме генерации тестовых последовательностей суть генетического алгоритма заключается в следующем. В начальный момент времени (обычно случайным образом) генерируются тестовые последовательности (особи) и ряд тестовых последовательностей (популяция), закодированных в двоичной системе исчисления.

Далее, после тестирования испытуемых (нескольких групп), на основании некоторых критериев вычисляется оценочная функция каждой особи, характеризующая относительную способность решения поставленной проблемы (в нашем случае выявление тестов на которые даны неправильные ответы). Чем больше неправильных ответов в тестовой последовательности, тем выше оценка особи.

Далее из текущего поколения особей строится следующее поколение с целью либо найти решение, либо улучшить оценку каждой особи. Цель данной операции - получение новых особей в популяции, обладающих новыми свойствами. Новое поколение строится следующим образом. Из популяции выбираются несколько особей (в зависимости от размера популяции).

Рис.9. Основной метод поиска

Вероятность выбора особи полагается пропорциональной оценочной функции. Копии выбранных особей сразу помещаются в новую популяцию. После этого к данным особям применяются модифицирующие операции. Обычно используют два вида таких операций: Кроссинговера (скрещивание) и мутацию. Скрещивание производится в одной или нескольких точках.

Далее с некоторой вероятностью в двух новых особях происходит мутация битов: ноль изменяется на единицу и наоборот, после чего модифицированные особи помещаются в новую популяцию.

Так происходит до тех пор, пока в новой популяции не наберется необходимое число особей.

Далее проводится повторное тестирование испытуемых, которое обычно сопровождается снижением полученных оценок. После этого цикл повторяется. Порождение новых популяций и тестирование прекращается, когда тестовые оценки перестают снижаться (обычно это происходит после 3ч5 раз). Популяция тестовых последовательностей, которая дала наиболее низкие оценки и определяет наиболее слабо усвоенные содержательные модули.

Основная парадигма более точно выражена на рисунке.

Чтобы как-то прочувствовать поведение такой поисковой стратегии, рассмотрим вероятности отбора, определенные на шаге 3.

Мы видим, что если m особей выбраны для участия в генерации новых особей в момент t, то среднее число новых особей, получаемых в текущей популяции, составляет

mх

где Ue - средняя полезность аргумента. Таким образом эти вероятности обеспечивают селективное смещение в пользу особей, ведущих себя лучше среднего по сравнению с остальными особями в популяции (имеющими более низкую оценку).

В отсутствии других механизмов такое избирательное давление приведет к тому, что хорошо ведущие себя особи со временем будут занимать в популяции все больше и больше места.

Вывод

Таким образом, чтобы задать генетический алгоритм, необходимо определить понятие особи, популяции, операции скрещивания, мутации, инверсии и задать оценочную функцию. Очевидно также, что эффективность генетического алгоритма зависит от целого ряда параметров: размера популяции, метода выбора особей из предыдущей популяции; скрещивания и мутации, а также вида оценочной функции.

Перспективы дальнейших исследований. На основе описанного выше подхода можно разрабатывать и реализовать алгоритм генерации тестовых последовательностей для последовательных схем диагностики качества подготовки специалистов.

Литература

1. Экспертные системы. Под ред. Р. Форсайта. - М. «Радио и связь», 1987. - 222с.

2. Иванов Д.Е., Скобцев Ю.А. Ускорение работы генетических алгоритмов при построении тестов./ Искусственный интеллект.№ 1. 2001г.- Донецк. 2001г. - С.52 - 60.

Размещено на Allbest.ru