Размещено на http://www.allbest.ru/

SEFI-тестирование студентов IT-направлений по дискретной математике

Сыромясов Алексей Олегович, к. ф.-м. н., доцент

Мордовский государственный университет имени Н. П. Огарева

В статье обсуждается тестирование студентов направлений «Информатика и вычислительная техника» и

«Программная инженерия» по дискретной математике, проведенное в рамках проекта TEMPUS “MetaMath”. Цель тестирования - проверить, насколько успешно у студентов формируются компетенции из перечня SEFI Европейского общества инженерного образования. Изложен подход к составлению заданий входной и итоговой контрольных работ. Описаны и проанализированы результаты проведенного тестирования.

Ключевые слова и фразы: дискретная математика; тестирование; компетенции SEFI; MetaMath; IT; инженерное образование.

SEFI-тестирование студентов - этап выполнения проекта TEMPUS “MetaMath”

Важной проблемой инженерного образования в России и в Европе является математическая подготовка будущих инженеров: значительная часть студентов не усваивает курс математики в той степени, которая была бы достаточна для дальнейшего изучения профессиональных дисциплин.

Для решения этой проблемы в марте 2014 г. был дан старт российско-европейскому проекту TEMPUS “MetaMath” [5]. С российской стороны в проекте участвуют Ассоциация инженерного образования России, Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В. И. Ульянова (Ленина),Нижегородский государственный университет им. Н. И. Лобачевского, Казанский национальный исследовательский технический университет «КАИ» им. А. Н. Туполева, Тверской государственный университет иНациональный исследовательский Мордовский государственный университет им. Н. П. Огарева. Европейскую сторону представляют Немецкий исследовательский центр искусственного интеллекта, Университет Саарланда, Лионский университет им. Клода Бернара, Технологический университет Тампере и Технический университет Хемница.

Одна из целей проекта - сближение отечественных подходов к преподаванию математики будущим инженерам с европейскими. Как известно, в России преподавание дисциплин математического цикла отличается фундаментальностью, вниманием к рассуждениям и доказательствам. К сожалению, при этом за бортом могут остаться прикладные примеры, что отрицательно сказывается на мотивации обучаемых. В Европе, напротив, предпочтение отдается практическому применению изучаемого материала. Это должно мотивировать студентов к изучению предмета, но оборотной стороной такого подхода является рецептурность изложения. При чрезмерном увлечении этой стороной вопроса студенты утрачивают навыки рассуждения и принятия самостоятельных решений. Представляется, что разумное сочетание двух описанных подходов (фундаментальность и ориентация на практику) позволит повысить качество математического образования инженеров.

Каждый российский вуз - участник проекта должен модернизировать два своих математических курса. На проведение эксперимента выделяется два учебных года. В течение первого года студентам читается «старый» вариант курса, в течение второго года другие студенты слушают обновленный вариант. Растянутость эксперимента во времени объясняется отсутствием унификации математических дисциплин для инженерных направлений подготовки. Как правило, одну и ту же версию курса математики в вузе одновременно изучает сравнительно небольшое количество студентов, так что выделить в одном потоке и контрольную, и экспериментальную группы зачастую невозможно.

Чтобы оценить эффективность обучения студентов, следует измерить и сравнить объем их знаний и умений вначале и в конце изучения дисциплины. Аналогичный подход описан, например, в [1]. При реализации проекта “MetaMath” контролируется, насколько успешно у студентов формируются компетенции из списка SEFI - Европейского общества инженерного образования (Societe Europeennee pour la Formation des Ingenieurs).

Классификация компетенций SEFI

Согласно методологии SEFI [4], математическая компетентность описывается с помощью древовидной структуры. Верхний ярус дерева формируют четыре уровня компетентности:

• Нулевой (Core 0) - «довузовская» математика (хотя в ряде стран часть материала, относимого к данному уровню, не изучается в средней школе).

• Первый (Core Level 1) - базовый материал, необходимый для овладения всеми инженерными дисциплинами, изучаемый студентами младших курсов.

• Второй (Level 2) - «продвинутый» материал, владение которым достаточно для решения достаточно простых реальных инженерных проблем. В связи со специализацией будущих инженеров на тех или иных задачах не весь объем материала, отнесенного к данному уровню, обязателен для изучения.

• Третий (Level 3) - «продвинутый» материал, владение которым позволяет решать широкий круг реальных инженерных задач. Возможно, часть этого материала будет отнесена к специальным курсам (в т.ч. к таким, которые не рассматриваются как чисто математические).

Внутри каждого уровня знания и умения делятся на области (второй ярус дерева), а те, в свою очередь, - на подобласти (третий ярус). Нулевой уровень разбивается на области «Алгебра», «Математический анализ»,«Дискретная математика», «Геометрия и тригонометрия», «Вероятность и статистика», а уровни с первого по третий - на области «Математический анализ», «Дискретная математика», «Геометрия», «Линейная алгебра», «Вероятность и статистика». Наконец, на нижнем ярусе дерева находится перечень конкретных компетенций, отнесенных к тому или иному уровню, области и подобласти. Например, овладение подобластью «Графы» области «Дискретная математика» на первом уровне предполагает, что студент способен:

- распознать граф (ориентированный или нет) в реальной ситуации;

- понимать смысл терминов «путь» и «цикл»;

- понимать смысл терминов «дерево» и «двоичное дерево».

Таким образом, компетенции в европейском понимании весьма конкретны. Этим они отличаются от компетенций, описанных в отечественных федеральных государственных образовательных стандартах. Например, обще профессиональная компетенция ОПК-1 для направления 02.03.01 «Математика и компьютерные науки» формулируется так: «готовность использовать фундаментальные знания в области математического анализа, комплексного и функционального анализа, алгебры, аналитической геометрии, дифференциальной геометрии и топологии, дифференциальных уравнений, дискретной математики и математической логики, теории вероятностей, математической статистики и случайных процессов, численных методов, теоретической механики в будущей профессиональной деятельности» [3].

Следует учитывать, что разбиение математики на области, предлагаемое SEFI, несколько отличается от принятого в России. К примеру, комбинаторика включена в область «Вероятность и статистика», а метод наименьших квадратов - в область «Линейная алгебра».

Одна из дисциплин, модернизируемых Мордовским университетом, - «Дискретная математика», преподаваемая на направлениях 09.03.01 «Информатика и вычислительная техника» (ИВТ) и 09.03.04 «Программная инженерия» (ПИ). Ниже описывается методика SEFI-тестирования по данному курсу и анализируются показанные студентами результаты.

Принципы составления и характеристика тестовых заданий

Курс дискретной математики для укрупненной группы направлений и специальностей «Информатика и вычислительная техника» в МГУ им. Н. П. Огарева состоит из следующих разделов: «Теория множеств и комбинаторика», «Теория графов», «Введение в теорию алгебраических структур», «Теория кодирования».

В соответствии с содержанием курса компетенции SEFI (помимо деления на уровни и области) могут быть разбиты на три группы:

• Входные (prerequisite), наличие которых у студентов предполагается до изучения курса.*Целевые (target), формируемые в ходе изучения курса.

• Отсутствующие (missing), не формируемые в рамках данной дисциплины (но, быть может, приобретаемые студентами при изучении других дисциплин).

В число целевых могут включаться компетенции, не входящие в область SEFI «Дискретная математика» (речь идет о вышеупомянутой комбинаторике). Напротив, часть компетенций, включенных в область SEFI «Дискретная математика», одноименным курсом не формируется. Таковы компетенции подобласти «Математическая логика»: в Мордовском университете дисциплина «Математическая логика и теория алгоритмов» изучается отдельно. Входными считаются знания и умения, связанные с различными системами счисления (материал изучается в рамках дисциплины «Информатика» до начала чтения курса дискретной математики), атакже некоторые элементарные навыки в области математической логики, такие как «построить отрицание высказывания», которые должны формироваться уже в средней школе.

Далее, все компетенции были поделены на контролируемые (в рамках теста) и неконтролируемые. Так, умение «вычислять количество способов расстановки различных предметов в ряд» - контролируемое: можно придумать простую задачу на эту тему. В то же время «понимание смысла определения группы» с трудом поддается проверке в рамках теста: проверка всех условий, определяющих группу, хоть и относительно проста, но трудоемка, так что выполнение одного задания указанного типа займет слишком много времени.

Все компетенции третьего уровня a priori считаются неконтролируемыми.

Перечень всех знаний, умений и навыков, поддающихся проверке, стал основой для составления задач контрольной работы, которая была предложена студентам. Как следует из материалов Федерального института педагогических измерений, аналогичную роль при составлении задач ЕГЭ играют кодификатор требований и кодификатор элементов содержания [2].

Отобранные контролируемые компетенции элементарны; с другой стороны, их перечень весьма обширен (45 позиций). Отводить же на тестирование несколько часов нецелесообразно. Исходя из этого, к разрабатываемой контрольной работе были выдвинуты следующие требования:

Сформированность любой компетенции SEFI проверяется одной задачей, но одно и то же задание может проверять несколько компетенций. Для каждого задания указывается список знаний, умений, навыков, проверяемых им.

Проверяются лишь ответы к задачам, а не их решения. Исключение составляет задание, требующее сортировки массива тем или иным способом.

Вероятность простого угадывания ответа к задаче должна быть меньше 0,5. Тем самым, работа не должна содержать задач, ответом к которым будет одно слово «да» или «нет».

Задания должны быть относительно просты: выполнение каждого из них должно занимать в среднем 2-3 минуты.

На выполнение всей работы отводится 80 минут (2 академических часа).

В результате контрольная работа включала в себя 32 задачи, и ее можно было условно разбить на три раздела:

• Раздел 1 (7 заданий, 13 контролируемых компетенций) - задачи, для решения которых изучение дискретной математики не предполагается. Этот раздел проверяет знания и умения нулевого уровня, а также отсутствующие в курсе компетенции первого и второго уровня из подобластей «Математическая логика» и«Системы счисления».

• Раздел 2 (9 заданий, 11 контролируемых компетенций) проверяет, насколько успешно сформированы компетенции первого уровня.

• Раздел 3 (16 заданий, 21 контролируемая компетенция) проверяет сформированность компетенций второго уровня.

Предполагалось, что при входном тестировании студенты успешно справятся лишь с заданиями раздела 1,а разделы 2 и 3, соответствующие неизученному материалу, останутся в основном нерешенными. На итоговом тестировании ожидалось «равномерно успешное» выполнение всей работы.

Приведем примеры заданий каждой из частей.

Часть 1. Построить отрицание высказывания: «Ни один слон не летает или некоторые ежики забавны». Эта задача контролирует следующие компетенции:

- Понимание квантораобщности;

- Понимание кванторасуществования;

- умение строить отрицание высказывания, содержащего кванторы.

Часть 2. В столовой предлагается 3 варианта первого блюда, 4 варианта второго, 3 разных салата и 2 разных типа десерта. Сколькими способами можно составить меню, содержащее все четыре блюда? Данная задача проверяет умение использовать правило произведения в комбинаторике.

Часть 3. На множестве A= {красный, желтый, зеленый, синий} заданы два бинарных отношения: ?= {(красный, красный), (синий, зеленый), (зеленый, желтый), (желтый, синий), (желтый, желтый), (синий, синий), (зеленый, синий), (желтый, зеленый), (зеленый, зеленый)}; ?= {(желтый, желтый), (красный, синий), (синий, синий), (желтый, зеленый), (красный, красный), (синий, красный), (зеленый, зеленый), (зеленый, желтый)}. Указать, является ли каждое из них отношением порядка. В этом задании проверяются:

- понимание термина «отношение эквивалентности»;

- умение проверить, является ли отношение отношением эквивалентности.

Поскольку ответ «да» или «нет» требуется дать о каждом из отношений ?и ?, вероятность угадывания правильного ответа составляет всего 0,25.

Во время выполнения контрольной работы не разрешалось использовать калькуляторы, мобильные телефоны и прочие электронные устройства, а также прибегать к помощи учебной литературы и конспектов лекций.

Каждое верно выполненное задание оценивалось 1-м баллом, неверно выполненное - 0 баллов.

Результаты тестирования и их анализ

Согласно учебным планам Мордовского университета, дискретная математика изучается студентами второго курса направления ИВТ и первого курса направления ПИ в весеннем семестре. Поэтому входное тестирование было проведено в начале февраля, итоговое - в начале июня. При проведении итоговой контрольной работы задачи, предлагавшиеся во входной контрольной работе, были заменены на аналогичные.

Кроме того, порядок следования заданий также был изменен.

Количество студентов, принявших участие и во входном, и в итоговом тестированиях, составило 31 человек: 16 студентов направления ИВТ и 15 студентов направления ПИ (общая численность обучающихся наэтих направлениях больше, но часть из них не принимала участие в одном из тестирований, и их результаты в анализ не включены).

Средний результат, показанный студентами на входной контрольной работе, составил 8,03 балла из 32 возможных, худший - 0, лучший - 16 баллов. Таким образом, состав студентов был весьма неоднороден по своим входным знаниям и умениям. Эта неоднородность не могла не сказаться на результатах обучения. На итоговом тесте средний балл оказался равным 12,03, худший - 2, лучший - 25. Налицо еще больший разброс в баллах, чем в начале семестра. Наиболее успевающие студенты существенно улучшили свой результат, у некоторых отстающих он остался почти нулевым (т.е. они ничему за семестр не научились). Рост среднего балла, показывающий, что основная масса обучаемых приобрела новые знания и умения, гораздо меньше желаемого.

Для более подробного анализа результаты тестов (по компетенциям) были сгруппированы по двум признакам:

• Раздел контрольной работы, к которому отнесена проверяемая компетенция.

• Раздел дискретной математики, к которому отнесена компетенция (это деление коррелирует с подобластями SEFI, но не всегда совпадает с ними).В Табл. 1 приведены результаты выполнения разделов теста.

Таблица 1