Тестовый контроль выполнения расчетных заданий на алгоритмическом уровне учебной деятельности

Размещено на http://www.allbest.ru/

ТЕСТОВЫЙ КОНТРОЛЬ ВЫПОЛНЕНИЯ РАСЧЕТНЫХ ЗАДАНИИ НА АЛГОРИТМИЧЕСКОМ УРОВНЕ УЧЕБНОЙ ДЕЯТЕЛЬНОСТИ

Петков Александр Александрович

Петкова Марина Александровна

В настоящее время тестовый контроль знаний находит все более широкое применение как в области образования, так и в других социальных сферах, в частности, связанных с аттестацией и подбором персонала. Наряду с «традиционным» тестированием при проверке знаний водителей и аттестации медицинских работников при повышении их квалификации, внедряется система анонимного электронного тестирования кандидатов в нотариусы (решение принято на уровне правительства Украины). Это свидетельствует о том, что тесты контроля знаний становятся социальным инструментом, востребованным обществом.

Постановка проблемы. Одним из видов тестовых заданий, широко используемых в практике контроля знаний, являются расчетные задания, которые определяют степень готовности респондентов к практическому использованию приобретенных теоретических знаний. Наряду с учебной деятельностью, важность таких тестов возрастает при подборе персонала и аттестации работников различных предприятий и организаций, что связано со стремлением руководителей оптимизировать структуру производства. В этом случае от объективности тестов и достоверности полученных результатов зависит действенность принимаемых кадровых решений.

Анализ последних исследований и публикаций. На практике расчетные задания тестов чаще всего формулируются как задания закрытого типа, которые имеют набор статических исходных данных и используют форму ответа «выбор одного варианта ответа из множества предложенных», например [1]. Такой подход имеет ряд недостатков, многократно обсуждаемых в специальной литературе. Более прогрессивным является вариант организации тестового контроля, при котором производится оценивание введенного числового значения ответа (задания открытого типа). Для организации этой формы контроля требуется решить ряд возникающих проблем, связанных с построением (структурой) задания и практической реализацией на компьютере открытости их формы.

Рассмотрим взаимосвязь определения терминов «задание» и «задача», которые часто на практике используются как синонимы. Так в источнике [2], задание (учебное) определено как вид поручения учителя учащимся, в котором содержится требование выполнить какие-либо учебные (теоретические или практические) действия. В словаре [3] задание трактуется как задача, сформулированная обучающим и предписанная для выполнения обучаемому в процессе обучения. В текстологии [4] задание (тестовое) -- элемент теста, минимальная составляющая единица теста. Задание создает определенную ситуацию для испытуемого и позволяет оценить уровень компетенции (предметной, языковой, речевой и т. д.) последнего. Задание формулируется, как правило, в форме утверждения, после ответа на которое, оно превращается в истинное или ложное суждение.

Определение термина «задача» так же многогранно. В [5] указано, что задача может быть определена, по крайней мере, тремя различными способами: 1) как цель, поставленная перед решателем; 2) как ситуация, которая включает в себя и цель, и условия, в которых она должна быть достигнута; 3) как словесная формулировка (знаковая модель) проблемной ситуации. В [3] предлагаются следующие определения: задача -- 1) отраженная в сознании или объективированная в знаковой модели проблемная ситуация, содержащая данные и условия, которые необходимы и достаточны для ее разрешения наличными средствами знания и опыта; 2) форма структурирования и представления экспериментального материала в исследованиях процессов познания и практической деятельности; 3) одна из форм проектирования содержания обучения. Термин задача используется также в нестрогом смысле как синоним цели действия или деятельности.

Таким образом, ввиду многозначности определений, разработке теста должно предшествовать четкое разграничение сути терминов «задание» и «задача» применительно к тестам открытой формы, контролирующих умение респондентов проводить расчеты по изученному материалу.

Как известно [6], контроль знаний и умений обучаемых должен производится с учетом уровня усвоения материала (уровня учебной деятельности). Одним из уровней является алгоритмический уровень учебной деятельности, который характеризуется тем, что обучаемый на основе изученного понятийно-категориального аппарата (ПКА) ограниченной области знаний, осуществляет деятельность в известных ему условиях [7]. ПКА включает терминологическую систему; описание формул; формулирование аксиом, теорем и следствий из них, законов и правил; описание материальных и идеальных объектов (их наименование, назначение и характеристики) [8]. Обучаемый может осуществлять учебную деятельность на базовом алгоритмическом (алгоритмически репродуктивном) уровне или производном алгоритмическом уровне. В первом случае обучаемый производит решение задач, соблюдая изученный алгоритм, во втором -- применяя алгоритм, видоизмененный на основе известных ему зависимостей [7]. Применительно к рассматриваемым в статье материалам, деятельность на алгоритмически репродуктивном уровне -- это проведение расчетов по формуле (цепочке формул), а на производном алгоритмическом уровне -- учебная деятельность, связанная с преобразованием известных респонденту формул

применительно к условиям задачи, и только затем проведение расчетов.

В общем случае оценивание деятельности респондентов на алгоритмически репродуктивном уровне может быть проведено с использованием различных методик, например [9]. Формализация процедуры оценивания учебной деятельности на производном алгоритмическом уровне в настоящее время затруднена и требует отдельного рассмотрения.

Целью статьи является разработка методики создания расчетных тестовых заданий открытого типа на базовом алгоритмическом уровне учебной деятельности.

Исследования проводились в рамках оценивания перспективности использования тестов с заданиями расчетного типа открытой формы в практике подготовки специалистов электротехнического профиля.

В процессе исследований использовались следующие методы: анализ теоретических источников по проблеме структуры тестовых заданий различных типов; проведение педагогических экспериментов; статистическая обработка, анализ, обобщение и оценивание результатов.

Как следует из проведенного анализа, применительно к предмету рассматриваемой статьи, термин «задание» является более емким и включает содержание термина «задача», для которого наиболее целесообразным и наиболее полным является следующее определение [10]: задача, данная в определенных условиях (например, в ситуации проблемной) -- цель деятельности, которая должна достигаться преобразованием этих условий согласно определенной процедуре. Задача содержит требования (цель), условия (известное) и искомое (неизвестное), формулируемое в вопросе. Между этими элементами существуют определенные связи и зависимости, за счет которых производится поиск и определение неизвестных элементов через известные.

На основе приведенного определения можно предложить следующую структуру расчетного задания открытого типа, показанную на рис. 1.

Исходя из структуры (рис. 1), в общем виде формулировка расчетного задания открытого типа имеет вид: решить предложенную задачу и ввести для анализа ответа числовой результат решения в компьютер посредством используемого программного средства.

Характеристики расчетного задания и контролирующей программы

Предметом контроля при выполнении расчетного задания является числовое значение, полученное в результате вычислений, проведенных исходя из условий задачи. Для тестов открытой формы полученное числовое значение должно быть введено респондентом для проверки его достоверности компьютерной программой, реализующей тест.

Исходя из предложенной структуры (рис. 1), в процессе выполнения задания респондент производит следующую учебную деятельность, которая приводит к конечному результату:

1) уяснение содержания задачи;

2) создание мысленного алгоритма ее решения;

3) реализация алгоритма с целью получения численного значения ответа;

4) проведение манипуляций с органами управления компьютера (клавиатурой и мышью) по вводу численного значения ответа в среде программы, реализующей тест.

Рис. 1. Структура расчетного задания

В общем случае к компьютерной программе, реализующей тест, предъявляются следующие требования, выполнение которых обеспечивает учебную деятельность респондента.

1. Программа должна анализировать введенный набор символов и реагировать (информировать пользователя) на формальные ошибки -- наличие символов, не позволяющих считать введенный набор числом.

2. Программа должна учитывать фактор точности результата вычислений (обеспечивать однозначность интерпретации результата при любых способах вычисления с использованием любых средств вычислений).

3. Для контроля должна использовать алгоритм решения задачи, а не набор вариантов исходных данных и результатов решения (который в конечном итоге станет известен студентам). Это требует, чтобы все исходные данные, кроме констант, генерировались случайным образом.

4. Обеспечивать случайный выбор заданий для контроля.

5. Иметь достаточно большую базу заданий, охватывающую материал контролируемой темы.

6. Содержать алгоритм контроля, который обеспечивает оценивание выполнения теста по некоторому минимальному числу выполненных заданий (выбор числа заданий рассматривается в подразделе 3.4), а для опровержения оценки компьютера позволять респондентам использовать дополнительные задания, вплоть до исчерпания всей базы.

Указанные требования были реализованы в программе-оболочке, разработанной в программной среде Excel с использованием Visual Basic for Application [11]. Программа содержит три основных блока, имеющих интерфейс пользователя: блок регистрации, блок контроля и протокол контроля.

Блок регистрации предназначен для идентификации респондента и сопоставления его личностных характеристик с результатами ответа. Интерфейс блока приведен на рис. 2 (в приведенных примерах личные данные пользователя выбраны произвольным образом и не отражают реальные данные контроля).

Рис. 2. Фрагмент интерфейса блока регистрации

После введения данных и нажатия кнопки «Продолжить» программа переходит в блок контроля, варианты интерфейса которого приведены на рис. 3 - рис. 5. Интерфейс блока контроля обеспечивает:

- получение информации о текущем задании (рис. 3);

- визуализацию условий задачи (рис. 3);

- визуализацию формулировки задачи (рис. 3);

- информирование пользователя об оценке выполнения текущего задания в формате «верно -- неверно» (рис. 4);

- возможность получения по запросу респондента верного ответа (рис. 4);

- возможность выбора дополнительных заданий для опровержения отметки, выставленной компьютерной программой (рис. 5).

Рис. 3. Фрагмент интерфейса блока контроля после нажатия кнопки «Следующее задание»

Информация о текущем задании (рис. 3, строка 4) позволяет пользователю контролировать количество выполненных заданий, что является положительным психологическим фактором, снижающим стрессогенность процесса контроля. В строке 5 (рис. 3) приводится описание условий задачи, которое обязательно содержит условные обозначения, используемые при формулировке задачи (строка 6) и вводе- выводе числовых значений (в примере -- строки 8-11). В разработанной программе ответ помещается пользователем в ячейку «В8». Расчеты могут производиться пользователем произвольным способом, в том числе с использованием текущего Листа Excel: ячейки «В8» и/или любых свободных ячеек (что наиболее предпочтительно).

После ввода числового значения ответа в ячейку «В8» пользователь должен нажать кнопку «Ответ окончен». Реакцией программы будет информирование пользователя о достоверности ответа в формате «верно-неверно» (рис. 4, строка 7). В случае неверного ответа пользователь имеет возможность запросить правильный ответ, нажав кнопку «Верный ответ». Независимо от достоверности ответа на текущее задание, пользователь продолжает контроль нажатием кнопки «Следующее задание».

Рис. 4. Фрагмент интерфейса блока контроля после нажатия кнопки «Ответ кончен»

После выполнения минимального количества заданий программа производит оценивание результатов (рис. 5, строка 4). Дальнейшая работа программы зависит от решения пользователя: окончить контроль (тем самым согласиться с выставленной отметкой) или продолжить контроль, выбрав желаемое количество дополнительных заданий (в рассматриваемой версии программы от 1 до 5). Данный процесс может продолжаться до выполнения всей базы заданий (по желанию пользователя). Описанный подход обладает положительным психологическим эффектом, который реализует реальную ситуацию при традиционном контроле, знакомую всем преподавателям: «пожалуйста, задайте еще один вопрос».

После того, как пользователь нажал кнопку «Окончить контроль» (рис. 5) или после исчерпания всей базы заданий имеется возможность просмотра протокола контроля. При верном выполнении задания коэффициент выполнения равен коэффициенту сложности задания (обсуждается в подразделе 3.2), при ошибочном ответе -- равен нулю (рис. 6, строка 18).

Процедура оценивания результатов контроля

Каждому заданию присваивается коэффициент сложности k_s, который на начальном этапе разработки определяется преподавателями-экспертами (проектный коэффициент сложности) и в дальнейшем уточняется по известным методикам, например [9].

Размещено на http://www.allbest.ru/

Рис. 5. Фрагмент интерфейса блока контроля в режиме выбора дополнительных заданий

Индикатор выполнения Ij = 1, если j-ое задание выполнено верно (введенное числовое значение совпадает с заданной точностью со значением, определенным компьютерной программой), и Ij = 0, если -- не верно. В разработанной программе- оболочке принято, что допустимое отклонение ответа не должно превышать А = 4%. Оценивание результатов выполнения теста производится путем сравнения коэффициента выполнения k_v, _m с нормативным коэффициентом выполнения. Значения нормативного коэффициента выполнения заданий теста выбраны, исходя из рекомендаций [6], принятого значения допустимого отклонения, и составляют k_nv = {0, 7; 0, 84; 0, 98}. Принятая шкала оценивания имеет вид: k_v, _m < 0, 7 -- «неудовлетворительно», 0, 7 < k_v, _m < 0, 84 -- «удовлетворительно», 0, 84 < k_v, _m < 0, 98 -- «хорошо», k_vm > 0, 98 -- «отлично».

Анализ результатов педагогических экспериментов На базе программы-оболочки [11] были разработаны два теста на выполнение расчетных заданий. Тест №1 по курсу «Планирование научных экспериментов» (содержит 45 заданий) и тест №2 по курсу «Электрофизические установки для испытаний и исследований» (содержит 40 заданий). Отметим, что их базы заданий могут быть расширены и ограничиваются лишь возможностями компьютера.

По условиям контроля студентам предоставлялась возможность улучшать отметку (повторная сдача теста по желанию). Поэтому приведенные результаты отражают также личностные установки студентов в получении знаний.

Необходимо отметить, что при проведении контроля с использованием разработанной программы проверяется как правильность решения задачи, так и минимальные знания и умения пользоваться программным продуктом Excel (согласно рис. 1). В заданиях открытого типа разделить оценивание не представляется возможным. Однако в практической деятельности расчеты также проводятся с использованием того или иного вычислительного средства, и знание основ пользования программным продуктом (в нашем случае Excel) необходимо специалисту. Поэтому, с точки зрения авторов, такая комплексная оценка результатов тестирования является целесообразной.

Определение начального количества заданий для контроля. В предыдущих подразделах предполагалось, что программа изначально оценивает результат контроля после выполнения минимального количества заданий п. Его выбор произведем из следующих рассуждений. Пусть имеется неограниченная база заданий, из которой респондент не знает решения N % заданий. Тогда вероятность того, что респондент неверно выполнит задание, выбранное случайным образом из базы, составляет q₁ = N/100 < 1, а вероятность того, что респондент неверно выполнит m случайно выбранных заданий, равна [12] q_m = (q₁)^m < q₁. Таким образом, вероятность неверно выполнить m заданий q_m не превосходит значения q₁, которое может служить ее верхней оценкой.

Рассматривается следующая процедура. Из неограниченной базы случайным образом выбирается задание, оно выполняется респондентом и фиксируется коэффициент выполнения, определяемый по соотношению (1) при m = 1. Затем случайным образом выбирается следующее задание, оно выполняется респондентом и фиксируется коэффициент выполнения двух заданий, определяемый по соотношению (1) при m = 2 и так далее до выполнения М заданий. Значения коэффициентов выполнения k_v, _m, полученные в результате описанной процедуры, являются случайными величинами и имеют определенную вероятность появления.

Пусть имеет место событие А, которое заключается в следующем: после выполнения 5 заданий респондентом оказалось, что коэффициент выполнения меньше нормативного k_v, _s < k_nv. Предположим, что события А для любого s одинаковы и вероятность такого события достаточно мала и равна р (используем верхнюю оценку -- q₁). Пусть также в процессе контроля ни для какого s условие k_v, _s < k_nv не выполнялось, то есть событие А не наступило ни разу.

Понятно, что данный подход не обладает математической строгостью (ограничена реальная база заданий, различные вероятности событий А), поэтому в программе предусмотрено, что после выполнения обязательного количества заданий респондент имеет право доказывать более высокий уровень знаний и умений путем решения дополнительных заданий вплоть до исчерпания всей базы заданий.

Использование для оценивания результатов контроля минимального количества случайно выбираемых заданий значительно сокращает временные затраты на проведение тестирования и, как вторичный эффект, снижает психологическую нагрузку на испытуемых.

ВЫВОДЫ И ПЕРСПЕКТИВЫ ДАЛЬНЕЙШИХ ИССЛЕДОВАНИИ

1. Разработана методика и программно реализовано создание тестов с расчетными заданиями открытого типа.

2. Предложена методика оценивания результатов контроля после выполнения минимального количества расчетных заданий открытого типа с возможностью опровержения отметки, выставленной компьютерной программой.

3. Проведенные педагогические эксперименты по контролю знаний на базовом алгоритмическом уровне учебной деятельности показали, что количество студентов, стремящихся к получению высшей отметки, составляет примерно половину от всех испытуемых.

Материалы статьи могут быть использованы для разработки тестов контроля знаний и умений на производном алгоритмическом уровне учебной деятельности и исследования учета сложности расчетных заданий открытого типа.

расчетный задание тестовый контроль

СПИСОК ЛИТЕРАТУРЫ

Размещено на Allbest.ru