Оценка продолжительности тестирования в зависимости от сложности теста

Размещено на http://www.allbest.ru/

ОЦЕНКА ПРОДОЛЖИТЕЛЬНОСТИ ТЕСТИРОВАНИЯ В ЗАВИСИМОСТИ ОТ СЛОЖНОСТИ ТЕСТА

Хузиахметова А.Р., Нуриев Н.К., Хузиахметова Р.Н.

ФГБОУ ВО «Казанский национальный исследовательский технологический университет», Казань

При создании тестов продолжительность тестирования является значимым фактором, определяющим качество получаемых в процессе тестирования результатов. Превышение или уменьшение оптимального времени тестирования снижает качественные показатели теста. В данной статье дается обоснование продолжительности тестирования в зависимости от сложности тестовых заданий, предлагаемых студентам при оценке полноты усвоенных знаний курса высшей математики. Для этого преподаватель определяет временной интервал, в течение которого он выполнит все тестовые задания, тем самым оценивая сложность предложенного теста. Продолжительность ответа студентов рассматривается как случайная величина. В результате обработки достаточно большого массива экспериментальных данных определяются продолжительность тестирования и его зависимость от сложности теста. Для описания полученной зависимости и реализации результатов предлагается преобразование координат. Вводимая функция имеет смысл обратного времени и определяет время, оставшееся до конца тестирования. На основании статистического анализа было установлено, что данная случайная величина - время до конца тестирования - подчиняется экспоненциальному закону. Для практического использования результатов исследования в заключении приводится соотношение, позволяющее установить допустимое значение продолжительности тестирования, чтобы объективно оценить качество знаний студента из освоенной им предметной области.

THE ASSESSMENT OF THE TEST DURATION DEPENDING ON THE TEST COMPLEXITY

Khuziakhmetova A.R., Nuriev N.K., Khuziakhmetova R.N.

FGBOU VO «Kazan National Research Technological University», Kazan

While creating the tests, testing process duration is a significant factor that determines the quality of the results obtained in the process of testing. Exceeding or reducing of the optimal test time reduces the quality indicators of the test. In this article you can find the substantiation of test duration in dependence on the complexity of the test tasks which are offered to students during the assessment of completeness of the gained knowledge on the higher mathematics course. To do this, the teacher determines the time interval during which he completes all the tests, thereby assessing the complexity of the proposed test. The length of students' response is considered as a random variable. As a result of processing of the sufficiently large array of experimental data, the duration of the test and its dependence on the test complexity are determined. To describe the obtained dependence and implement the results, the coordinate transformation is proposed. The input function has the meaning of the inverse time and determines the time remaining until the end of the test. On the basis of statistical analysis it was found that this random variable - the time until the end of the test, is a subject to exponential law. In order to provide the practical usage of the study results, in conclusion you can find a ratio that allows you to set the acceptable value of the test duration to objectively assess the quality of student's knowledge from his subject area.

Keywords: knowledge control, test complexity, assessment of the test duration, return time, exponential law of distribution

В процессе математической подготовки студентов в метрическом компетентностном формате как в одной из форм педагогической технологии необходимо установить достаточно точные метрики средств обучения, в частности продолжительность тестового контроля знаний, оценку сложности тестовых задач.

Педагогическое тестирование как инструмент проверки качества усвоенных знаний является широко распространенным средством контроля знаний студентов. К примеру, методика оценки продолжительности тестирования для дисциплины «Прикладная математика» направления подготовки «Информационные системы и технологии» рассмотрена в [1]. Какова продолжительность тестирования при изучении курса высшей математики студентами направления «Химическая технология» в технологическом университете, чтобы объективно, т.е. с учетом психологических и интеллектуальных особенностей обучаемого, оценить качество усвоенных им знаний?

Материал и методы исследования

Пусть S - продолжительность временного интервала, в течение которого преподаватель (эксперт) выполнит все задания предложенного теста (S - экспертное время). Очевидно, что ни один из студентов не выполнит тестовые задания за время, меньшее S. Обозначим через V время окончания студентами всего теста, т.е. весь состав тестируемых студентов закончит работу на интервале [S; V].

Тест на полноту усвоенных знаний содержит 10 вопросов (полнота знаний - это мера знаний теории в рамках рассматриваемой дисциплины). Варианты теста являются однородными по содержанию и одинаковыми по сложности. Сложность каждого задания случайно выбранного теста оценивает эксперт - преподаватель в минутах работы (мин/раб) [2].

Перейдем к оценке случайной величины Х - времени выполнения студентом теста на полноту усвоенных знаний. Ее значение лежит в достаточно широком диапазоне: скорость реакции студентов на вопрос теста различна [3]. Нужно учесть и тот факт, что некоторые студенты не успевают ответить на вопрос по причине незнания материала. Таким студентам время тестирования можно увеличивать сколь угодно, но качество ответов от этого не улучшится [4].

К промежуточному экзамену (коллоквиуму) по теме «Дифференциальное исчисление функции одной переменной» были допущены 115 студентов. Усредненные данные представлены в таблице 1.

Таблица 1. Закон распределения случайной величины X теста на полноту усвоенных знаний

Пусть Х - случайная величина - время выполнения студентом тестовых заданий. P(X < 1,25 * S) = 0, т.е. вероятность того, что студент выполнит тестовые задания за время, меньшее, чем 1,25 * S, равна нулю, где S - сложность теста. Ко времени 2,75 * S тестирование завершит чуть более половины студентов: P(X < 2,75 * S) = 0,659 и т.д. Из данных таблицы видно, что время выхода студентов по завершении тестирования начинается с момента времени 1,25 * S). В этом случае величина X будет распределена по нормальному закону с распределением Гаусса [5]. Полигон относительных частот, представленный на рисунке 1, иллюстрирует тот факт, что студенты стараются как можно полнее использовать отведенный лимит времени и заканчивают тестирование по его истечении. Возникает вопрос: сколько времени (величина V) нужно дать студентам, чтобы они ответили на поставленные 10 вопросов независимо от скорости (быстроты) реакции при достаточной подготовке по конкретному разделу?

Рис. 1. Полигон относительных частот времени тестирования

Тест на полноту содержит вопросы теоретического характера: определения, свойства, методы вычисления соответствующих характеристик, приложения. Соответственно, независимо от продолжительности тестирования V оценка за тест, как правило, полностью зависит от степени подготовленности студента. Понятно, что многие студенты, даже выполнив все задания, не покидают аудиторию до окончания тестирования (параметр V). Однако неподготовленным студентам выделенного для ответов времени всегда будет недостаточно. Цель данной работы - обосновать выбор времени V, так как излишнее увеличение времени тестирования не приведет к улучшению качества ответов студентов.

Авторами выполнен значительный объем наблюдений при проведении тестирования со студентами института нефти и нефтехимии по следующим разделам курса высшей математики: линейная и векторная алгебра, аналитическая геометрия, дифференциальное и интегральное исчисления функции одной переменной, комплексные числа, дифференциальные уравнения. Полученные результаты дают основание считать, что продолжительность тестирования не должна превышать величины 3S, а функция плотности вероятности распределения времени тестирования имеет вид, представленный на рисунке 2 (V = 3S).

Рис. 2. Вид функции плотности вероятности случайной величины Х

В таблице 2 представлен статистический ряд данных на полноту усвоенных знаний по линейной, векторной алгебре (объем выборки n = 77).

Таблица 2. Наблюдаемые частоты, полученные в ходе тестирования

Описание зависимости, представленной на рисунке 2 и соответственно в таблице 2, достаточно сложно, поэтому предлагается другой путь, более простой в реализации и интерпретации результатов. А именно вводится линейная функция вида:

т = V-1,

представляющая собой преобразование координат. При этом начало координат переносится в точку t = V, ось абсцисс меняет свое направление на противоположное, а величина т, имея смысл обратного времени, показывает, сколько времени осталось до конца тестирования. Точка S оси t отображается на оси т в точку V - S. Полигон относительных частот «обратного времени» представлен на рисунке 3, вариационный ряд - в таблице 3.

Рис. 3. Полигон относительных частот «обратного времени»

Таблица 3. Вариационный ряд «обратного времени»

Функция плотности вероятности распределения «обратного времени» g(t ) с достаточной степенью точности аппроксимируется кривой, приведенной на рисунке 4, описание которой задается однопараметрической функцией:

Где l интерпретируется как интенсивность выхода студентов по окончании выполнения тестовых заданий и определяется как величина, обратная среднему времени тестирования, т.е.

Определение экспертного времени S не вызывает затруднений и является, как правило, достаточно надежной величиной. Значение интенсивности А как величины, обратной среднему времени тестирования, не обладает подобной устойчивостью, поскольку степень готовности студентов к тестированию различна. Проверим гипотезу о том, что время, оставшееся до конца тестирования, при уровне значимости 0,05 распределено по показательному закону, т.е. функция g (г) = Xe может быть использована для описания данной величины (случайная величина г - «обратное время»). Проверку выполним по классическому критерию согласия %². Результаты вычислений сведены в таблицу 4.

Рис. 4. Вид функции плотности вероятности распределения «обратного времени»

Таблица 4. Наблюдаемые и теоретические частоты, полученные в ходе эксперимента

Теоретические значения частот ni вычислялись по формуле

n_t = n х р,

где n - объем выборки,

р - относительная частота соответствующего разряда экспоненциальной функции g (г) = Xe; для нахождения выборочной средней х_в в качестве «представителя» і-го интервала принималась его середина х* = (г + г_м ) / 2:

- выборочная средняя, где х* - середина интервалов таблицы 3:

Хв = (17 х 0,125 +16 х 0,375 +11 х 0,625 + 9 х 0,875 + 8 х 1,125 + 8 х1,375 + 2 х 1,625 + 2 х 1,875 + 4 х 2,125)/77 = 0,76;

— оценка параметра предполагаемого показательного распределения:

X = 1 / Хв = 1 / 0,76 = 1,32.

Таким образом, дифференциальная функция предполагаемого показательного распределения имеет вид f (г) = 1,32 - e~^1,32г (г > 0).;

- вероятности попадания г в каждый из интервалов: р = e~Хг` - e~Xt,+1. Например, для первого интервала р = P(0 <г< 0,25) = e ~1,32"0 - e_1,32"0,25 = 1 - 0,719 = 0,281. Аналогично вычисляются вероятности в остальных интервалах: Рі = 0,202, Рэ = 0,145, Р4 = 0,105, P5 = 0,075, Рб = 0,055, Ру = 0,038, Р8 = 0,029, Р9 = 0,07;

- теоретические частоты ni = 77 * P_i, i = 1,9: n₁= 21,637, n₂ = 15,554, n₃ = 11,165, n₄ = 8,085, n₅ = 5,775, n₆ = 4,235, n₇ = 2,926, n₈ = 2,233, n₉ = 5,39.;

- определяем значение критерия по формуле:

тестирование вычисление математический студент

- по таблице критических точек распределения, по заданному значению а =0,05 и числу степеней свободы k = s - 2 = 9 - 2 =7 находим х1_рит = Z²(0,05;7) = 14,1.

Так как х^_абл < %К2_рит, то нет оснований отвергнуть гипотезу о показательном распределении «обратного времени».

Результаты исследования, выводы. Итак, при подготовке к тестированию студентов исходя из полученных результатов необходимо действовать по следующему алгоритму:

- эксперт (преподаватель) оценивает S - сложность (трудоемкость в мин/раб) теста;

- продолжительность теста V полагается равной 3S: V = 3S.

Как показывает опыт, полученную эвристическую формулу V = 3S (обоснованная продолжительность тестирования) можно использовать только в ограниченном диапазоне измерений S. При S > 25 мин результат тестирования ухудшается: начинает действовать новый фактор - усталость студента. В нашем случае S = 8 мин.

Список литературы

1. Печеный Е.А., Старыгина С.Д. Дидактическая инженерия: модель построения оптимального расписания для поточного тестирования // Образовательные технологии и общество. 2017. № 4. С. 430-442.

2. Хузиахметова А.Р. Математическая подготовка студентов в метрическом компетентностном формате // Образовательные технологии и общество. 2014. № 4. С. 636644.

3. Чошанов М.А. Дидактика и инженерия. М.: БИНОМ. Лаборатория знаний, 2011. 248 с.

4. Беспалько В.П. Педагогика и прогрессивные технологии обучения. М.: Изд-во Института профессионального образования МО России, 1995. 342 с.

5. Гмурман В.Е. Теория вероятностей и математическая статистика. Учебное пособие для вузов. М.: Изд-во Юрайт, 2012. 478 с.

Размещено на Allbest.ru