Методы оценивания результатов тестирования в программе TestReader

Размещено на http://www.allbest.ru/

Методы оценивания результатов тестирования в программе TestReader

В.В. Карасиков, Д.А. Касаткин

Карасиков В.В., Касаткин Д.А. Методы оценивания результатов тестирования в программе testreader

В статье показаны методы оценивания результатов тестирования, примененные в программе TestReader. Представлены математические обоснования методов оценивания и примеры использования. Приведен сравнительный анализ полученных результатов.

Ключевые слова: тесты, методы оценивания, стохастические методы.

Карасіков В.В., Касаткин Д.О. Методи оцінювання результатів тестування в програмі testreader

У статті показані методи оцінювання результатів тестування, застосовані в програмі TestReader. Представлені математичні обґрунтовування методів оцінювання і приклади використовування. Приведений порівняльний аналіз одержаних результатів авторів.

Ключові слова: тести, методи оцінювання, стохастичні методи.

Karasikov V., Kasatkin D. Methods of evaluation of results of testing in the program of testreader.

The methods of evaluation of results of testing, applied in the TestReader program, are shown in the article. The mathematical grounds of methods of evaluation and examples of the use are represented. The comparative analysis of the got results of authors is resulted.

Key words: tests, methods of evaluation, stochastic methods.

Постановка проблемы в общем виде. Долгое время педагогическую диагностику рассматривали как неотделимую часть педагогической деятельности, поскольку процесс обучения требует оценивания, анализу и самокорректировки. И только во второй половине ХХ столетия она выделилась в самостоятельное научное направление, которое базируется на определенных, научно обоснованных закономерностях.

Педагогическая диагностика является совокупностью методов измерения и оценивания количественных и качественных показателей успешности обучения[1].

Основными категориями процесса измерения уровня знаний являются:

· метод измерения (каким образом определяют измеряемые показатели);

· инструмент измерения (с помощью чего будет производиться измерение)

· процедура измерения (каким образом происходит измерение)

· Процедура оценивания (как измеренная величина преобразуется в количественное представление)

Таким образом, проблема четкого определения критериев процесса измерения уровня знаний является одной из важнейших проблем процесса обучения, которой занимаются ряд современных исследователей.

Анализ последних исследований и публикаций. Если рассматривать проблему уже, а именно - измерения уровня знаний с использованием компьютерных тестов, то можно выделить следующих исследователей: И.Е. Буллах[1], Л.М. Кутепова[2], А.М. Брежнев, Т.А. Брежнев[3], Л.В Жовтан [4], Н.Н. Самылкина[5] и др.

В работах современных исследователей и разработчиках программного обеспечения мы видим различные методы измерения (тесты с множественным и единственным выбором варианта ответов, тесты на сопоставление, тесты для ручного ввода ответа, «мазайка», «маршрут», «сборка»), различные процедуры измерения (традиционный тест, адаптивные тест). Однако не достаточно четко рассмотрены методы оценивания.

Формулирование целей статьи. Целью статьи является описание математически обоснованных методов оценивания, применяемых в программе TestReader.

Изложение основного материала. Рассмотрим методы оценивания в программе TestReader. Сначала введем условные обозначения: «wi» - вес i-го вопроса в тесте; «сi» - вес правильных ответов данных на i-ый вопрос теста; «М» - максимальный бал за весь тест. «N» - число вопросов в тесте. Тогда:

 - Вес всех вопросов в тесте;

- Вес правильных ответов в тесте;

оценивание результат тестирование testreader

В программе TestReader предлагается 4 метода оценивания: линейный, стохастический, степенной и пользовательский.

Линейный метод оценивания. Этот метод представляет собой прямую пропорцию между числом правильных ответов и числом заданных вопросов. Упрощено это формулу можно представить следующим образом:

; (1)

Оценка, полученная по формуле (1) является действительным числом, из которого нужно получить оценку в баллах, т.е. получить целое число, объективно отражающее результат оценивания. При переходе к целому числу можно воспользоваться следующими вариантами: округление числа, и отбрасывание дробной части. В первом случае мы получаем не равномерное распределение, т.е. число верных ответов для перехода от одного балла к другому не одинаково. Во втором случае мы получаем, что максимальный балл достигается только при абсолютно верно пройденном тесте. Мы предлагает следующий вариант линейного оценивания:

(2)

Где квадратные скобки означает отбрасывание дробной части.

Таким образом, мы получаем метод оценивания, при котором, 0 можно получить только в случае, если все ответы неверны, а остальные баллы распределены равномерно. Сравнения 4-х способов оценивания показаны на рисунке 1.

Размещено на http://www.allbest.ru/

Рис. 1. Варианты линейного способа оценивания

Стохастический метод. В основу этого метода лежит гипотеза «Если учащийся отвечает не лучше чем, если бы он выбирал ответы случайным образом, то он не ориентируется в вопросах теста и не может быть аттестован». Ключевым моментом в данном утверждении является понятие «случайный ответ». Таким образом, мы имеем следующую задачу из теории вероятности «Сколько правильных ответов можно получить, выбирая ответы случайным образом».

Рассмотрим два случая: случай первый, когда в ответе присутствует только один верный ответ, и, случай второй, когда в вариантах ответа есть хотя бы один неверный и хотя бы один верный ответ.

Случай первый (Число верных ответов строго равно 1, вопросы теста равновесны). Введем дополнительно следующие условные обозначения: - количество вариантов ответа на i-ый вопрос. Тогда[6]:

- вероятность выбрать верный ответ на i-ый вопрос отвечая на него случайно;

В случае если вопросы теста не зависимы друг от друга, то мы можем получить вероятность угадать правильные ответы для всего теста:

(3)

А число правильных ответов, в случае если ответы выбирались случайно(V):

(4)

(5)

Величину V для удобства будем называть стохастическим весом теста.

При вычислении на компьютере удобнее использовать вместо формулы (5) следующую формулу:

 (6)

где « \ » - операция целочисленного деления.

Строго говоря, формулы (3), (5) и формула (6) не эквивалентны, но можно доказать:

, (7)

где nmax и nmin - максимальное и минимальное количество вариантов ответов в пройденных вопросах соответственно.

Из формулы (7) видно, что при одинаковом количестве вариантов ответа на каждый вопрос формулы 3,5, и 6 эквивалентны. Покажем на примере, на сколько отличаются способы вычисления при N=50, ; и число вопросов с максимальным и минимальным числом вариантов ответа одинаково и строго равно N/2=25.

Где V1 - стохастический вес, вычисленный по формуле 5; V2 - стохастический вес, вычисленный по формуле 6.

Можно доказать, что случай когда число минимальных вариантов ответа и число максимальных вариантов ответа строго равно N/2 является экстремальным, т.е. разница в значениях полученных по формулам 5 и 6 при других условиях будет меньше. Таким образом, при типичных параметрах теста ошибка в вычислении числа угаданных ответов не превосходит один ответ, при этом при вычислении по формуле 6 мы остаемся в поле целых чисел, что экономит время вычисления и память компьютера.

После определения стохастического веса формула для вычисления оценки программы будет выглядеть следующим образом:

(8)

(9)

Формулы 6 и 9 используются для вычисления оценки в программе TestReader версии 4. Четвертая версия подходит для маломощных компьютеров, с минимальными требованиями к ресурсам компьютера.

Случай второй (число верных ответов больше либо равно 1)

Введем следующие условные обозначения: - число верных ответов, данных на i-ый вопрос; - число верных ответов в i-том вопросе; - число данных ответов на i-ый вопрос. Тогда:

вес верных ответов i-ого вопроса;

Можно отметить, что стохастический вес для i-го вопроса есть ни что иное как вероятность угадать правильный ответ отвечая на i-ый вопрос случайным образом умноженная на вес вопроса, а стохастический вес всего теста это сумма стохастических весов всех вопросов.

Рассмотрим 2 подслучая: когда <и когда ?.

В первом подслучае для вычисления стохастического веса задача формулируется как: «Какова вероятность того, что все данные ответы окажутся верными»; во втором подслучае: «Какова вероятность того, что все верные ответы выбраны».

В первом подслучае вероятность того, что все данные ответы окажутся верными вычисляется по формуле:

(10)

Так как формула 10 дает возможность рассчитать вероятность ответить случайно не на весь вопрос, а только на его часть, то в формулу для вычисления стохастического веса она должна входить с коэффициентом и иметь следующий вид:

; (11)

Во втором подслучае вероятность того, что все верные ответы выбраны вычисляется по формуле[12]:

(12)

А стохастический вес вычисляется по формуле:

; (13)

Подставляя в формулу 8 или 9 значения С, W, V получаем формулу для вычисления оценки программы.

Параболический метод. Если строить степенную функцию для случая, когда в тесте только 2 ответа (один верный и один неверный) задав следующие условия: касательные и значение в точках (0,0) и (N,M) совпадают со значением стохастической оценки, то получим следующую функцию для определения оценки:

(15)

(16)

Кроме того, формула 15 может считаться аппроксимирующей функцией для случая, когда число вариантов ответа равно 3(коэффициент корреляции равен 0,993813) или 4 (коэффициент корреляции равен 0,990376).

Пользовательский метод. Для пользователя программы так же есть вариант ввода формулы для вычисления оценки программы самостоятельно. При вводе формул используются правила построения формул аналогичные правилам в Excel. Помимо этого введены следующие условные обозначения: «C» - вес верных ответов; «W» - вес всех вопросов теста; «P» - стохастический вес; «Х» - число поставленных вопросов; «Y» - число вопросов в тесте; «Z» - число верных ответов данных тестируемым; «U» - число неверных ответов данных пользователем; При вычислении оценки программы используется следующая формула:

(17)

Где - пользовательская функция

Для правильного вычисления пользователь должен вводить функцию с областью определения из отрезка [0,1], где 1 соответствует максимальному баллу за тест. Примером пользовательской функции может служить: (С-U*0.33)/W -самостоятельно назначен штраф за выбор неверного ответа.

Выводы и перспективы дальнейших исследований. В данной статье приведены методы оценивания результатов тестирования с единственным и множественным выбором правильных ответов.

Дальнейшее исследования предполагает описание методов оценивания в случае ручного ввода ответа и как частный случай выбора последовательностей и сопоставлений в тестах.

Литература

1. Основи педагогічного оцінювання. Частина I. Теорія: Навчально-методичні та інформаційно-довідкові матеріали для педагогічних працівників / За заг.ред. Ірини Булах - К: Майстер-клас,2005. - 96 с.

2. Кутепова Л.М. Професійна підготовка майбутніх учителів до оцінювання навчальних досягнень учнів засобами інформаційних технологій/ Л.М. Кутепова //Вісник луганського національного педагогічного університету ім. Т.Г. Шевченка. - 2006. - №21(116). - С.193-200.

3. Брежнев А.М. Средства мультимедиа в тестах /А.М. Брежнев, Т.А. Брежнев// Вісник луганського національного педагогічного університету ім. Т.Г. Шевченка. - 2006. - №21(116). - С.55-63.

4. Жовтан Л.В. Дослідження навчальних можливостей учнів у ході тестування/ Л.В. Жовтан // Вісник луганського національного педагогічного університету ім. Т.Г. Шевченка. - 2007. - №21(137). - С.116-128.

5. Самылкина Н.Н. Современные средства оценивания результатов обучения / Н.Н. Самылкина. - М.:БИНОМ. Лаборатория знаний, 2007. - 172 с.

6. Корн Г., Корн Т. Справочник по математика для научных работников и инженеров/под общ.ред. И.Г. Араманович - M: «Наука», 1973. -832 с.

Размещено на Allbest.ru