Метод с-индекса для выявления списывания в тестировании

Размещено на http://www.allbest.ru/

75

Метод с-индекса для выявления списывания в тестировании

Введение^© Соколов А. В., 2014

В современном мире знания, умения и навыки являются одними из главных факторов, определяющих местоположение человека в обществе, уровень его материального благополучия, духовного развития. В результатах объективной оценки качества образования заинтересованы как бизнес, общество, так и прошедший обучение человек. Одной из форм измерения уровня знаний является проведение экзамена в виде тестирования, которое широко применяется в мире и активно внедряется в последние годы в России. Например, для оценивания знаний выпускников общеобразовательных школ проводится ЕГЭ, тесты как форма контроля знаний студентов широко распространены в вузах.

Осуществлять оценку подготовленности учащихся необходимо объективными и надежными методами, исключающими субъективизм и произвол. Не менее важно разрабатывать методы контроля и вести борьбу с мошенничеством при проведении тестирования. Бездеятельность в данной сфере приводит к искажению результатов и дискредитирует саму идею о равных, честных, объективных испытаниях.

1.Методы мошенничества в тестировании

Для начала определим, что же в дальнейшем будет пониматься под выражением "мошенничество при проведении тестирования" (для краткости далее - мошенничество). Мошенничество - это все способы для достижения результата в обход установленных правил проведения экзамена.

Глубокий и многосторонний обзор причин, методов, тенденций мошенничества, а также методов его определения содержится в работе Cizec 1999 г. [4].

Методы мошенничества можно разделить на три группы:

a)использование запрещённых материалов и информации в ходе экзамена;

b)передача информации между тестируемыми в ходе экзамена;

c)получение преимущества на экзамене (посторонняя помощь, предварительный доступ к материалам экзамена).

2.Модель поведения списывающего

При разработке методов сравнения работ на схожесть ответов моделируется поведение списывающего. Действия списывающего во время экзамена можно описать предположениями:

1) Если знает правильный ответ, то его записывает.

2) Если не знает и может списать, то списывает.

3) Если не знает и не может списать, то угадывает.

Необходимо отметить, что если мошенник списывает, то он списывает ответы, которые впоследствии могут оказаться как верными, так и неверными.

3. Выявление мошенничества

Методы выявления мошенничества можно разделить по виду стратегии на две группы: наблюдаемые и статистические. Как можно понять из названия, наблюдаемые методы основываются на наблюдениях за поведением тестируемых, которые позволяют сделать вывод о мошенничестве. Например, выявление подглядывания ответов у других тестируемых или наличие физических доказательств мошенничества, т.е. изъятие шпаргалок, телефонов с ответами и т.д. Статистические методы основываются на оценке вероятности полного или неполного повторения последовательности ответов двумя разными людьми. Например, если возможность случайного повторения точно такого же набора ответов будет вычислена как 1 к 100000, следовательно, с вероятностью 99999 из 100000 можно сказать, что данное повторение отнюдь не случайно.

4.Статистические методы выявления мошенничества

Все численные статистические методы выявления мошенничества имеют одну особенность: они основываются на тщательно подобранных предположениях и допущениях о поведении статистических величин. Нельзя сказать, что статистический метод выявил мошенничество. Он лишь может указать на некоторые статистические аномалии, которые могут быть объяснены мошенничеством при проведении тестирования.

При применении статистических методов надо учитывать два положения. Первое: статистический метод не может ничего установить, кроме того, что данное событие является обычным или отличается от подобных событий. Второе: статистический метод может выявить только одну или две формы мошенничества. А именно: абсолютное копирование ответа - для определения данного вида мошенничества статистический метод имеет высокую способность к обнаружению, и относительное копирование - для определения которого статистический метод имеет небольшие шансы на успех. В отличие от абсолютного копирования при относительном копировании происходит не полное перенесение всех ответов с одного бланка на другой. Это может быть обусловлено невозможностью полного копирования, ошибками при переносе ответов, осознанным желанием придать списанному ответу независимый от оригинала вид.

5.Проблемы использования статистических методов для выявления мошенничества

Любые статистические методы, использующиеся для выявления мошенничества в ходе экзаменов, сталкиваются с четырьмя проблемами:

1. Применимость. Статистические методы могут помочь для определения только копирования ответов. Но они не смогут определить, воспользовался ли человек при выполнении заданий шпаргалками, посторонней помощью.

2. Чувствительность. Статистические методы могут определить копирование, если количество списанных ответов весьма значительно.

3. Мошенник и жертва мошенничества. Выявив при помощи статистических методов похожие работы, с большим процентом скопированных ответов, невозможно установить какая работа принадлежит мошеннику, а какая тому, у кого были скопированы ответы.

4. Ограничения размера. Статистические методы могут применяться только при наличии относительно большого числа заданий в тесте.

6.Краткий исторический обзор и современные исследования определения мошенничества статистическими методами

На сегодняшний день уже существуют и продолжают разрабатываться различные статистические методы определения списывания.

Первый статистический метод - метод шансов - был представлен в 1945 г. Dickinson [6]. В 1954 г. был предложен Anikeef-метод [2]. Saupe в 1960 г. разработал метод регрессий [10]. Angoff в 1974 г. предложил метод В-индекса [1]. Schumacher в 1980 г. [11] предложил хи-квадрат технику для оценивания правдоподобия независимости идентичных и неидентичных ответов. Для выявления списывания Levine и Rubin в 1979 г. [8], Madsen в 1987 г. [9] использовали модели, построенные на основе IRT-теории. Cody в 1985 г. [5], Bellezza и Bellezza в 1989 г. [3] предложили процедуры на основе Anikeef-метода. Хороший обзор этих методов представлен Cizec в [4].

США являются одним из признанных научных центров по вопросам тестирования. Служба тестирования в образовании (Educational Testing Service) США для определения мошенничества использует статистический метод, который называется метод К-индекса, представленный в 1996 г. Holland [7]. Он основывается на оценке вероятности совпадения неправильных ответов в заданиях с множественным выбором. Впоследствии метод К-индекса стал основой для дальнейшего развития методов по определению копирования ответов.

В методе щ-индекса, предложенном Wollack в 1997 г. [14], используется сравнение наблюдаемых ответов с ожидаемым распределением неправильных ответов, полученным на основе IRT-теории.

В методе S-индекса, разработанном Sotaridona и Meijer в 2002 г. [13], предлагается использование альтернативного от К-индекса варианта представления квадратичной регрессии для соотношения одинаковых неправильных ответов.

7.Применимость К-индекса и других современных методов для выявления копирования в рамках проведения ЕГЭ

В выборе метода для определения копирования одну из главных ролей играют исходные условия тестирования. Если ставить задачу по выявлению копирования в рамках проекта ЕГЭ, то возникает ряд ограничений на выбор методов. Условия проведения единого государственного экзамена таковы, что в одном пункте проведения экзамена число человек, с одним и тем же вариантом, обычно чуть меньше или больше десяти, в редких случаях несколько десятков. Так как списывание может происходить только между тестируемыми с одним вариантом, то для выявления копирования должен использоваться метод, который может оперировать малым количеством данных для статистического анализа.

Sotaridona в работе [12] показал, что не рекомендуется использовать метод K-индекса для маленьких наборов данных (число изучаемых на списывание работ меньше 100), основанном как на эмпирическом распределении, так и при теоретической аппроксимации. Эти выводы подтвердились при попытках применить метод К-индекса для выявления копирования, используя данные результатов ЕГЭ 2006 г. Для построения других современных теоретических моделей, также необходим минимальный набор статистических данных [15].

8.Метод выявления схожести работ при помощи С-индекса

Для выявления списывания в ходе ЕГЭ необходимо использовать методы, которые позволяют обойти проблему малой выборки результатов тестирования. По технологии проведения ЕГЭ используется большое количество разных вариантов теста и в отдельно взятом пункте проведения экзамена находится сравнительно невысокое число участников тестирования. Следовательно, современные методы, использующие массив начальных данных для построения теоретических моделей ответов тестируемых, для этой цели не могут быть использованы. Поэтому предлагается использовать метод сравнения работ на схожесть ответов, описанный ниже.

Для проверки на списывание имеются лишь правильные и неправильные ответы. Одинаковые правильные ответы на одни и те же задания могут быть объяснены хорошим знанием данной темы. Но если у разных людей повторяются одинаковые неправильные ответы, то возникает подозрение, что они были списаны. Так как при независимом выставлении ответов на задания и при угадывании вероятность совпадения последовательности одинаковых неправильных ответов уменьшается с увеличением величины этой последовательности. Поэтому особенное внимание уделяется одинаковым неправильным ответам в разных работах.

Обозначения:

n - число заданий в тесте.

- число неправильных ответов у тестируемого i.

- число заданий с одинаковыми неверными ответами тестируемых i и j.

- число заданий с неверными ответами у обоих тестируемых i и j.

- общее число заданий с неверными ответами у пары тестируемых i и j (неверный ответ хотя бы у одного из них).

На рисунке представлена модель ответов на задания многостолбцового теста тестируемых i и j. Знаком « + » обозначены верные ответы, знаком « - » обозначены неверные ответы. Заштрихованной областью обозначены совпадающие неверные ответы в паре тестируемых i и j ().

Исходя из модели поведения списывающего, можно сделать некоторые предположения о виде ответов, которые будут отмечены в паре источник копирования - списывающий.

Предположение первое

Списывающий, при незнании правильного ответа на задание и при возможности списать, будет стараться абсолютно точно скопировать ответ. Соответственно, при проверке работ будут выявлены правильные и одинаково неправильные ответы на задания. И чем больше списывающий скопирует ответов, тем более будут похожи работы друг на друга. При абсолютном копировании ответы в работах будут тождественны друг другу. Данное предположение можно записать при помощи отношения числа заданий с одинаковыми неверными ответами у тестируемых i и j к общему числу заданий с неверными ответами у пары

.(7)

Величины обладают следующими свойствами: , , когда число неправильных ответов одинаково у i и j и все неправильные ответы полностью совпадают (). Эта ситуация возникает при полной тождественности работ, , когда нет ни одного общего неправильного ответа в паре i и j ().

Значение для списанных работ будет тем больше, чем больше списывающий перепишет неправильных ответов. Это приведёт к увеличению значения числителя , что в конечном итоге приводит к увеличению всей величины .

В случае, когда , т.е. в обеих работах, даны правильные ответы на абсолютно все задания, то . При вычислении отношения возникает неопределённость типа 0/0. В этом случае будем определять значение как , что говорит о полной идентичности ответов.

Предположение второе

Можно предположить, что при списывании неправильные ответы в обеих работах будут максимально похожи друг на друга. Так как списывающий старается скопировать по возможности максимально большую часть ответов.

Величина будет стремиться к нулю в скопированных работах. Если же оба ученика плохо подготовлены по определённым темам предмета и не списывают друг у друга, то величина будет больше, чем если бы один списал ответы по данной теме у другого.

Коэффициент, который показывает, насколько похожи неправильные ответы на задания в обеих работах будет

.(8)

Величины обладают следующими свойствами: , , когда или , т.е. все неправильные ответы тождественно совпадают друг с другом.

, когда , т.е. в паре все ответы неправильные и ни один не совпадает.

При абсолютном копировании из-за абсолютной идентичности ответов коэффициент .

Если перемножить между собой и , то можно получить величину

.(9)

Формулу (9) можно также переписать в виде

. (10)

Параметр принимает значения .

, при абсолютной идентичности работ друг с другом.

, когда нет ни одного общего неправильного ответа в паре i и j.

Параметр становится тем больше, чем больше было переписано неправильных ответов.

Параметр становится тем меньше, чем меньше одинаковых неправильных ответов и больше различий в работах.

По смыслу данный коэффициент можно назвать С-индекс, или индекс списывания для пары тестируемых i и j.

Очевидно, что . Данный индекс будет одинаковый для пары тестируемых i - j и пары тестируемых j - i. Т.е. невозможно при помощи него определить, кто у кого списал.

Метод С-индекса позволяет довольно просто выявлять пары работ с чрезмерно повышенным содержанием повторяющихся неправильных ответов. Для причисления пары работ к подозрительным на списывание служит повышенная величина С-индекса. Критерии нормальности могут устанавливаться различными способами.

9.Применение метода С-индекса для выявления списывания в ЕГЭ

Применимость метода С-индекса для выявления списывания апробировалось на результатах ЕГЭ 2006 г. по русскому языку. Изучались на предмет схожести ответы на 31 вопрос из экзаменационной А части. В этой части на каждое задание требовалось дать один ответ из четырёх возможных. Следовательно, на каждое задание есть один правильный и три неправильных ответа. Подозрительными на списывание пары ответов учащихся можно считать пары с величиной С-индекса больше или равным 0,5. Данный показатель подбирался эмпирически и находил подтверждение при сравнении ответов в экзаменационных частях B и С.

Ниже приводятся несколько примеров. Подозрительные на списывание работы выделены фоном.

Таблица 1. Сравнение ответов на 31 задание А-части ЕГЭ 2006 г. по русскому языку в Кабардино-Балкарии в пункте проведения экзамена № 101. Вариант № 362 (7 человек)

Таблица 2. Сравнение ответов на 31 задание А-части ЕГЭ 2006 г. по русскому языку в Кабардино-Балкарии в пункте проведения экзамена № 103

Данные, полученные при помощи метода выявления подозрительных на списывание работ, можно проанализировать в целом по России и в сравнении по регионам. На основании анализа можно сделать предположение о нарушениях технологии проведения ЕГЭ в отдельных регионах России.

В табл. 3 представлены результаты проверки на списывание методом С-индекса ЕГЭ 2006 г. по русскому языку в основной день проведения экзамена. Регионы с аномальными значениями числа подозрительных на списывание работ выделены цветом.

Таблица 3. Результаты проверки на списывание методом С-индекса ЕГЭ 2006 по русскому языку в основной день по регионам России (сравнивались работы учеников одного варианта в одном и том же пункте проведения экзамена)

Приведённые в табл. 3 данные по регионам с аномальным процентным содержанием подозрительных работ на списывание в 2006 г. довольно хорошо коррелируют с данными Рособрнадзора по нарушениям в регионах в ходе ЕГЭ-2013 [16].

Список литературы

списывание тестирование мошенничество статистический

1.Angoff W.H. The development of statistical indices for detecting cheaters. Journal of the American Statistical Association, 69(345). 1974. P. 44-49.

2.Anikeef A.M. Index of collaboration for test administrators. Journal of Applied Psychology, 38(3). 1954. P. 174-177.

3.Bellezza F.S. & Bellezza S.F. Detection of cheating on multiple-choice tests by using error similarity analysis. Teaching of Psychology, 16(3). 1989. P. 151-155.

4.Cizec G.J. Cheating on test: How to do it, detect it, and prevent it. Lawrence Erlbaum Assosiated, Mahwah, NJ. 1999. 268 p.

5.Cody R.P. Statistical analysis of examinations to detect cheating. Journal of Medical Education, 60(2). 1985. P. 136-137.

6.Dickenson H.P. Identical errors and deception. Journal of Educational Research, 38(7). 1945. P. 534-542.

7.Holland P.W. Assessing unusual agreement between the incorrect answers of two examinees using K-index: Statistical theory and empirical support (ETS Technical Report № 96-4). Princeton, NJ: Educational Testing Service, 1996.

8.Levine M.V. & Rubin D.B. Measuring the appropriateness of multiple-choice test scores. Journal of Educational Statistics. 4. 1979. P. 269-290.

9.Madsen H.S. Utilizing Rash analysis to detect cheating on language examinations. (ERIC Document Reproduction Service No. ED 287 284). 1978.

10.Saupe J.L. An empirical model for the corroboration of suspected cheating on multiple-choice tests. Educational and Psychological Measurement, 20(3). 1960. P. 475-490.

11.Schumacher C.F. A method for detection or confirmation of collaborative behavior. Paper presented at the annual meeting of the American Educational Research Association, Boston, MA. 1980.

12. Sotaridona L.S. Statistical Methods for the detection of answer copying on achievement tests. Twente University Press, Netherlands, 2003. 112 p.

13.Sotaridona L. S. & Meijer R. R. Two new statistics to detect answer copying. Journal of Educational Measurement, 40. 2003. P. 53-69.

14.Wollack J.A. A nominal response model approach for detecting answer copying. Applied Psychological Measurement, 21(4). 1997. P. 144-152.

15.Соколов А.В. Выявление списывания в тестировании. Вопросы тестирования в образовании. М., 2007. С. 49-60.

16. Списки руководителей общеобразовательных учреждений, ППЭ и органов управления образованием, наказанных за допущенные нарушения на ЕГЭ в 2013 г., опубликованные на сайте Рособрнадзора. [Электронный ресурс]. URL:http://obrnadzor.gov.ru/ru/press_center/news /index.php?id_4=3057 (дата обращения: 05.12.2013).

Размещено на Allbest.ru