Размещено на http://www.allbest.ru/

Институт сферы обслуживания и предпринимательства (филиал) Донского государственного технического университета

Моделирование характеристик диагностических средств для оценки информационных компетенций студентов

И.Н. Елисеев

И.И. Елисеев

Введение в профессиональное образование компетентностного подхода к оценке уровня подготовки обучаемых привело к возникновению противоречия между требованием формализованной оценки уровня сформированности компетенции и отсутствием необходимых для этого диагностических средств и методического обеспечения. Разрешение противоречия осложняется тем, что оцениваемый параметр является скрытым (латентным) и непосредственному количественному измерению с помощью физических измерительных средств не поддаётся [1-3]. В связи с этим традиционные средства и способы контроля уровня подготовки обучаемых становятся неэффективными. По этой же причине для формализованной оценки уровня сформированности компетенций не могут быть использованы методы имитационного моделирования процессов, применяемые в гуманитарной сфере [4, 5].

Как показывает зарубежный и отечественный опыт [6-12], для измерения латентных параметров исследуемых объектов наиболее перспективным является применение теории латентных переменных, использующей вероятностные модели Раша. Оценивание с помощью этой теории уровня сформированности компетенций обучаемых позволяет в полной мере учесть вероятностный характер найденных оценок, а также получить информацию о качестве диагностических средств. Важным достоинством методов теории латентных переменных является также независимость вычисляемых значений латентного параметра «уровень подготовки» студентов от «уровня трудности» заданий диагностических средств, что позволяет обеспечить объективность получаемых данных [3, 9]. Всё это позволяет считать подход, использующий модели Раша и методы теории латентных переменных, перспективным для оценки компетенций.

В качестве диагностических средств, обеспечивающих получение входных данных об уровне сформированности компетенции, используется набор индикаторных переменных или дескрипторов, раскрывающих содержание компетенции. В частном случае для оценки признаков наличия личностно ориентированных общекультурных компетенций можно использовать диагностические тесты, опросники и анкеты, которые нашли применение в психологии и социологии для исследования личностных качеств студентов [3, 10, 11].

Целью статьи является исследование уровня сформированности информационной компетенции студентов на основе политомической модели Раша и анкеты «Информационная компетентность», оценка качества анкеты.

Для исследования признаков сформированности информационных компетенций была использована анкета, разработанная в Псковском педагогическом университете [13]. Она состоит из 25 индикаторов, которые распределены по четырём смысловым блокам (октантам). Каждая индикаторная переменная анкеты варьируется на пяти уровнях: 0, 1, 2, 3 и 4. Цифрой 4 оценивается вариант ответа «да», цифрой 3 - вариант ответа «скорее «да», чем «нет»», цифрой 2- вариант ответа «затрудняюсь ответить», цифрой 1 - вариант ответа «скорее «нет», чем «да»», цифрой 0 - вариант ответа «нет». Анкета содержит индикаторы только прямого направления действия. Для получения входных данных (матриц ответов) использовался метод самооценки. политомический личностный качество компетенция

При обработке данных анкетирования баллы, полученные за выполнение каждого индикатора, суммируются. Чем больше индивидуальный балл респондента, тем выше уровень сформированности его информационной компетенции. Максимальное значение индивидуального балла составляет 100. Кроме того, по каждому октанту рассчитывается индивидуальный балл , полученный при ответе на его индикаторы каждым участником анкетирования. На основании полученной информации делается вывод об уровне сформированности информационной компетенции каждого из участников анкетирования, а также всех респондентов в целом. Содержание анкеты представлено в таблице 1.

Таблица 1 Анкета «Информационная компетентность»

Инструкция: Внимательно прочтите каждое утверждение (индикатор) и, оценив его применительно к себе, в бланке для ответов проставьте напротив номера соответствующего индикатора номер выбранного варианта ответа: 1) - нет; 2)- скорее нет, чем да; 3) - затрудняюсь ответить 4)- скорее да, чем нет; 5) да.

Для расчёта характеристик анкеты использовалась выборка студентов Южно-Российского государственного университета экономики и сервиса и Ростовского государственного строительного университета. Общий объём выборки составил 452 человека. Результаты анкетирования были представлены одним prn-файлом, представляющим собой политомическую матрицу ответов размером 452Ч25. В процессе проведения экспертизы качества анкеты и её чистки по методике, описанной в работах [3, 14], удалялись и участники анкетирования, и индикаторы. Обработка результатов анкетирования производилась с помощью диалоговой системы RUM2030 [15]. Анализ полученных результатов показал, что распределение значений оценок латентных параметров не противоречит гипотезе о нормальном законе распределения, поэтому выборку можно считать нормативной [3, 16]. На рисунке 4.7 приведены совмещенные гистограммы распределения величин и , позволяющие судить о валидности используемой анкеты.

Рис. 1. - Гистограммы распределения значений оценок уровня сформированности информационной компетенции тестируемых и трудности индикаторов

По оси абсцисс откладываются значения латентного параметра и «уровень сформированности информационной компетенции», по оси ординат - «трудность индикатора» в. Из сравнения гистограмм видно, что диапазон изменения латентного параметра в уже интервала варьирования аналогичного параметра и, что свидетельствует о низкой валидности используемой анкеты по отношению к исследуемой выборке студентов. Из-за этого в диапазоне от 0,9 до 4,0 логит погрешность расчёта латентного параметра, характеризующего сформированность информационной компетенции, будет выше, чем в интервале от минус 1,14 до 0,9 логит.

Оценки трудности индикаторов вј* анкеты «Информационная компетентность» представлены в таблице 2. В заключительной части таблицы указаны значения показателей качества предтеста: коэффициента дифференциации тестируемых rd и коэффициента надёжности бKr , рассчитанного по формуле Кронбаха. Из таблицы 2 видно, что они больше значения 0,8, что является признаком хорошего качества анкеты. Низкие значения вероятности является признаком низкой совместимости индикаторов анкеты. Значение остается неудовлетворительным даже после удаления 27 участников анкетирования и 2 индикаторов (5, 16). Что же касается каждого индикатора, то условие адекватности модели Раша выполняется для всех оставшихся после чистки анкеты индикаторов, за исключением индикатора.

Таблица 2 Оценки трудности индикаторов вј* анкеты «Информационная компетентность»

Анализ оценок бисериального коэффициента корреляции R*bj показал, что для всех индикаторов он превышает величину 0,3. Это свидетельствует о хорошей валидности индикаторов анкеты.

Оценка вероятностных кривых дескрипторов индикаторов, по которым исследуется их работоспособность, показала, что для большинства индикаторов свой диапазон действия имеют дескрипторы 0, 1, 3, 4, что говорит об их работоспособности. В качестве примера, подтверждающего данный вывод, на рисунке 2 представлены вероятностные кривые дескрипторов индикатора 2. Как видно из рисунка, дескриптор 2 «затрудняюсь ответить» не работает. Объяснить это можно, на наш взгляд, тем, что он дублируется дескрипторами 1 «скорее нет, чем да» и 3 «скорее да, чем нет». По нашему мнению, его присутствие в индикаторах ответов усложняет выбор соответствующего ответа студентами, т.е. дескриптор 2 является мешающим фактором, и его следует исключить из числа дескрипторов индикаторов. Это не только позволит повысить определённость в выборе ответа студентами, но и снизит трудоёмкость обработки и анализа результатов анкетирования.

Рис. 2. - Вероятностные кривые дескрипторов индикатора 2 «Имею опыт работы с научной литературой»

Распределение участников анкетирования по категориям G уровня сформированности компетенции [3, 11] выполняется исходя из значения индивидуального балла (i - номер анкетируемого) с помощью таблицы 3.

Таблица 3 Деление респондентов на категории G по степени сформированности информационной компетенции

Анализ полученных данных показал, что у 36 % анкетируемых уровень сформированности информативной компетенции высокий, у 57,5% - средний, у 6 % пороговый и лишь у 0,5 % - ниже порогового.

Таким образом, анкета «Информационная компетентность» имеет удовлетворительные показатели качества и после доработки может быть использована совместно с политомической моделью Раша для расчёта латентных параметров, характеризующих признаки сформированности компетенций, связанных с получением, обработкой и анализом информации при решении профессиональных задач. Для повышения качества анкеты необходимо:

- дополнить её новыми октантами, раскрывающими признаки сформированности информационной компетенции, например, октантом «Умение применять полученную информацию для решения профессиональных задач»;

- снизить число дескрипторов индикаторов до 4, исключив дескриптор 2 «затрудняюсь ответить»;

- за счёт добавления индикаторов с логит увеличить их число до 30 и более.

Литература

1. Елисеев И.Н. Диагностика индивидуальных свойств личности в студенческой среде на основе модели Раша // Стандарты и мониторинг в образовании. 2009. № 3. С. 35-38.

2. Елисеев И.Н. Оценка уровня подготовленности выпускников колледжа на основе измерения качества квалификационных работ // Стандарты и мониторинг в образовании. 2010. № 1. С. 47-49.

3. Елисеев, И.Н. Методы, алгоритмы и программные комплексы для расчёта характеристик диагностических средств независимой оценки качества образования. Новочеркасск: Лик, 2013. 285 c.

4. Rasch G. Probabilistic models for some intelligence and attainment tests (Expanded edition, with foreword and afterword by Benjamin D. Wright).Chicago: University of Chicago Press, 1980. 199 p.

5. Wright, B.S., Masters, G.N. Rating Scale Analysis: Rasch Measurement, Chicago, MESA Press, 1982. 206p.

6. . Andrich D. Advanced Social and Educational Measurement. - Perth: Murdoch University, 2001. 128 p.

7. Елисеев, И.Н. Методология оценки уровня компетенций студента / И.Н. Елисеев // Информатика и образование. 2012. №4. С. 80-85.

8. Маслак А.А. Измерение латентных переменных в социальных системах:: монография / А.А. Маслак. - Славянск-на-Кубани Издательский центр КубГУ, 2012. - 432с.

9. Психологические тесты онлайн // URL:psytest.info. (Дата обращения 02/12/11).

10. Елисеев И.Н. Экспертиза качества тестов по электротехническим дисциплинам // Известия высших учебных заведений. Электромеханика. 2011. №2. С. 75-80.

Аннотация

В статье обосновывается возможность использования политомических моделей для оценки личностных качеств, влияющих на информационную компетенцию студентов, по входным данным, полученным с помощью анкеты «Информационная компетентность». Рассчитаны характеристики участников анкетирования и индикаторов анкеты, оценена их пригодность для оценки уровня сформированности информационной компетенции. Даны рекомендации по доработке анкеты.

Ключевые слова: уровень подготовки студента, латентные переменные, политомическая модель, индикатор, диагностический тест, информационная компетенция

Размещено на Allbest.ru