Главная Коллекция "Revolution" Программирование, компьютеры и кибернетика Теоретические основы построения автоматизированной системы сертификации работников отрасли образования

Теоретические основы построения автоматизированной системы сертификации работников отрасли образования

Разработка формализованной модели системы объективного педагогического измерения, позволяющей автоматизировать процессы сертификации в образовании. Оценка эффективности автоматизированной организационно-технологической системы сертификации работников.

Рубрика Программирование, компьютеры и кибернетика
Вид автореферат
Язык русский
Дата добавления 30.01.2018
Размер файла 541,8 K
рефераты на заказ со скидкой

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Страница:

Размещено на http://www.allbest.ru/

ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПОСТРОЕНИЯ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ СЕРТИФИКАЦИИ РАБОТНИКОВ ОТРАСЛИ ОБРАЗОВАНИЯ

Специальность: 05.13.06 - Автоматизация и управление технологическими процессами и производствами (образование)

АВТОРЕФЕРАТ диссертации на соискание ученой степени

доктора технических наук

БОЯШОВА СВЕТЛАНА АНАТОЛЬЕВНА

Санкт-Петербург 2010

Работа выполнена в Головном центре мониторинга и сертификации Отраслевой системы ГОУВПО «Санкт-Петербургский государственный университет информационных технологий, механики и оптики»

Научный консультант: Заслуженный деятель науки Российской Федерации доктор технических наук, профессор Васильев Владимир Николаевич

Официальные оппоненты:

доктор технических наук, профессор Бухановский Александр Валерьевич

доктор технических наук, профессор Ястребов Анатолий Павлович

доктор технических наук, профессор Розенберг Владимир Яковлевич

Ведущая организация: Санкт-Петербургский государственный политехнический университет

Защита состоится «25» декабря 2010 года в 15. 00 часов на заседании диссертационного совета Д 212.227.06 при ГОУВПО «Санкт-Петербургский государственный университет информационных технологий, механики и оптики» по адресу: 197101, Санкт-Петербург, Кронверкский пр., 49

С диссертацией можно ознакомиться в библиотеке ГОУВПО «Санкт-Петербургский государственный университет информационных технологий, механики и оптики»

Автореферат разослан «____»_________2010 года

Ученый секретарь диссертационного совета Л.С. Лисицына

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. В настоящее время Российская система профессионального образования находится в состоянии системных преобразований. Одним из приоритетных направлений модернизации системы является повышение квалификации работников отрасли образования в трех основных областях: специальная профессиональная подготовка, социальное взаимодействие, новые информационно-коммуникационные технологии (ИКТ). Основные требования к уровню квалификации работников отрасли образования определены в Едином квалификационном справочнике (ЕКС) ЕКС разработан с учетом приказа Министерства здравоохранения и социального развития Российской Федерации от 5 мая 2008 г. № 216н «Об утверждении профессиональных квалификационных групп должностей работников образования» (зарегистрирован в Министерстве юстиции Российской Федерации 22 мая 2008 г., регистрационный № 11731)..

Современные исследования грамотности и компетентности работников отрасли образования в области ИКТ демонстрируют, что количество преподавателей общеобразовательных учреждений, свободно использующих компьютер в профессиональной деятельности, не превышает 25%, современные средства ИКТ - не более 30%, возможности сервисов сети Интернет - не более 35%. Аналогичная ситуация наблюдается и в других областях деятельности работников отрасли образования «Создание многоуровневой системы мониторинга и тестирования компьютерной грамотности и икт-компетентности» (2006-2007гг.) и «Разработка организационной, методической, технической документации отраслевой системы мониторинга и сертификации компьютерной грамотности и икт-компетентности» (2008-2009 гг.)»..

Противоречие, обусловленное несоответствием уровня квалификации работников отрасли образования единым квалификационным требованиям в заданных областях компетенций (профессиональной, правовой, коммуникационной, информационной), ставит задачу пересмотра целевой и содержательной части подготовки кадров, а также методов и средств контроля уровня их грамотности и компетентности.

Установление соответствия уровня грамотности и компетентности работников отрасли квалификационным требованиям, как правило, происходит на основе использования технологий тестирования и сертификации.

В России наиболее распространенной считается вендорная сертификация, которая проводится через государственные и негосударственные образовательные учреждения Например, в области ИКТ в России наиболее распространенной считается вендорная сертификация Cisco, Microsoft, Oracle, IBM, которая проводится через государственные и негосударственные образовательные учреждения такие, как: Центр компьютерного обучения «Специалист» при МГТУ им. Баумана; общество «Знание»; компании Softline и 1Cи др. и независимая - European Computer Driving License (ECDL).

Научные основы построения автоматизированных систем тестирования (АСТ), используемых при различных видах сертификации, заложены работами таких специалистов, как Аванесова В. С., Васильева В. Н., Колесникова Ю. Л., Королева А. А., Кузнецова В. Г., Лисицыной Л. С., Лямина А. В., Майорова А. Н., Неймана Ю. М., Розенберга В. Я., Стафеева С. К., Скуратова А. К., Татура Ю. Г., Тихонова А. Н. Хлебникова В.А. и др.

Опыт показывает, что при практической реализации существующих моделей АСТ в системах сертификации специалистов возникает ряд существенных проблем:

· наиболее распространенные вендорные системы ориентированы на интересы отдельных производителей и не могут способствовать решению государственных задач в области управления качеством подготовки работника;

· ни одна из существующих систем не обеспечивает измерения грамотности и компетентности с заданной степенью валидности, надежности и достоверности (наиболее близкая к решению этой задачи система ECDL) В существующих системах объективный контроль валидности, надежности и достоверности невозможен в силу отсутствия адекватных методов измерений.;

· ни одна из существующих систем в должной мере не обеспечивает выполнение метрологических требований (единство измерений).

Как следствие, дальнейшее развитие АСТ и систем сертификации тесно связано развитием подходов к измерению грамотности и компетентности работника как объективного процесса. В связи с этим возникает необходимость в поиске новых методов и средств обеспечения единства педагогических измерений в системах сертификации работников, что и определяет актуальность данного исследования.

Объект диссертационного исследования - отраслевые системы автоматизированной сертификации, обеспечивающие технологический контроль уровня подготовки работников в соответствии с квалификационными требованиями, государственными и международными стандартами.

Предмет исследования - теоретические основы, средства, методики и алгоритмы в составе промышленной технологии создания АСТ для сертификации грамотности и компетентности работников в отрасли образования.

Цель исследования - разработка теоретических основ построения автоматизированной системы сертификации работников отрасли образования в рамках обеспечения принципа единства педагогических измерений.

Задачи исследования:

1) разработать формализованную модель системы объективного педагогического измерения, позволяющую автоматизировать процессы сертификации в образовании;

2) обосновать концептуальную модель автоматизированной организационно-технологической системы отраслевой сертификации грамотности и компетентности работников отрасли образования на основе единых квалификационных требований с использованием объективных педагогических измерений;

3) разработать и реализовать методики автоматизации измерения формализованных сертификационных показателей (грамотности и компетентности работников отрасли образования) в рамках модели автоматизированной организационно-технологической системы;

4) разработать методику автоматизированной экспертной оценки компетентности работника отрасли образования на основе количественного анализа сертификационных показателей;

5) провести исследование эффективности многоуровневой автоматизированной организационно-технологической системы сертификации работников отрасли образования в процессе ее опытной эксплуатации;

6) разработать образовательную программу повышения квалификации, ориентированную на развитие инновационной деятельности работников отрасли образования.

Гипотеза исследования. Автоматизированная организационно-технологическая система отраслевой сертификации, разработанная на новой теоретической основе, позволяет объективно С вероятностью, определяемой условиями проведения процесса проведения сертификации оценить результаты подготовки работников образования в системе повышения квалификации в целях модернизации образовательных программ, тем самым обеспечивая соответствие уровня квалификации работников отраслевым квалификационным требованиям.

Методы исследования. В ходе выполнения работы были использованы методы теории сложных систем, методы математической статистики, методы инженерии знаний (включая анкетирование), методы проектирования и разработки программного обеспечения, методы психологического и педагогического тестирования, методы оптимизации и оценки эффективности систем.

Научная новизна результатов исследований заключается в том, что в работе впервые предложен научно обоснованный метрологический подход к проведению объективных педагогических измерений. Данный подход позволяет перейти от формального тестирования испытуемых к объективному педагогическому измерению количественных характеристик грамотности и компетентности, обеспечивая единообразие единиц измеряемых педагогических величин и их мер, тем самым достигается сопоставимость результатов измерений.

На основе предложенного формализма педагогических измерений разработана, обоснована и практически внедрена новая концептуальная модель автоматизированной организационно-технологической системы отраслевой сертификации, которая позволяет унифицировать кодификаторы, базы данных тестовых заданий, средства измерения, проведение измерений в режиме реального времени, обработку данных измерений, а также выдачу и каталогизацию сертификатов.

В целом новизна результатов диссертационной работы достигнута за счет совокупного использования существующих ранее моделей сертификации в рамках целостной модели автоматизированной организационно-технологической системы контроля грамотности и компетентности работников отрасли образования, адаптации методов физических измерений к задачам отрасли образования, а также формирования целостного комплекса технического, организационного, правового и программного обеспечения.

Практическая значимость. На основе обоснованных в диссертации теоретических положений разработан и внедрен в опытную эксплуатацию программно-аппаратный комплекс автоматизированной организационно-технологической системы сертификации работников отрасли образования.

Опытная эксплуатация комплекса проведена в семнадцати регионах РФ (Санкт-Петербург, Ленинградская область, Пермь, Калининград, Новокузнецк, Владимир, Воронеж, Калуга, Краснодар, Новосибирск, Псков, Омск, Самара, Ставрополь, Тамбов, Чувашия, Пермь).

Результаты мониторинга грамотности и компетентности работников на основе применения нового комплекса позволяют вырабатывать управленческие решения в области оценки эффективности системы повышения квалификации и тем самым обеспечить отрасль образования квалифицированными специалистами.

В ходе практической реализации и внедрения результатов работы разработана образовательная программа (инновационная составляющая) повышения квалификации работников отрасли образования, построенная на основе единых квалификационных требований и включающая в себя четыре основных модуля: «Педагогическое проектирование в отрасли образования», «Теория и практика педагогических измерений», «Педагогическая метрология как основа педагогических измерений», «Новые информационно-коммуникационные технологии в профессиональной деятельности работников отрасли образования».

На защиту выносятся:

1. Теоретическая модель педагогических измерений как основа процессов автоматизации сертификации, определяющая способы формализации педагогических понятий, систему педагогических величин и их единиц, методы, процедуры, средства выполнения, анализа и контроля результатов.

2. Концептуальная модель автоматизированной организационно-технологической системы сертификации работников отрасли образования, систематизирующая кодификаторы квалификационных требований, систему оценки квалификации, систему мониторинга сертификационных показателей, систему оценки качества самой сертификации, а также соответствующую технологическую и организационную инфраструктуру.

3. Способы, процедуры и алгоритмы автоматизации процессов педагогического измерения и экспертизы грамотности и компетентности работников отрасли образования, отражающие порядок структуризации автоматизированной системы измерения (АСИ), ограничения к ее применению, архитектуру системного уровня (включая базы данных), правила проведения измерений в режиме удаленного доступа, принципы обработки данных измерений и анализа полученных результатов.

4. Набор методик и инструментальных средств, используемых в автоматизированной организационно-технологической системе сертификации, а также средств разработки образовательных программ повышения квалификации работников отрасли образования на основе единых квалификационных требований.

5. Результаты оценки количественных показателей эффективности функционирования автоматизированной организационно-технологической системы сертификации работников отрасли образования в сопоставлении с ранее существующими системами сертификации в области ИКТ на основе экспертных технологий.

Достоверность результатов работы обеспечивается:

· корректностью совокупного использования теоретических положений теории общих систем, метрологии, информатики, педагогики, психологии;

· адекватностью информационно-логических моделей реальным процессам, подтвержденной результатами статистической обработки результатов экспериментальных исследований;

· положительным результатом опытной эксплуатации программно-аппаратного комплекса в процессе оценки качества подготовки специалистов на всех ступенях непрерывного образования;

· апробацией основных положений докторской диссертации на научно-практических конференциях различного уровня и в печатных изданиях.

Внедрение результатов работы. Результаты теоретических исследований использованы при выполнении 2 НИОКР в рамках Федеральной целевой программы развития образования по заказу Министерства образования и науки РФ и четырех НИОКР по заказу Комитета по образованию Санкт-Петербурга. Программно-аппаратный комплекс автоматизированной организационно-технологической системы сертификации работников отрасли образования внедрен в Лицее №273 Колпинского района Санкт-Петербурга, в ФГУ ГНИИ «Информика», а также в образовательный процесс СПбГУ ИТМО.

Апробация работы. Материалы диссертационного исследования обсуждались на 6 международных, 8 всероссийских, 5 межрегиональных и 4 межвузовских конференциях, в том числе «Проблемы и перспективы взаимодействия вузов Санкт-Петербурга с регионами России» (СПб., Смольный, 2000-2004 гг.); «Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов» (СПб, ВМИРЭ, 2001-2005 гг.); «Телематика» (СПб., ГРОЦ, 2003-2009 гг.); «Новые технологии в образовании» (Воронеж, ВГПУ, 2003, 2004 гг.); «Развитие тестовых технологий в России» (М., Центр тестирования, 2005-2007 гг.); Международный оптический конгресс «Оптика XXI век» (СПб., СПбГУ ИТМО, 2008 г.); «Уткинские чтения» (СПб., Военмех., 2008, 2009 гг.) «Измерения в современном мире» (СПб, Политехнический университет, 2009 г.) и др., а также на совещании в Департаменте государственной политики в образовании (2008 г); на рабочем совещании в Российской Академии образования (2009 г); на научно-практических семинарах по опытно-экспериментальной работе в Колпинском районе СПб (Лицей №273, 2005-2009 гг.); на предметно-методических и научно-практических конференциях, организованных в рамках УМО «Приборостроение» (СПбГУ ИТМО 2006-2009 гг.). сертификация автоматизированный работник образование

Публикации. По теме диссертации опубликовано 44 печатных работы, из них - 9 статей в изданиях, рекомендованных ВАК Министерства образования и науки РФ, 1 монография.

Личный вклад автора в работах, выполненных в соавторстве, заключается в постановке задач педагогических измерений, разработке и обосновании концептуальной модели системы сертификации, разработке соответствующего математического аппарата, интерпретации результатов и в формулировке общих закономерностей.

Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка литературы, и восьми приложений. Основная часть работы изложена на 370 страницах машинописного текста. Работа содержит 52 рисунка и 83 таблицы.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность исследования, формулируются его цели и задачи, выдвигается гипотеза, характеризуется новизна и практическая значимость, раскрываются основные положения, выносимые на защиту, указывается теоретико-методологическая база исследования.

В первой главе проводится исследование существующих Российских и международных систем сертификации кадров. В процессе анализа было установлено, что в настоящее время в мировой практике различают два основных вида систем сертификации: вендорные (например, в области ИКТ -Microsoft, IBM, Oracle, и др.) и независимые (ПоZнание», ECDL и др.).

В процессе исследования выявлено, что в существующих системах сертификации объективность оценки уровня подготовки испытуемого в определенных областях знаний достигается в большей степени за счет массовых экспертных оценок, автоматизированные элементы в основном обеспечивают только процедуру тестирования. Данный факт существенно влияет на объективность и достоверность измерений.

Новая концептуальная модель автоматизированной организационно-технологической системы сертификации грамотности и компетентности работников отрасли образования, разработанная в диссертации и описанная в данной главе, позволяет с известной степенью вероятности определить значения сертификационных показателей, полученных в процессе объективного педагогического измерения, оценить погрешность результатов, сравнить результаты измерения с результатами экспертиз.

Основные составляющие компоненты концептуальной модели автоматизированной организационно-технологической системы сертификации грамотности и компетентности работников, в свою очередь, сами представляют собой сложноорганизованные системы.

Компоненты модели представлены в виде блок-схемы (рис. 1):

Размещено на http://www.allbest.ru/

Рис. 1 Блок-схема концептуальной модели системы сертификации

Первый блок - квалификационные требования к работнику (КТР).

В блоке КТР представлены кодификаторы понятий и компетенций, которыми должны обладать работники в соответствии с едиными квалификационными требованиями.

Второй блок - образовательные программы повышения квалификации, составленные в соответствии с квалификационными требованиями (ОППК). Каждый образовательный модуль ОППК разделен на блоки (всего 120 блоков).

Третий блок - система оценки квалификации (СОК), разработанная в соответствии с образовательной программой повышения квалификации и КТР.

Оценка уровня квалификации работника проводится с использованием автоматизированной системы измерений, обеспечивающей их единство, при котором результаты измерений выражаются в единых узаконенных единицах педагогических величин, погрешность результатов педагогических измерений известна с заданной вероятностью, и не выходит за рамки установленных пределов. Совместно с объективным измерением в СОК проводится экспертиза компетентности работника. Данные экспертизы обрабатываются с использованием современных информационных технологий. Результаты измерений и экспертизы являются основой для выдачи сертификата.

Четвертый блок - система мониторинга квалификации работников (СМК). Данная система выполняет функции сбора, обработки, хранения и распространения информации о результатах функционирования системы сертификации. По результатам мониторинга принимаются управленческие решения по оптимизации и повышению эффективности системы сертификации в отрасли образования.

Пятый блок - система оценки качества самой системы сертификации (СОКСС). Основным показателем качества системы является ее эффективность и оптимальность. Оценка эффективности проводится методом последовательных уступок, так как он учитывает приоритет системы по тому или иному показателю и взаимосвязь показателей.

Технологическая инфраструктура отраслевой сертификации построена на базе современных и высокопроизводительных и надежных решений. Компьютеры, обслуживающие систему, объединены в локальную сеть, имеющую выход в Интернет.

Организационная инфраструктура сертификации представлена на рис. 2

Размещено на http://www.allbest.ru/

Рис. 2 Организационная структура отраслевой сертификации

Во второй главе диссертационного исследования разработана и описана обобщенная структура учебного модуля, а также набор методик и инструментальных средств разработки образовательных программ повышения квалификации работников отрасли образования на основе единых квалификационных требований.

В соответствии с данной структурой разработаны три инновационных учебных модуля повышения квалификации работников двух основных категорий: «Руководители» и «Педагогический персонал образовательного учреждения». Для этих и всех других категорий работников разработан инновационный учебный модуль «Новые информационно-коммуникационные технологии в профессиональной деятельности работников отрасли образования».

Обобщенная структура инновационного учебного модуля представлена на рис.3.

Размещено на http://www.allbest.ru/

Рис. 3 Обобщенная структура учебного модуля

Далее на примере инновационного учебного модуля «Педагогическая метрология как основа педагогических измерений» описаны методики и инструментальные средства разработки системы понятий, как основы отбора содержания учебных модулей и соответствующих учебно-методических комплексов и оценочных средств.

В третий главе представлена новая теоретическая модель системы педагогических измерений как основа педагогической метрологии. Модель включает в себя три основных компоненты.

Описание объектов исследования в педагогической метрологии. К объектам исследования отнесены: системы, функционирующие в отрасли образования, процессы и явления, которые развиваются и наблюдаются в данных системах. В диссертации исследованы: «система образования» «педагогическая система», «система обучения», «учение человека как процесс и как явление», «преподавание как процесс и как явление», «учебная деятельность».

Система педагогических величин и их единиц. По результатам исследования перечисленных выше систем и процессов были формализованы педагогические понятия: знание, умение, навык, грамотность, компетентность и введена система педагогических величин, разработанная по существующим метрологическим правилам ГС. ГСИ. Метрология. Основные термины и определения. МИ 2247-93. СПб, 1994.

Система педагогических величин (СПВ) - это совокупность педагогических величин, образованная в соответствии с принятыми принципами из основных (независимых) и производных (функционально зависящих от основных) педагогических величин (табл. 1).

Таблица 1

СПВ

Основные

величины

Буквенное

обозначение

Размерность

Единица величины

Объем ЗУН

ЗУН

понятие (п)

Объем понятий учебной дисциплины

понятие (п)

Время

Т

секунда (с)

Производные величины

Буквенное

обозначение

Размерность

Единица величины

Обученность

ЗУН

понятие (п)

Коэффициент

грамотности

Безразмерный

коэффициент

Скорость мышления

,

Компетентность

,

Система педагогических величин обеспечивает единообразие единиц измеряемых педагогических величин и их мер, позволяет вещественно воспроизводить эти величины с требуемой точностью, тем самым достигается сопоставимость результатов измерения при сертификации работников.

Система педагогического измерения включает в себя: конкретизированные цели, принцип измерения, методы и средства, математические методы обработки данных измерения, математические методы анализа данных измерения, определение понятия эталонов педагогического измерения, способ разработки эталонов понятий, способ разработки эталон-шкалы измерения грамотности, способ измерения компетентности, способ разработки эталон-шкалы измерения компетентности. Обобщенно теоретическая модель системы измерения представлена на рис 4.

Размещено на http://www.allbest.ru/

Рис. 4 Теоретическая модель системы педагогических измерений

В четвертой главе описана методика измерения грамотности и компетентности работников отрасли образования, разработанная на основе теоретической модели педагогического измерения. В методике отражены способы, процедуры и алгоритмы автоматизации процессов педагогического измерения. Методика конкретизирована для измерения икт-грамотности и икт-компетентности работников отрасли образования.

Выбор объектов измерения обусловлен тем, что грамотность и компетентность в области информационно-коммуникационных технологий является инвариантной для всех категорий работников.

Под «икт-грамотностью» понимается свойство психической системы испытуемого (работника), количественной мерой которого является объем усвоенных им понятий научной области «Информационно-коммуникационные технологии» в виде соответствующей системы знаний, умений, навыков (ЗУН).

Под «информационно-коммуникационной компетентностью» понимается свойство психической системы испытуемого, количественной мерой которого является скорость операций усвоенными понятиями научной области «Информационно-коммуникационные технологии».

Основной целью измерения является определение действительного значения икт-грамотности и икт-компетентности испытуемого. Чем выше уровень развития мышления испытуемого (работника) на индуктивной основе, тем выше действительные значения исследуемых величин.

В качестве основного метода измерения икт-грамотности и икт-компетентности применяется «метод сравнения с мерой», при котором измеряемую величину сравнивают с величиной, воспроизводимой мерой.

Процесс разработки эталонов (мер) измерения состоит из трех основных шагов: формирование кодификатора; формирование эталонов; установление сертификационных норм.

Кодификатор представляет собой структурную содержательную матрицу, включающую в себя системы понятий и их структурные составляющие, подлежащие обязательному усвоению испытуемым в исследуемой области компетенций - «Информационно-коммуникационные технологии».

В соответствии с кодификатором формируется эталонное распределение понятий исследуемой области компетенций по блокам, которое является эталонным распределением наивысшего класса точности, обладающим 100% валидностью относительно кодификатора рис. 5.

Рис. 5 Пример эталонного распределения понятий по блокам

В каждом следующем по классу точности эталоне количество понятий в блоке уменьшается на единицу.

Далее устанавливаются значения коэффициента грамотности испытуемого, исходя из того, что в процессе тестирования испытуемый должен воспроизводить предметно-специфические понятия кодификатора не ниже заданного эталона точности. Пример эталонных распределений понятий приводится в табл. 2.

Таблица 2

Эталонные распределения коэффициента грамотности

Эталоны

1 блок

2 блок

3 блок

4 блок

5 блок

среднее

Эталонные распределения коэффициента грамотности

Первичный эталон

1

1

1

1

1

1

1-го разряда

0,80

0,88

0,89

0,90

0,89

0,87

2-го разряда

0,60

0,75

0,78

0,80

0,78

0,74

3-го разряда

0,40

0,63

0,67

0,70

0,67

0,61

4-го разряда

0,25

0,5

0,56

0,60

0,56

0,49

б = (эталон заданного разряда точности)/(первичный эталон).

На следующем шаге рассчитываются средние (сертификационные) значения коэффициента грамотности по модулям и погрешность среднего значения для каждого эталона. В данном примере число наблюдений признака - . Доверительная вероятность - P = 0,95. t-Стьюдента - = 2,77.

Пример расчета погрешности эталона коэффициента грамотности приводится в табл. 3.

Таблица 3

Эталон первого разряда

±

±

0,80

0,872

0,072

0,005184

0,025846

0,008173

0,02264

0,87 ± 0,02

0,02 (2%)

0,88

-0,008

6,4E-05

0,89

-0,018

0,000324

0,90

-0,028

0,000784

0,89

-0,018

0,000324

Среднее: 0,001336

Чтобы сформировать эталоны максимальной скорости мышления задается время, в течение которого проводится измерение.

С учетом свойств психической системы человека (ее способности удерживать внимание) следует ограничить время измерения двумя астрономическими часами (7200 с). Полагается, что при проведении измерения испытуемый в промежутке времени, равном двум астрономическим часам, воспроизводит понятия равномерно. Рассчитывается значение максимальной скорости равномерного мышления испытуемого без учета коэффициентов сложности воспроизводимых им понятий (для четырех эталонов понятий).

Пример получаемых результатов расчета приводится в табл. 4

Таблица 4

Эталонные значения максимальной скорости мышления

Эталон

Общее число воспроизводимых понятий

Время измерения (с)

Максимальная скорость мышления (п/с)

Первичный

41

7200

0,005694 ± 0,000139

1-го разряда

36

7200

0,005000 ± 0,000139

2-го разряда

31

7200

0,004306 ± 0,000139

3-го разряда

26

7200

0,003611± 0,000139

4-го разряда

21

7200

0,002917± 0,000139

Расчет погрешности косвенного измерения максимальной скорости мышления проводится по формуле:

. >0 (погрешностью можно пренебречь). .

Сертификационные нормы икт-грамотности и икт-компетентности устанавливаются в соответствии с целями измерения и с учетом эталонных значений коэффициента грамотности и максимальной скорости мышления.

Пример получаемых результатов расчета эталонных значений сертификационных показателей представлен в табл. 5.

Таблица 5

Эталонные значения сертификационных показателей

Эталон

Коэффициент грамотности

Время измерения (с)

Максимальная скорость мышления (п/с)

Первичный

1 ± 0

7200

0,005694± 0,000139

1-го разряда

0,87 ± 0,02

2-го разряда

0,74 ± 0,05

3-го разряда

0,61 ± 0,07

4-го разряда

0,49 ± 0,08

Выбор эталона зависит от того, с какой точностью (погрешностью) проводятся педагогические исследования.

В качестве рабочего средства в АСИ измерения используются тесты, которые формируются в соответствии с первичным эталоном измерения.

Тесты могут быть составлены в системе из тестовых заданий минимального уровня сложности (knowledge-based test), и более сложных имитационных заданий (performance-based test).

Измерение икт-грамотности и икт-компетентности происходит в процессе тестирования, основанного на использовании автоматизированной системы измерений. В процессе тестирования испытуемый выполняет тест, формируемый АСИ непосредственно в процессе измерения. Тест формируется методом типического бесповоротного отбора из базы тестовых заданий.

Последовательность операций, проводимых в процессе педагогического измерения, состоит из совокупности четырех основных шагов.

Шаг первый. Результаты прямого измерения объема понятий, усвоенных испытуемым, фиксируются в тестовой матрице.

Шаг второй. По данным прямого измерения первичного бала, который наблюдается по тестовой матрице, АСИ строит экспериментальное распределение коэффициента икт-грамотности.

Вначале система сравнивает количество правильно воспроизведенных испытуемым понятий с количеством понятий, определенным в первичном эталоне. Далее рассчитываются значения коэффициента икт-грамотности по блокам, определяется среднее значение показателя и погрешность среднего при заданной вероятности. Если среднее значение коэффициента грамотности испытуемого попадает в интервал сертификационного значения точности, но вместе с тем наблюдается отличие доверительных интервалов для среднего, то в этом случае следует установить, есть ли существенное статистическое различие между двумя выборками.

Принимается нулевая гипотеза о сходстве уровня подготовленности испытуемого стандарту как верная, и если она отклоняется, то тем самым обосновывается гипотеза о различии.

Нулевая гипотеза записывается так: .

Это означает, что средние и дисперсии первой и второй выборок статистически однородны. Альтернативная гипотеза записывается так:

.

Это означает, что средние не однородны, а дисперсии однородны, или средние однородны, а дисперсии не однородны, или не однородны и средние и дисперсии. Любые из трёх несовместимых вариантов являются достаточным условием для отклонения гипотезы о сходстве в пользу гипотезы о различии. Для проверки гипотез используют парные критерии Стьюдента и Фишера. Распределение Стьюдента (критерий для сравнения средних): . Распределение Фишера (критерий для сравнения дисперсий): распределение Фишера-Снедекора (критерий для сравнения дисперсий).

.

Шаг третий. АСИ рассчитывает значение скорости правильного мышления испытуемого (икт-компетентность).

.

Расчет абсолютной погрешности измерения компетентности проводится по правилам расчета погрешности косвенного измерения.

.

Шаг четвертый. Формирование сертификационного заключения в АСИ производится по результатам измерения (табл. 6).

Таблица 6

Пример расчетов. Сравнение проводится с эталоном 1-го разряда

Блоки

Результаты измерений и расчетов

1

2

3

4

5

Экспериментальное распределение

0,93

0,78

0,50

0,80

0,82

= 0,77 ± 0,09

Заданное АСИ значение максимальной скорости оперирования понятиями

= 0,005694± 0,000139 (п/с)

Значение компетентности испытуемого

= 0,004384 ± 0,000618 (п/с)

Коэффициент компетентности испытуемого

= = = 0,77 ± 0,12

Расчеты погрешностей косвенных измерений

.

Относительная погрешность

.

По результатам измерения икт-грамотности и икт-компетентности формируется сертификационное заключение.

СЕРТИФИКАЦИОННОЕ ЗАКЛЮЧЕНИЕ

1. Испытуемый сертифицирован.

2. Испытуемый усвоил 77% понятий области ИКТ компетенций согласно единым квалификационным требованиям. Относительная погрешность измерения грамотности испытуемого равна 9%.

3. За одну секунду испытуемый воспроизводит правильно 77% понятий области ИКТ компетенций. Скорость правильного воспроизведения понятий испытуемым (компетентность) равна = 0,0043 ± 0,0006 (п/с) Относительная погрешность измерения компетентности испытуемого равна 16%.

Измерение проводилось при малом числе наблюдений признака , с доверительной вероятностью P = 0,95.

Измерение сертификационных показателей проводится в режиме реального времени (on-lain тестирование) на сайте testcentre.ru.

При исследовании компетентности испытуемого усложняется содержание заданий и одновременно проводится измерение времени выполнения заданий по каждому отдельному блоку.

Система предусматривает перестройку методов и приемов автоматизации в соответствии с новыми возможностями ИКТ. Данное свойство предполагает минимальную затрату времени и средств на ее перестройку и получение экономического, социального или иного эффекта автоматизации.

Система позволяет решать три основные класса задач: 1) расчетные задачи, которые реализуются на основе расчетных моделей (результат - числовое значение); 2) информационные задачи, которые реализуются на основе информационных моделей (результат - смысловой текст, график, рисунок); 3) модельные задачи, которые реализуются на основе моделей знаний о предметной области (результат - модель объекта или процесса).

Разработанная и описанная выше методика является универсальной, она может быть адаптирована к измерению других составляющих грамотности и компетентности работников отрасли образования.

Автоматизированные элементы системы измерений представлены в виде обобщенной блок-схемы рис. 6.

Рис. 6 Общая структура АСИ

В пятой главе диссертационного исследования описана новая методика экспертной оценки компетентности работников отрасли образования по всем ее составляющим. В методике отражены способы, процедуры и алгоритмы автоматизации экспертизы компетентности.

Количественной мерой компетентности работника является относительный показатель - коэффициент компетентности .

Коэффициент компетентности равен отношению объема усвоенных работником всех составляющих видов деятельности к объему заданному квалификационными требованиями:

Основной целью экспертной оценки является установление соответствия выполняемых работником функций (видов деятельности) квалификационным требованиям. Чем выше уровень квалификации работника, тем выше значение коэффициента его компетентности.

Данный принцип экспертной оценки определяет основной метод исследования как «метод сравнения с мерой», при котором измеряемую величину сравнивают с величиной, заданной мерой.

Процесс разработки эталонов (мер) экспертной оценки, как и процесс объективного педагогического измерения, состоит из трех основных шагов: формирование кодификатора компетенций; формирование эталонов; установление сертификационных норм.

Основным рабочим средством экспертизы является машиночитаемая карточка эксперта в форме бланка, который составляется в соответствии с кодификатором компетенций.

При разработке машиночитаемой формы такого бланка предусмотрены поля для ввода измеряемых параметров и поля для ввода данных о работнике, а также разработана инструкция по его заполнению.

Основание экспертизы. Экспертиза проводится на единой нормативной и организационно-методической основе (квалификационные требования к работникам отрасли образования).

Предмет исследования. Как было отмечено выше, целью и содержанием экспертизы является установление соответствия квалификации работника квалификационным требованиям.

В процессе проведения экспертизы определяются значения коэффициента компетентности работника, исследуемого для каждой составляющей области компетенций.

Форма проведения. Под формой проведения экспертизы понимается время, место и организационные условия ее проведения.

В системе сертификации рекомендованы такие формы как: анализ экспертом портфолио работника (без участия работника), устное собеседование. Время экспертизы устанавливается по согласованию с работником.

Критерии экспертизы. Под критериями понимаются значения показателей, коэффициента компетентности работника и их соответствие коэффициентам компетенции, которые заданы эталонами.

Самообследование. Перед началом экспертизы работник проводит самообследование своей деятельности по заданным кодификаторам компетенций и подтверждает результаты выполнения своих трудовых функций.

Результаты самообследования передаются эксперту.

Экспертное обследование. Эксперт знакомится с результатами самообследования работника и заполняет машиночитаемый бланк (карточку обследования). Бланк сканируется и обрабатывается с помощью специальных или типовых компьютерных программ. По результатам экспертизы выдается сертификат, который передается в аттестационную комиссию для принятия управленческого решения о присвоении работнику соответствующей категории. Система сбора и обработки данных в системе отраслевой сертификации удовлетворяет нижеперечисленным техническим требованиям: 1) поддерживает корректность и целостность данных; 2) обеспечивает шифрование информации; 3) поддерживает данные, необходимые для формирования базовых отчетных форм.

Экспертное заключение формируется в автоматическом режиме и предоставляется испытуемому в виде бланка (рис. 7).

Рис. 7 Образец экспертного заключения

В шестой главе описан процесс внедрения системы сертификации работников отрасли образования, разработанной на новой теоретической основе, и экспериментальное исследование ее характеристик.

В описании отражены результаты оценки количественных показателей эффективности функционирования автоматизированной организационно-технологической системы сертификации работников отрасли образования в сопоставлении с ранее существующими системами сертификации в области ИКТ на основе экспертных технологий.

Исследование основных элементов системы сертификации было разделено на две составляющие в зависимости от уровня системы повышения квалификации.

Первый уровень - локальный (Лицей № 273 Колпинского района Санкт-Петербурга).

Второй - межрегиональный (экспериментальное исследование икт-грамотности и икт-компетентности работников отрасли образования с использованием АСИ в 17 регионах РФ).

Исследование грамотности и компетентности работников Лицея

Данные исследования результатов измерения грамотности и компетентности работников Лицея категории «Руководители» и «Педагогические работники» показывают, что грамотность и компетентность испытуемых растет по мере внедрения инновационных учебных модулей в процессе повышения квалификации, реализуемой в рамках проведения опытно-экспериментальной работы. Средние значения исследуемых показателей представлены в табл. 7.

Таблица 7

Средние значения показателей

Первый этап

Второй этап

Третий этап

0,37

0,28

0,45

0,33

0,64

0,47

Распределение исследуемых показателей по этапам эксперимента

Проверка статистической гипотезы о наличии различия между выборками по этапам исследования позволяет сделать вывод, что исследуемые выборки и являются статистически неоднородными. Следовательно, по мере повышения квалификации работников выделенных категорий с использованием инновационных учебных модулей в процессе педагогической деятельности грамотность и компетентность испытуемых повышается. Результаты дисперсионного анализа полученных данных позволили установить факт влияния внедрения инновационных учебных модулей в процесс повышения квалификации работников Лицея.

Экспертиза экспертизы компетентности работников Лицея проводилось на последнем, заключительном этапе эксперимента по методике, описанной в главе 5 настоящего диссертационного исследования.

В процессе анализа результатов устанавливалась корреляционная зависимость между данными, полученными при измерении коэффициента компетентности и данными, полученными при экспертизе (табл. 8).

Таблица 8

Результаты сравнения коэффициента компетентности

Испытуемые

Измерение

Экспертиза

Квалификационная категория работника

Третий этап

1

2

3

4

1ЗР1

0,31 ±0,04

0,62 ±0,41

1

первая

2ЗР2

0,42 ±0,13

0,73 ±0,24

1

высшая

3ЗР3

0,39 ±0,20

0,52 ±0,310

1

вторая

4ЗР4

0,43 ±0,14

0,54 ±0,49

2

первая

5ЗР5

0,34 ±0,16

0,58 ±0,48

2

первая

6ЗР6

0,57 ±0,09

...

Страница:


Подобные документы

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.

© 2000 — 2023, ООО «Олбест» Все права защищены