Разработка механизмов и критериев оценки качества дополнительных профессиональных программ гражданских служащих

Автор данной работы разделяет положения теории, однако считает, что на сегодняшний день применяемые в России формы группового взаимодействия недостаточно эффективны ввиду того, что их роль в качестве восприятия образовательного материала недооценена ни преподавателями, ни слушателями. На основе изложенной информации автор данной работы сформулировал гипотезу H11 «Реализация в рамках дополнительной профессиональной программы гражданских служащих форм группового взаимодействия слушателей отрицательно сказывается на ее качестве», а также независимую переменную «групповое взаимодействие». В анкету исследования будут включены следующие формы группового взаимодействия Dobos Б. Professional development in the civil service- From American and Hungarian perspectives //Procedia-Social and Behavioral Sciences. - 2015. - Т. 191. - С. 1889: ролевые игры, панельные дискуссии, дискуссии в малых группах, решение проблем в малых группах, «мозговой штурм», кейс-стади, проекты.

Теория множественного интеллекта Г. Гарднера

Теория множественного интеллекта, основоположником которой стал Говард Гарднер, является одной из новых теорий обучения. Разработанная в 1983 году, теория множественного интеллекта гласит, что профиль интеллекта человека состоит из восьми моделей интеллекта: лингвистическая (словесная), логико-математическая (числа, логика), пространственная (визуализация: изображения, формы), музыкальная (музыка, звуки), телесно-кинестетическая (движение, прикосновения, ощущения), межличностная (общение, сотрудничество, работа в команде), внутриличностная (саморефлексия, самопознание) и натуралистическая (общение с природой) Gardner H. E. Multiple intelligences: New horizons in theory and practice. - Basic books, 2008.. Каждому человеку свойственно уникальное сочетание вышеперечисленных моделей интеллекта, по причине чего люди по-разному воспринимают преподносимую в той или иной форме информацию.

Говард Гарднер утверждал, что для повышения эффективности образовательного процесса необходимо воздействовать на различные модели интеллекта обучающихся или, иными словами, подавать один и тот же материал разными способами. Для этого ученый предлагает использовать пять различных способов преподавания: повествовательный, логико-арифметический, фундаментальный, эстетический, экспериментальный. Так, повествовательный способ преподавания реализовывается посредством историй, рассказов об изучаемом предмете, логико-арифметический - посредством числовых расчетов, дедуктивного метода рассуждения, аргументов «за» и «против» рассматриваемого вопроса. Фундаментальный способ преподавания заключается в рассмотрении философских и терминологических аспектов изучаемого вопроса, в рамках эстетического способа преподавания акцент перемещается на восприятие, визуализацию. Наконец, экспериментальный способ преподавания заключается в выполнении какой-либо работы, связанной с изучаемым вопросом, собственными руками Gardner H. The unschooled mind: How children think and how schools should teach. - Basic Books (AZ), 2011. - p. 265. Проведенные в данной области исследования не только подтверждают вышеизложенную позицию Г. Гарднера о том, что для повышения степени освоения материала одну и ту же информацию необходимо преподносить в разных формах Sorin-Avram V. Possibilities of Instruction Based on the Students' Potential and Multiple Intelligences Theory //Procedia-Social and Behavioral Sciences. - 2015. - Т. 191. - С. 1772-1776., но и доказывают, что процесс обучения в целом не будет эффективным, если некорректно выбрать способ преподавания Petruюa G. P. Multiple intelligences stimulated within the lessons by the practicant students from the Faculty of Sciences //Procedia-Social and Behavioral Sciences. - 2013. - Т. 76. - С. 676-680..

Автор данной работы разделяет положения теории множественного интеллекта: включение в образовательный процесс различных органов восприятия, неоднократное повторение материала различными способами позволяют слушателям лучше усвоить информацию на более долгий временной период. Вышеизложенная информация легла в основу следующей гипотезы H12 «Количество применяемых в рамках дополнительной профессиональной программы гражданских служащих способов преподавания положительно влияет на ее качество», а также на ее основе была сформулирована следующая независимая переменная исследования: «способы преподавания».

Теории андрагогики Ноулза

Поскольку в данной работе речь идет о дополнительных профессиональных программах гражданских служащих, в заключение автор данной работы уделил внимание теориям обучения взрослых, а именно теории андрагогики Ноулза. Согласно данной теории, несмотря на универсальность некоторых подходов, теория, технологии, методы, материалы и кадры, привлекаемые для профессионального обучения взрослого, должны быть отличны от тех, что используются в процессе обучения детей Knowles M. Adult learning //. The ASTD Training and Development Handbook. - 1996.. Связано это с тем, что в рамках образовательного процесса взрослый человек отличается от ребенка рядом характеристик: он осознает себя как самостоятельную, самоуправляемую личность, обладает запасом жизненного опыта, его мотивация к обучению обуславливается стремлением решить существующие проблемы, по причине чего он стремится к безотлагательной реализации полученных знаний, умений и навыков, и его учебная деятельность обусловлена рядом факторов, включая социальные, временные, пространственные, профессиональные Змеёв С. И. Образование взрослых и андрагогика в реализации концепции непрерывного образования в России //Отечественная и зарубежная педагогика. - 2015. - №. 3 (24). - с. 96. Пренебрежение данной установкой влечет за собой снижение эффективности образовательного процесса, а также проблемы психологического характера Бекмашева Б. Н. Андрагогика - обучение взрослого человека // Новая наука: Опыт, традиции, инновации. - 2016. - №. 11-2. - С. 66-67.. В рамках исследования A. Muduli, V. Kaura, Vinita и A. Quazi Muduli A., Kaura V., Quazi A. Pedagogy or andragogy? Views of Indian postgraduate business students //IIMB Management Review. - 2018. было доказано преимущество андрагогики над педагогикой в рамках обучения взрослых, в частности были подтверждены гипотезы о том, что существуют значительные отличия в восприятии андрагогических и педагогических методов обучения в части учета уровня профессионального опыта обучаемых, их мотивации, самоопределения и образовательных ориентиров.

Автор данной работы разделяет положения теории андрагогики. Вместе с тем он убежден, что современный российский образовательный процесс не приспособлен к учету индивидуальных потребностей и опыта гражданских служащих ввиду того, что переход от традиционных образовательных стандартов к современным до сих пор не осуществлен (например, ввиду высокой доли консервативных преподавателей). На основе результатов данного исследования автором работы была сформулирована гипотеза H13 «Индивидуальный подход к составлению дополнительной профессиональной программы гражданских служащих не оказывает влияние на ее качество», а также независимая переменная «индивидуальный подход к составлению дополнительной профессиональной программы». Под индивидуальным подходом в рамках исследования будет подразумеваться учет профессионального опыта обучающегося, его мотивации, самоопределения и образовательных ориентиров, выявляемых посредством предварительного анкетирования, тестирования или интервьюирования (см. рис. 8).

Таким образом, в результате анализа зарубежных и отечественных теорий обучения автор данной работы сделал выводы о возможности их применения в современных российских реалиях, а также сформулировал семь исследовательских гипотез.

Рисунок 8

Связь между теориями обучения и переменными исследования



2. Количественный анализ факторов качества дополнительных профессиональных программ гражданских служащих

На основе факторов, выявленных по результатам анализа нормативного правового регулирования дополнительных профессиональных программ гражданских служащих, а также теоретических и эмпирических исследований профессионального развития гражданских служащих, в данной главе автор исследования проведет корреляционный и регрессионный анализ. Это позволит выявить те факторы, что оказывают влияние на качество дополнительных профессиональных программ гражданских служащих. Более того, будут протестированы исследовательские гипотезы.

2.1. Формирование информационной базы и операционализация факторов оценки качества дополнительных профессиональных программ гражданских служащих

Итак, для достижения цели данного исследования, которая заключается в разработке механизмов и критериев оценки качества дополнительных профессиональных программ гражданских служащих, необходимо определить, какие факторы оказывают влияние на качество данных программ. Специфика данного исследования заключается в том, что в нем учтено не только субъективное мнение прошедших обучение по дополнительным профессиональным программам гражданских служащих, но и объективные, первичные характеристики дополнительных профессиональных программ, информация о которых размещена в открытых источниках. В связи с вышеперечисленным, сбор информации, необходимой для проведения соответствующего исследования, проводился автором данной работы с привлечением двух источников информации.

Первая информационная база (далее - Информационная база №1) сформирована путем анализа информации, размещенной в Единой информационной системе в сфере закупок (далее - ЕИС). Автор данной работы собрал информацию о 452 дополнительных профессиональных программах гражданских служащих (повышение квалификации и профессиональная переподготовка), принимавших участие в закупочной деятельности в период с 2014 по 2019 годы. Закупки проводились в рамках Федерального закона от 05 апреля 2013 г. № 44-ФЗ «О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд» Федеральный закон от 05 апреля 2013 г. № 44-ФЗ «О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд» // Собрание законодательства РФ. - 08.04.2013. - № 14. - ст. 1652 путем проведения конкурсов или запросов предложений, при формировании базы учитывались только закупки со статусом «Процедура завершена». Информационная база № 1 представлена в Приложении № 2 (см. Приложение № 2).

Информационная база № 1 преимущественно представлена дополнительными профессиональными программами, реализуемыми в форме повышения квалификации на протяжении 73-150 академических часов. Стоимость дополнительных профессиональных программ варьируется в промежутке от 100 до 500 рублей за человеко-час. Включенные в Информационную базу № 1 программы реализуются преимущественно очно, форма итогового контроля - тестирование. Коэффициент практикоориентированности в среднем составляет 46-80% (см. рис. 9). На основе данной информационной базы будет проведена работа с гипотезами H1-H7.

Генеральной совокупностью части исследования, проведенной на основе первой информационной базы, являются дополнительные профессиональные программы гражданских служащих, выборочной совокупностью - дополнительные профессиональные программы гражданских служащих, конкурсная документация по которым была размещена в ЕИС с целью участия в конкурсных закупках.

Вторая информационная база (далее - Информационная база № 2) сформирована путем анкетирования гражданских служащих, прошедших в течение гражданской службы обучение по дополнительной профессиональной программе (см. Приложение № 3). Анкета, предложенная прошедшим обучение по дополнительной профессиональной программе гражданским служащим, представлена в Приложении №4 (см. Приложение № 4). В ходе исследования были проанкетированы 37 гражданских служащих, прошедших обучение по 4 дополнительным профессиональным программам (что также объясняет необходимость формирования и учета двух информационных баз).

Рисунок 9

Аналитическое описание Информационной базы № 1

13 респондентов - сотрудники Федеральной налоговой службы Российской Федерации (далее - ФНС России), прошедшие обучение по дополнительной профессиональной программе «Валютный контроль, осуществляемый налоговыми органами». 10 респондентов - сотрудники ФНС России, обучившиеся по дополнительной профессиональной программе «Налогообложение доходов физических лиц». 6 сотрудников Министерства транспорта Российской Федерации, принявших участие в анкетировании, прошли обучение по дополнительной профессиональной программе «Контрактная система в сфере закупок товаров, работ, услуг для обеспечения государственных нужд». 8 работников Федерального агентства по делам молодежи, принявших участие в анкетировании, обучались по дополнительной профессиональной программе «Аудит кадровой документации» (см. рис. 10).

На основе собранной путем анкетирования информации автором данной работы проведена работа с гипотезами H8-H13.

Рисунок 10

Характеристики изученных в рамках анкетирования ДПП

Распределение респондентов, вовлеченных в исследование, по гендерным характеристикам равномерно: в анкетировании приняли участие 54% женщин и 56% мужчин. Возраст респондентов не превышал 55 лет, образование - не ниже высшего, стаж государственной службы - преимущественно до 3 лет. Уровень государственного органа, где респонденты проходят службу - федеральный, тип - служба (см. рис. 11).

Генеральной совокупностью исследования являются прошедшие обучение по дополнительной профессиональной программе гражданские служащие, выборочную совокупность исследования - прошедшие обучение по дополнительной профессиональной программе гражданские служащие, принявшие участие в анкетировании.

Автор данной работы использовал количественный метод исследования - с целью выявления факторов, оказывающих влияние на качество дополнительных профессиональных программ гражданских служащих, а также тестирования гипотез были построены корреляционные модели. Автор данной работы провел корреляционный анализ посредством таблиц сопряженности для номинальных независимых переменных и парной корреляции для порядковых независимых переменных, что позволило определить наличие взаимосвязей между зависимыми и независимыми переменными. Для выбора метода парной корреляции независимые переменные были проверены на нормальность посредством теста Колмагорова-Смирнова. Далее с целью определения силы выявленных связей автором данной работы были построены регрессионные модели. Модели были построены в программе статистического анализа данных SPSS.

Рисунок 11

Аналитическое описание Информационной базы № 2

В силу необходимости работы с двумя информационными базами, качество дополнительных профессиональных программ гражданских служащих будет измеряться двумя способами. В рамках первого способа, при работе с Информационной базой № 2, автор данной работы обратился к подходу, примененного в исследовании Kuo F. O., Yu P. T., Hsiao W. H Develop and evaluate the effects of multimodal presentation system on elementary student learning effectiveness: within classroom English learning activity //Procedia-Social and Behavioral Sciences. - 2015. - Т. 176. - С. 227-235.. Согласно данному подходу, для оценки качества образовательного процесса необходимо использовать две переменные: академические достижения обучающихся и их удовлетворенность образовательным процессом. Академические достижения обучающихся авторы измерили при помощи среднего балла за период обучения, удовлетворенность образовательным процессом - за счет оценки респондентами 6 высказываний. Ввиду формального подхода к проставлению оценок, а также с учетом того, что не все дополнительные профессиональные программы предполагают оценку знаний слушателей, автор данной работы сократил количество высказываний и в незначительной степени скорректировал их в соответствии со спецификой данной работы:

1. В целом, я удовлетворен данной программой дополнительного профессионального образования;

2. Курс оказался полезным и эффективным для моей работы.

Респондентам было предложено оценить данные высказывания по классической шкале Лайкерта, где 1 - совершенно не согласен, 5 - абсолютно согласен.

При работе с Информационной базой № 1 автор данной работы применил следующий подход к оценке качества дополнительных профессиональных программ: качественными были признаны те дополнительные профессиональные программы, которые выиграли конкурс (или запрос предложений), то есть, иными словами, наилучшим образом соответствовали установленным заказчиком требованиям.

Для того чтобы измерить независимую переменную «обратная связь от преподавателя» (Информационная база № 2), респондентам, как и в исследовании Dunworth K., Sanchez H. S. Dunworth K., Sanchez H. S. Mediating factors in the provision of lecturers' written feedback to postgraduate taught students //International Journal of Educational Research. - 2018. - Т. 90. - С. 107-116., было предложено оценить высказывания «В процессе обучения по дополнительной профессиональной программе у меня всегда была возможность получить ответы на вопросы, комментарии и замечания от преподавателя», «Получаемая в качестве обратной связи информация от преподавателя была комплексной и исчерпывающей» и «Получаемая в качестве обратной связи информация от преподавателя была полезна для моей работы» по классической шкале Лайкерта, где 1 - совершенно не согласен, 5 - абсолютно согласен.

С целью оценки независимой переменной «система оценивания знаний» (Информационная база № 2) респондентам было предложено оценить высказывание «В ходе обучения преподаватель систематически оценивал выполняемую слушателями работу», а также высказывание «Методы, используемые для оценки работы слушателей, справедливы и уместны», позаимствованные из исследования Samian Y., Noor N. M. Samian Y., Noor N. M. Student's Perception on Good Lecturer based on Lecturer Performance Assessment //Procedia-Social and Behavioral Sciences. - 2012. - Т. 56. - С. 783-790. по классической шкале Лайкерта, где 1 - совершенно не согласен, 5 - абсолютно согласен.

Для оценки независимой переменной «форма представления информации» (Информационная база № 2) автор данной работы обратился к методу, который был использован Fong S. F., Lily L. P. L., Por F. P. Fong S. F., Lily L. P. L., Por F. P. Reducing cognitive overload among students of different anxiety levels using segmented animation //Procedia-Social and Behavioral Sciences. - 2012. - Т. 47. - С. 1448-1456. Согласно данному методу, респондентам предлагается выбрать, в какой форме им преимущественно представлялась информация в презентациях в рамках образовательного процесса:

· слайды с большим количеством текста и статичными картинками (большой блок информации полностью размещен на одном слайде);

· слайды с большим количеством текста и анимированными элементами (большой блок информации полностью размещен на одном слайде);

· слайды с небольшим количеством текста и анимированными элементами (большой блок информации сегментирован на несколько слайдов).

С целью оценки независимой переменной «групповое взаимодействие» (Информационная база № 2) респондентам было предложено ответить на вопрос: «В рамках образовательного процесса применялись ли образовательные методы, подразумевающие групповое взаимодействие?», а также, в случае положительного ответа, выбрать из следующего списка те методы группового взаимодействия, которые были использованы Dobos Б. Professional development in the civil service- From American and Hungarian perspectives //Procedia-Social and Behavioral Sciences. - 2015. - Т. 191. - С. 1889: ролевые игры, панельные дискуссии, дискуссии в малых группах, решение проблем в малых группах, «мозговой штурм», кейс-стади, проекты.

Для оценки независимой переменной «способы преподавания» автор данной работы позаимствовал методику, примененную в исследовании Petruюa G. P. Petruюa G. P. Multiple intelligences stimulated within the lessons by the practicant students from the Faculty of Sciences //Procedia-Social and Behavioral Sciences. - 2013. - Т. 76. - С. 676-680. В рамках данной методики респондентам было предложено из закрытого списка выбрать те способы преподавания, которые использовались в ходе образовательного процесса:

· разговоры во всевозможных проявлениях (лекции, диалоги, дискуссии, рассуждения, «мозговые штурмы» и т.д.) (лингвистическая модель интеллекта);

· алгоритмизация, конспектирование книг, визуализация посредством графиков, сравнительный анализ, упражнения, открытия, демонстрации (логико-математическая модель интеллекта);

· визуализация (презентации, чертежи, модели, изображения, графика и т.д.) (пространственная модель интеллекта);

· практическая работа (телесно-кинестетическая модель интеллекта);

· работа с индивидуальными раздаточными материалами (внутриличностная модель интеллекта);

· групповая работа в любых ее проявлениях (ролевые игры, панельные дискуссии, дискуссии в малых группах, решение проблем в малых группах, «мозговой штурм», кейс-стади, проекты и т.д.) (межличностная модель интеллекта);

· наблюдение и описание конституции некоторых растений/животных, их сравнение, предложение идей для сбора отходов, иные методы, связанные с общением с природой (натуралистическая модель интеллекта);

· воспроизведение звуковых файлов (музыкальная модель интеллекта).

С целью оценки независимой переменной «индивидуальный подход к составлению дополнительной профессиональной программы» (Информационная база № 2) респондентам было предложено ответить на вопрос «До начала обучения было ли проведено тестирование/анкетирование/интервьюирование с целью выявления профессионального опыта/целей прохождения обучения/ожиданий от дополнительной профессиональной программы?», а также оценить высказывания, позаимствованные из исследования A. Muduli, V. Kaura, Vinita и A. Quazi Muduli A., Kaura V., Quazi A. Pedagogy or andragogy? Views of Indian postgraduate business students //IIMB Management Review. - 2018., «В ходе обучения преподаватель побуждал слушателей действовать в соответствии с их прежним опытом работы и соотносить этот опыт с целями курса» и «В ходе обучения преподаватель позволял слушателям принимать активное участие в принятии решения о том, что следует изучать и как это следует делать» по классической шкале Лайкерта, где 1 - совершенно не согласен, 5 - абсолютно согласен.

Также в анкету (Информационная база № 2) включены вопросы, которые позволяют оценить контрольные независимые переменные: возраст, пол, уровень образования, тип и уровень государственного органа, где респондент проходит службу, общий стаж государственной службы.

Для того чтобы оценить независимые переменные, включенные в Информационную базу № 1, автор данной работы собрал соответствующую информацию путем изучения заявок на участие в конкурсной процедуре:

· «тип дополнительной профессиональной программы» - повышение квалификации, профессиональная переподготовка;

· «форма дополнительной профессиональной программы» - очная, очно-заочная (вечерняя), заочная, дистанционная (полностью или частично);

· «продолжительность дополнительной профессиональной программы» - количество академических часов, предусмотренных для прохождения обучения;

· «форма итогового контроля» - контрольная работа, зачет, тест, деловая игра, кейс, собеседование;

· «отрыв от производства» - предусмотрен ли в процессе прохождения обучения по дополнительной профессиональной программе отрыв от исполнения должностных полномочий гражданского служащего;

· «стоимость дополнительной профессиональной программы» - стоимость одного человеко-часа обучения по дополнительной профессиональной программе (рассчитывается путем деления общей стоимости закупки на количество обучаемых гражданских служащих и на продолжительность обучения (академические часы));

· «практикоориентированность дополнительной профессиональной программы» - показатель, позволяющий оценить долю практических тем в совокупном количестве тем, предусмотренных учебным планом дополнительной профессиональной программы (рассчитывается путем деления совокупного количества тем на количество практических тем). Стоит отметить, что практическими темами считались те, в рамках изучения которых предполагалось проведение практических занятий.

Таким образом, в рамках исследования автор построил 3 регрессионные модели, опираясь на следующие переменные: 3 - зависимые, 6 - независимые контрольные, 27 - независимые (рис. 12).

Рисунок 12. Схема соотношения зависимой и независимых переменных исследования



2.2. Корреляционный и регрессионный анализ качества дополнительных профессиональных программ гражданских служащих на основе данных государственных закупок

Модель № 1 базируется на номинальной зависимой переменной «Качество дополнительной профессиональной программы (3)», которая измерялась путем анализа информации, размещенной в ЕИС. В основе данной модели, как уже отмечалось ранее, лежит Информационная
база № 1, включающая в себя те переменные, оценить которые возможно без привлечения гражданских служащих или их непосредственных руководителей, на основе размещенной в открытом доступе информации. Модель № 1 позволила автору данной работы протестировать гипотезы
H1 - H7.

На первом этапе работы с Моделью № 1 автор данной работы выявил существующие взаимосвязи между зависимой и независимыми переменными. Для номинальных независимых переменных были выстроены таблицы сопряженности.

Первая рассмотренная номинальная независимая переменная - «форма дополнительной профессиональной программы». Тест для данной переменной применим, так как менее чем для 5% ячеек предполагается значение, меньше 5. Исходя из того, что Хи-квадрат Пирсона значим на уровне менее 5% (см. рис. 13). Автор данной работы сделал вывод, что гипотеза H1 подтвердилась.



Рисунок 13

Таблица сопряженности для независимой переменной «Форма дополнительной профессиональной программы»

Следующая проанализированная номинальная независимая переменная - «отрыв от производства». Тест для данной переменной применим, так как менее чем для 5% ячеек предполагается значение, меньше 5. Исходя из того, что Хи-квадрат Пирсона значим на уровне менее 5%, автор сделал вывод, что связь между зависимой и независимой переменными имеется (см. рис. 14).

Рисунок 14. Таблица сопряженности для независимой переменной «Отрыв от производства»

Далее автор данной работы построил таблицы сопряженности для номинальных независимых переменных, описывающих различные формы итогового контроля. Первая рассмотренная в рамках анализа форма итогового контроля - контрольная работа. Тест применим, так как менее чем для 5% ячеек предполагается значение, меньше 5. Исходя из того, что значимость отношения правдоподобия составляет 0,074, что более 5% уровня, автор сделал вывод, что связь между зависимой и независимой переменными отсутствует (см. рис. 15).

Рисунок 15. Таблица сопряженности для независимой переменной «Форма итогового контроля - контрольная работа»

Вторая рассмотренная в рамках анализа форма итогового контроля - зачет. Тест применим, так как менее чем для 5% ячеек предполагается значение, меньше 5. Исходя из того, что значимость отношения правдоподобия составляет 0,072, что более 5% уровня, автор данной работы сделал вывод, что связь между зависимой и независимой переменными отсутствует (см. рис. 16).

Третья рассмотренная в рамках анализа форма итогового контроля - тестирование. Тест применим, так как менее чем для 5% ячеек предполагается значение, меньше 5. Исходя из того, что Хи-квадрат Пирсона значим на уровне менее 5%, автор данной работы сделал вывод, что связь между зависимой и независимой переменными имеется
(см. рис. 17).

Рисунок 16. Таблица сопряженности для независимой переменной «Форма итогового контроля - зачет»

Четвертая рассмотренная в рамках анализа форма итогового контроля - деловая игра. Тест применим, так как менее чем для 5% ячеек предполагается значение, меньше 5. Исходя из того, что Хи-квадрат Пирсона значим на уровне менее 5%, автор данной работы сделал вывод, что связь между зависимой и независимой переменными имеется (см. рис. 18).



Рисунок 17. Таблица сопряженности для независимой переменной «Форма итогового контроля - тестирование»

Рисунок 18. Таблица сопряженности для независимой переменной «Форма итогового контроля - деловая игра»

Пятая рассмотренная в рамках анализа форма итогового контроля - решение кейсов. Тест применим, так как менее чем для 5% ячеек предполагается значение, меньше 5. Исходя из того, что Хи-квадрат Пирсона значим на уровне менее 5%, автор данной работы сделал вывод, что связь между зависимой и независимой переменными имеется
(см. рис. 19).

Рисунок 19. Таблица сопряженности для независимой переменной «Форма итогового контроля - решение кейсов»

Шестая рассмотренная в рамках анализа форма итогового контроля - собеседование. Тест не применим, так как более чем для 20% ячеек предполагается значение, меньше 5 (см. рис. 20). Таким образом, гипотеза H6 была подтверждена частично.



Рисунок 20. Таблица сопряженности для независимой переменной «Форма итогового контроля - собеседование»

Следующая рассмотренная автором данной работы группа номинальных независимых переменных, для которых были построены таблицы сопряженности, описывает различные типы дополнительных профессиональных программ. Первый рассмотренный в рамках анализа тип дополнительной профессиональной программы - очный. Тест применим, так как менее чем для 5% ячеек предполагается значение, меньше 5. Исходя из того, что Хи-квадрат Пирсона значим на уровне менее 5%, автор данной работы сделал вывод, что связь между зависимой и независимой переменными имеется (см. рис. 21).



Рисунок 21. Таблица сопряженности для независимой переменной «Тип дополнительной профессиональной программы - очная»

Второй рассмотренный в рамках анализа тип дополнительной профессиональной программы - очно-заочный (вечерний). Тест применим, так как менее чем для 5% ячеек предполагается значение, меньше 5. Исходя из того, что Хи-квадрат Пирсона значим на уровне менее 5%, автор данной работы сделал вывод, что связь между зависимой и независимой переменными имеется (см. рис. 22).



Рисунок 22. Таблица сопряженности для независимой переменной «Тип дополнительной профессиональной программы - очно-заочная (вечерняя)»

Третий рассмотренный в рамках анализа тип дополнительной профессиональной программы - заочный. Тест применим, так как менее чем для 5% ячеек предполагается значение, меньше 5. Исходя из того, что Хи-квадрат Пирсона значим на уровне менее 5%, автор данной работы сделал вывод, что связь между зависимой и независимой переменными имеется (см. рис. 23).

Рисунок 23. Таблица сопряженности для независимой переменной «Тип дополнительной профессиональной программы - заочная»

Четвертый рассмотренный в рамках анализа тип дополнительной профессиональной программы - дистанционный. Тест применим, так как менее чем для 5% ячеек предполагается значение, меньше 5. Исходя из того, что значимость отношения правдоподобия составляет 0,093, что более 5% уровня, автор данной работы сделал вывод, что связь между зависимой и независимой переменными отсутствует (см. рис. 24). Таким образом, гипотеза H7 частично подтверждается.

Рисунок 24. Таблица сопряженности для независимой переменной «Тип дополнительной профессиональной программы - дистанционная»

Далее автор данной работы проанализировал порядковые независимые переменные. С целью выявления связей между номинальной зависимой переменной и порядковыми независимыми переменными автор данной работы обратился к парной корреляции. Для того чтобы определить, каким типом парной корреляции следует воспользоваться в рассматриваемом случае, автор предварительно проверил переменные на нормальность при помощи теста Колмогорова-Смирнова (т.к. наблюдений более 100).

Пусть гипотеза Y1 звучит следующим образом: распределение значений переменных отличается от нормальной переменной. По всех случаях p-value менее 0,05, значит, Y1 принимаем - переменные ненормальные (см. рис. 1-3 Приложения № 6). По этой причине при построении парной корреляции автор данной работы обратился к тесту Tay-b Кендалла.

Результаты анализа показали, что в случаях с переменными «Продолжительность дополнительной профессиональной программы» и «Стоимость дополнительной профессиональной программы» p-value менее 0,05, что говорит о статистической значимости корреляции между зависимой переменной и данными независимыми переменными. Корреляция между зависимой переменной и независимой переменной «Коэффициент практикоориентированности» статистически не значима, поскольку p-value = 0,709 (>0.05), что дает автору данной работы основание опровергнуть гипотезу H5.

Также автор данной работы считает необходимым отметить, что в случае с независимой переменной «Продолжительность дополнительной профессиональной программы» связь слабая, в случае с независимой переменной «Стоимость дополнительной профессиональной программы» - умеренная.

Таким образом, в рамках корреляционного анализа автором данной работы была подтверждена гипотеза H1. Гипотезы H6, H7 подтверждены частично (из дальнейшего анализа исключены независимые переменные «Форма итогового контроля - контрольная работа», «Форма итогового контроля - зачет», «Форма итогового контроля - собеседование», «Тип дополнительной профессиональной программы - дистанционная»). Гипотеза H5 была опровергнута.

Далее автор данной работы построил регрессионную модель, что позволило оценить силу выявленных связей между зависимой и независимыми переменными. Ввиду того, что зависимая переменная «Качество дополнительной профессиональной программы» имеет два значения, для регрессионного анализа автор данной работы обратился к бинарной логистической регрессии.

Рисунок 25. Универсальные критерии коэффициентов Модели № 1

Прежде всего, необходимо сказать, что построенная модель значимо лучше базовой модели. Она снижает показатель -2LL на 427,304, и это изменение статистически значимо (p-value < 0,05) (см. рис. 25).

Также автор данной работы заключил, что построенная модель верно предсказывает 96% кейсов (см. рис. 26).

Рисунок 26. Таблица классификации для Модели № 1

Более того, построенная модель объясняет 85% изменчивости значений зависимой переменной (см. рис. 27).



Рисунок 27. Сводка для Модели № 1

Уравнение регрессии выглядит следующим образом:

p = 1/(1+e-z)

где z = -1,49*x1 - 2,862*x2 - 0,62*x3 + 3,164*x4 + 0,16*x5 - 18,271*x6 + 0,62*x7 + 1,354*x8 + 0,272*x9 + 1,552*x10 + 5,582.

Построив регрессионную модель, автор данной работы заключил, что на 5% уровне предикторы «Стоимость дополнительной профессиональной программы», «Продолжительность дополнительной профессиональной программы», «Тип дополнительной профессиональной программы - очная», «Форма итогового контроля - тестирование» и «Отрыв от производства» являются статистически значимыми. Предиктор «Форма дополнительной профессиональной программы» является статистически значимым на уровне 10%. Остальные предикторы (4 шт.) не являются статистически значимыми (см. рис. 28). Также автор пришел к следующим выводам (см. рис. 29):



Рисунок 28. Регрессионная модель

1. Изменение формы дополнительной профессиональной программы (из повышения квалификации в профессиональную переподготовку) снижает шансы дополнительной профессиональной программы оказаться качественной на 77,5%.

2. Внедрение возможности проходить дополнительную профессиональную программу гражданских служащих с отрывом от производства повышает шансы дополнительной профессиональной программы оказаться качественной в 1,9 раз.

3. Повышение стоимости дополнительной профессиональной программы на 1 единицу снижает шансы дополнительной профессиональной программы оказаться качественной на 94,3%.

4. Увеличение продолжительности дополнительной профессиональной программы на 1 единицу снижает шансы дополнительной профессиональной программы оказаться качественной на 46,2%.

5. Изменение типа дополнительной профессиональной программы (с не очного на очный) увеличивает шансы дополнительной профессиональной программы оказаться качественной в 23,65 раз.

6. Изменение формы итогового контроля (с любой иной на тестирование) увеличивает шансы дополнительной профессиональной программы оказаться качественной в 3,874 раз.

Автор данной работы считает необходимым пояснить третий вывод: скорее всего противоречивый результат связан с тем, что в рамках государственных закупок стоимость дополнительной профессиональной программы выступает одним из критериев оценки, поэтому у победивших программ данный показатель ниже.

Рис. 29. Изменение вероятности дополнительной профессиональной программы оказаться эффективной при увеличении независимых переменных на 1 единицу

Далее автор данной работы провел диагностику построенной модели. Проверка остатков на нормальность показала, что p-value < 0,05 или, иными словами, нормализированный остаток отличается от нормальной переменной. Выбросы отсутствуют. Влияющие наблюдения также отсутствуют, о чем свидетельствует анализ значений из столбцов «DFB1_1», DFB2_1», «DFB3_1», «DFB4_1», «DFB5_1», «DFB6_1», «DFB7_1», «DFB8_1», «DFB9_1», «DFB10_1» (стандартизированные статистики влияния по всем наблюдениям по модулю меньше 1)
(см. рис. 30).

Рисунок 30. Таблица «Критерии нормального распределения» для нормализованного остатка Модели № 1

При оценке мультиколлинеарности автор данной работы заключил, что все переменные ненормальные (в тесте Колмогорова-Смирнова p-value < 0,05). Следовательно, для оценки корреляции автор воспользовался корреляцией Tay-b Кендалла (много связанных рангов) (см. рис. 31).

Рисунок 31. Таблица «Критерии нормального распределения» для независимых переменных Модели № 1

Корреляция Tay-b Кендалла показала, что статистически значимая взаимосвязь есть, но не во всех случаях. Коэффициент корреляции позволяет сделать вывод о том, что связь между переменными слабая
(см. рис. 5 Приложения № 6).

Таким образом, в рамках работы с Моделью № 1 автор данной работы подтвердил гипотезы H1 и H2. Гипотезы H6 и H7 были подтверждены частично (из дальнейшего анализа исключены независимые переменные «Форма итогового контроля - контрольная работа», «Форма итогового контроля - зачет», «Форма итогового контроля - собеседование», «Тип дополнительной профессиональной программы - дистанционная»). Гипотезы H3, H4 и H5 были опровергнуты. Также была определена сила выявленных связей, что при разработке механизмов оценки дополнительных профессиональных программ гражданских служащих позволит присвоить независимым переменным коэффициенты.

2.3. Корреляционный и регрессионный анализ на основе данных анкетирования гражданских служащих о качестве дополнительных профессиональных программ

Модель № 2 базируется на порядковой зависимой переменной «Качество дополнительной профессиональной программы», которая измерялась путем оценки респондентами высказывания «В целом, я удовлетворен данной дополнительной профессиональной программой» по классической шкале Лайкерта. В основе данной модели, как уже отмечалось ранее, лежит Информационная база № 2, включающая в себя те переменные, оценить которые возможно путем анкетирования гражданских служащих, прошедших обучение по дополнительной профессиональной программе. Модель № 2 позволила автору данной работы протестировать гипотезы H8 - H13.

На первом этапе работы с Моделью № 2 автор данной работы выявил существующие взаимосвязи между зависимой и независимыми переменными. Для номинальных независимых переменных были выстроены таблицы сопряженности.

Проверку на наличие корреляции между зависимой переменной и номинальными независимыми переменными автор данной работы начал с рассмотрения номинальных независимых контрольных переменных. Для переменной «Пол» тест не применим, так как более чем для 20% ячеек предполагается значение, меньше 5 (см. рис. 32).

Рисунок 32. Таблица сопряженности для независимой контрольной переменной «Пол»

Аналогичная ситуация характерна для независимых контрольных переменных «Уровень образования» и «Тип государственного органа»: тест не применим, так как более чем для 20% ячеек предполагается значение, меньше 5 (см. рис. 33).



Рисунок 33. Таблицы сопряженности для независимых контрольных переменных «Уровень образования» (сверху) и «Тип государственного органа» (снизу)

Для независимой контрольной переменной «Уровень государственного органа» корреляционный тест провести не удалось ввиду того, что в опросе приняли участие респонденты исключительно из федеральных государственных органов (см. рис. 34).

Рисунок 34. Таблица сопряженности для независимой контрольной переменной «Уровень государственного органа»

Проанализировав номинальные независимые контрольные переменные, автор данной работы перешел к работе с остальными номинальными независимыми переменными. Первая проанализированная номинальная независимая переменная - «форма представления информации». Тест для данной переменной не применим, так как более чем для 20% ячеек предполагается значение, меньше 5 (см. рис. 35). Эта информация дает автору данной работы основания опровергнуть гипотезу H10.

Рисунок 35. Таблица сопряженности для независимой переменной «Форма представления информации»

Следующая проанализированная номинальная независимая переменная - «Групповое взаимодействие (1)». Тест для данной переменной применим, так как менее чем для 5% ячеек предполагается значение, меньше 5. Исходя из того, что Хи-квадрат Пирсона значим на уровне менее 5%, автор данной работы сделал вывод, что связь между зависимой и независимой переменными имеется (см. рис. 36).

Рисунок 36. Таблица сопряженности для независимой переменной «Групповое взаимодействие (1)»

Для независимой переменной «Индивидуальный подход к составлению дополнительной профессиональной программы (1)» корреляционный тест провести не удалось ввиду того, что в опросе приняли участие респонденты исключительно из федеральных государственных органов (см. рис. 37).

Рисунок 37. Таблица сопряженности для независимой переменной «Индивидуальный подход к составлению дополнительной профессиональной программы (1)»

Далее с целью выявления связей между зависимой переменной и порядковыми независимыми переменными автор данной работы обратился к парной корреляции. Для того чтобы определить, каким типом парной корреляции следует воспользоваться в рассматриваемом случае, автор предварительно проверил переменные на нормальность при помощи теста Шапиро-Уилка (т.к. наблюдений менее 100) (см. рис. 1-11
Приложения № 7).

Пусть гипотеза Y2 звучит следующим образом: распределение значений переменных отличается от нормальной переменной. В большинстве случаев p-value менее 0,05, значит, Y2 принимаем - переменные ненормальные. Более того, зависимая переменная - порядковая. По этой причине при построении парной корреляции автор данной работы обратился к тесту Tay-b Кендалла.

Результаты анализа показали, что в случаях с переменными «Обратная связь от преподавателя (3)», «Система оценивания знаний (2)» и «Индивидуальный подход к составлению дополнительной профессиональной программы (2)» p-value менее 0,05, что говорит о статистической значимости корреляции между зависимой переменной и данными независимыми переменными. Во всех остальных случаях корреляция статистически не значима (см. рис. 12 Приложения № 7).

Таким образом, в рамках проведенного корреляционного анализа гипотеза H13 была подтверждена частично, гипотезы H10 и H12 были полностью опровергнуты. Также автор данной работы пришел к выводу, что ни одна контрольная независимая переменная не коррелирует в зависимой переменной «Качество дополнительной профессиональной программы».

Ввиду того, что зависимая переменная «Качество дополнительной профессиональной программы (1)» является порядковой, для регрессионного анализа автор данной работы обратился к порядковой логистической регрессии.

Рисунок 38. Таблица «Информация подгонки модели» для Модели № 2

Прежде всего необходимо сказать, что на 5% уровне данная модель является статистически значимой; p-value<0,05, значит, базовая и окончательная модели значимо различаются. Полученный результат показывает значимое различие значений -2LL в базовой модели без независимых переменных и в окончательной модели со всеми включенными в нее независимыми переменными. Значение -2LL сократилось на 15,132 единицы (см. рис. 38).

Более того, процент объясненной вариации зависимой переменной (процент наблюдений, отнесенных моделью к верной категории) составил 66,4% (см. рис. 39).



Рисунок 39. Таблица «Псевдо R-квадрат» для Модели № 2

Результаты теста параллельных линий, позволяющего оценить адекватность модели, показали, что регрессионная модель подобрана адекватно: Sig>0,05 (подтверждает нулевую гипотезу «регрессионные коэффициенты одинаковы для всех категорий зависимой переменной») (см. рис. 40).

Рисунок 40. Таблица «Критерий параллельности линий» для Модели № 2

Также автор данной работы заключил, что построенная модель достаточно хорошо предсказывает результаты: Sig>0,05, значит, реальные и ожидаемые частоты незначимо отличаются (см. рис. 41).

Построив регрессионную модель, автор данной работы заключил, что на 5% уровне значимость эффекта взаимодействия присутствует в трех случаях (см. рис. 13 Приложения № 7). Автор данной работы заключил следующее (см. рис. 42):

1. У респондентов, которые скорее не согласны, что получаемая в качестве обратной связи информация от преподавателя была полезна для работы, по сравнению с респондентами, которые скорее согласны с данным высказывание, при увеличении независимой переменной «Обратная связь от преподавателя (3)» на единицу вероятность более высоко оценить качество дополнительной профессиональной программы увеличивается на 53,7% (Ехр (0,43)= 1,54).

2. У респондентов, которые скорее не согласны, что методы, используемые для оценки работы слушателей, справедливы и уместны, по сравнению с респондентами, которые абсолютно согласны с данным высказыванием, при увеличении независимой переменной «Система оценивания знаний (2)» на единицу вероятность более высоко оценить качество дополнительной профессиональной программы уменьшается на 89,3% (Ехр (-2,235)= 0,107).

3. У респондентов, у которых в рамках образовательного процесса не применялись образовательные методы, подразумевающие групповое взаимодействие, по равнению с респондентами, у которых подобные методы применялись, при увеличении независимой переменной «Групповое взаимодействие (1)» на единицу вероятность более высоко оценить качество дополнительной профессиональной программы увеличивается в 414 раз (Ехр (1,637)= 413,97).

4.

Рисунок 41. Таблица «Критерий согласия» для Модели № 2

На 10% уровне значимость эффекта взаимодействия была выявлена в двух случаях. Автор данной работы заключил следующее:

1. У респондентов, которые нейтрально относятся к высказыванию «В ходе обучения преподаватель побуждал слушателей действовать в соответствии с их прежним опытом работы и соотносить этот опыт с целями курса», по сравнению с респондентами, которые совершенно согласны с данным высказыванием, при увеличении независимой переменной «Индивидуальный подход к составлению дополнительной профессиональной программы (2)» на единицу вероятность более высоко оценить качество дополнительной профессиональной программы увеличивается в 21,8 раз (Ехр (3,082)= 21,8).

2. У респондентов, которые скорее согласны с высказыванием «В ходе обучения преподаватель побуждал слушателей действовать в соответствии с их прежним опытом работы и соотносить этот опыт с целями курса», по сравнению с респондентами, которые совершенно согласны с данным высказыванием, при увеличении независимой переменной «Индивидуальный подход к составлению дополнительной профессиональной программы (2)» на единицу вероятность более высоко оценить качество дополнительной профессиональной программы увеличивается в 22,7 раза (Ехр (3,122)= 22,69).

Рис. 42. Изменение вероятности дополнительной профессиональной программы оказаться эффективной при увеличении независимых переменных на 1 единицу



Таким образом, в рамках работы с Моделью № 2 автор данной работы подтвердил гипотезу H8, частично подтвердил гипотезу H13. Гипотезы H9 - H12 были опровергнуты. Также была определена сила выявленных связей, что при разработке механизмов оценки дополнительных профессиональных программ гражданских служащих позволит присвоить независимым переменным коэффициенты.

Модель № 3 базируется на порядковой зависимой переменной «Качество дополнительной профессиональной программы», которая измерялась путем оценки респондентами высказывания «Курс оказался полезным и эффективным для моей работы» по классической шкале Лайкерта. В основе данной модели, как уже отмечалось ранее, лежит Информационная база № 2, включающая в себя те переменные, оценить которые возможно путем анкетирования гражданских служащих, прошедших обучение по дополнительной профессиональной программе. Модель № 3 позволила автору данной работы протестировать гипотезы H8 - H13.

На первом этапе работы с Моделью № 3 автор данной работы выявил существующие взаимосвязи между зависимой и независимыми переменными. Для номинальных независимых переменных были выстроены таблицы сопряженности.

Проверку на наличие корреляции между зависимой переменной и номинальными независимыми переменными автор данной работы начал с рассмотрения номинальных независимых контрольных переменных. Для переменной «Пол» тест не применим, так как более чем для 20% ячеек предполагается значение, меньше 5 (см. рис. 43).



Рисунок 43. Таблица сопряженности для независимой контрольной переменной «Пол»

Аналогичная ситуация наблюдается в отношении следующих независимых контрольных переменных: «Уровень образования» (62,5%) и «Тип государственного органа» (83,3%) (см. рис. 44).

...