По мнению некоторых авторов, занимающихся исследованиями связи науки и образования, эти два вида деятельности должны финансироваться из разных источников (Westergard, 1991, Ozman, 1967; Scott, 1991). Такой вид финансирования имеет место в Российской Федерации и в Великобритании.

1.5.6 Модели анализа связи между научной и преподавательской деятельностью

Для некоторых исследователей наличие положительной связи между научной и преподавательской деятельностью очевидно (Borgatta, 1970; Committee on Higher Education, 1963; Deming, 1972; Ferber, 1974; Halsey, 1992, Jensen, 1988; Jencks&Riesman, 1968, Leary, 1959; White, 1986). Опросы преподавателей, проведенные авторами, показывают, что среди ученых распространено мнение, что преподавание и исследование положительно связаны. Авторы обнаружили, что большое количество ученых считают, что активный исследовательский интерес очень важен для повышения преподавательских качеств. Утверждается, что если преподаватель перестает делать исследования, то он начинает повторять самого себя.

Фридрих и Михалак (FriedrichandMichalak) в своем исследовании в качестве переменной, отвечающей за эффективность преподавания, использовали студенческие оценки. Они сами выделили это как ограничение исследования, говоря о том, что студенческие оценки подвержены влиянию посторонних личностных факторов. В качестве переменной, ответственной за научную деятельность они использовали индекс, рассчитанный на основании следующих переменных - количество и качество публикаций, прогресс в исследовательской деятельности, систематическое участие в реализации образовательных программ, вовлеченность в профессиональную деятельность не менее 5 лет. Также они отмечают, что в модель необходимо включать промежуточные (дополнительные) переменные. По их мнению, сила и направление взаимосвязи между исследовательской деятельностью и преподаванием зависят от силы и направления каждой из промежуточных переменных, связанных с научно-исследовательской деятельностью, с одной стороны, и с другой стороны с каждой из промежуточных переменных, связанных с преподавательской деятельностью. Они также предложили ряд промежуточных переменных, которые могут изменить силу и/или направление взаимосвязи между преподавательской и научной деятельностью - рисунок - 3 (Friedrich and Michalak, 1983).

Рисунок 3. Промежуточные переменные, предложенные Фридрихом и Михалаком (Friedrich and Michalak) для исследования связи научной и преподавательской деятельности

В результате проведенного ими исследования они обнаружили корреляцию равную 0,17. Цель введения в модель промежуточных переменных заключалась в усилении связи между научными исследованиями и преподаванием.

Фельдман (Feldman) для оценки связи между научной деятельностью и преподаванием включил в модель фактор времени, а также исключил влияние таких факторов, как ученое звание, возраст, интеллект, лидерские качества, энтузиазм, заинтересованность в теме, типы личности преподавателей и исследователей (Feldman, 1987а). Общая связь составляет 0,12.

Таким образом, результаты обоих исследований показывают достаточно низкую силу связи между научной и преподавательской деятельностью. Хэтти и Марш (Hattie&Marsh) провели метаанализ исследований, оценивающих связь науки и студенческих достижений. Результаты метаанализа показали, что распространенное убеждение о связи научной деятельности и студенческих достижений является заблуждением. Однако, среди анализируемых ими работ, есть работы, которые подтверждают положительную связь. Они считают, что университеты должны всячески поощрять научную деятельность и тогда есть вероятность, что уровень связи между наукой и преподаванием будет повышен (Hattie&Marsh, 1996).

Однако, после выхода статьи Хэтти и Марш (Hattie&Marsh, 1996) последовало большое количество работ, авторы которых вступили в диалог с Хэтти и Маршем (Colbeck, 1998; Smeby, 1998; Brew, 2001, 2003; Robertson&Bond, 2001, 2005a; Jenkins et al., 2003; Griffiths, 2004; Henkel, 2004; Durning&Jenkins, 2005). В новых работах утверждается, что связь между преподаванием и научной деятельностью формируется индивидуально. Она зависит от академического опыта, способа преподавания, личностных характеристик, вида связи между научными исследованиями и преподаванием, типа университета, виды наук (гуманитарные, естественнонаучные, социальные и др.).

В ходе анализа исследований, посвященных инженерному образованию, проведение научных исследований было выделено как важный фактор развития студентов. Анализ статей о связи научной и образовательной деятельности показывает весьма противоречивые результаты.В связи с этим, становится интересным посмотреть, силу и направление связи между научной деятельностью преподавателей и образовательными результатами их студентов в Российских вузах.



2. Практическая часть

2.1 Инструментарий исследования

Исследование проводилось на данных международного исследования качества инженерного образования ISHEL(International Study of Higher Education Learning). Цель данного исследования сравнить уровень готовности студентов технических специальностей стран БРИК к обучению в вузе, а также оценить подготовку студентов по окончанию 2-го и 4-го курсов. В 2015 году в Российской Федерации прошел первый этап этого исследования.

База данных, полученная в ходе исследования ISHEL, включает в себя все переменные, необходимые для ответов на исследовательские вопросы. Данные исследования ISHEL собирались в ходе тестирования академических достижений (физика, информатика, математика), а также тестирования когнитивного развития (критическое мышление, креативность, числовая грамотность). Помимо тестов в состав инструментария входят анкеты для студентов, преподавателей и административных работников. Анкета педагога включает в себя блок вопросов, касающихся научной деятельности преподавателей (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

Инструментарий разрабатывался для оценки студентов инженерных специальностей технических вузов двух стран - России и Китая. В связи с тем, что данная работа направлена на анализ российских результатов тестирования студентов 3 курса описание возможностей межстранового сравнения, а также сравнения между курсами приводится не будет (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

При анализе психометрических качеств тестов по физике и математике и валидизации методик использовалась современная теория тестирования IRT и методы математической статистики. IRT применялась для анализа качества тестовых заданий и анализа размерности и надежности тестового инструментария. И всей совокупности моделей современной теории была выбрана дихотомическая модель Раша (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

Начальный вариант теста по математике для студентов третьего курса содержал 45 заданий. Анализ показал, хорошие психометрические качества большинства заданий. Задания, не отвечающие требованиям, были удалены из тестов в итоге в тест были включены 37 заданий (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

Коэффициент надежности теста по математике для студентов третьего курса по респондентам составил 0,85 (классическая надежность тестов =0,83). Значение Separation index 2.39 позволяет выявить как минимум три статистически различные группы студентов в рамках выборки. Анализ размерности показал, что тест может рассматриваться как существенно одномерный (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

Результаты анализа теста по физике для студентов третьего курса аналогичны результатам анализа тестов по математике. Тест состоял из 39 заданий, отвечающих всем психометрическим требованиям качества. Тест можно рассматривать как существенно одномерный. Коэффициент надежности и Separation Index равны 0.77 и 1.84 (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

Тест критического мышления нацелен на оценку таких студенческих компетенций как: логическое мышление, рассуждение, работа с информацией, формулировка релевантные выводов на основе предоставленных данных. То есть оценивает способность студентов к анализу и интерпретации информации (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

Тест для оценки критического мышления разрабатывался компанией ETS, после чего был переведён на русский язык и адаптирован для использования на российской выборке студентов.



2.2 Выборка исследования

Формирование выборки вузов было осуществлено на основании базы, предоставленной Министерством образования и науки РФ. На первом этапе был сформирован список вузов, где осуществляется подготовка по направлениям, отобранным для участия в проекте. Для участия в проекте были отобраны следующие российские направления подготовки:

Направление «Компьютерные науки» (ComputerScience, CS): УГН 09.00.00 (Информатика и вычислительная техника, все направления), 02.00.00 (Компьютерные и информационные науки, все направления), 10.00.00 (Информационная безопасность);

Направление «Электротехника» (ElectricalEnginering, EE): УГН 11.00.00 (Электроника, радиотехника и системы связи, все направления), 13.03.02 (Электроэнергетика и электротехника), 12.03.01 (Приборостроение), 12.03.02 (Оптотехника), 12.03.03 (Фотоника и оптоинформатика), 12.03.05 (Лазерная техника и лазерные технологии).

Согласно базе МОН, подготовку по направлению «Компьютерные науки» осуществляют 268 российских вузов, по направлению «Электротехника» -- 151 вуз, и 276 вузов осуществляют подготовку хотя бы одному их этих направлений. База содержала сведения о числе студентов, зачисленных на отдельные УГН, а также баллы ЕГЭ зачисленных студентов по математике, физике и информатике.

Все вузы, осуществляющие подготовку по данным направлениям в Российской Федерации, составили генеральную совокупность. На втором этапе на основе данной генеральной совокупности была сформирована репрезентативная выборка. Для этого из данной генеральной совокупности методом случайной выборки были отобраны 35 российских вузов (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

Далее, в каждом вузе была сформирована выборка групп. Для обеспечения репрезентативности студенческой выборки в рамках вуза, выборка формировалась следующим образом:

1)Если в вузе ведется обучение по обоим направлениям («компьютерные науки» и «электротехника»), то в исследовании принимали участие студенты обеих групп. В противном случае, только какого-то одного направления;

2)В каждом вузе отбиралось до 60 студентов первого курса и столько ж третьего курса. Если же количество студентов, обучающихся в вузе по названным направлениям, не достигало 60 человек, то принимали участие все студенты.

3)Нужное количество групп из общей совокупности отбиралось методом случайного отбора.

В связи с тем, что тестирование проводилось по нескольким предметам, предмет, по которому студент будет писать тест определялся автоматически системой тестирования. Студент садился за компьютер вводил вой логин и пароль, и система выдавала ему его вариант теста случайным образом. При этом, заранее выяснялось какой предмет студенты сдавали в качестве вступительного испытания - информатику или физику. Если сдавалась информатика, то таким студентам из списка предметов физика удалялась и наоборот (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

Общее количество студентов, принявших участие в исследовании представлено в таблице 1.

Таблица 1. Количество участников исследования ISHEL в России

	1 курс	3 курс
Математика	1953	1080
Физика	772	690
Информатика	515	389
Критическое мышление	653	478
Креативность	640	468
Анкетирование студентов	2658	2085

Исследование связи вовлеченности преподавателей в научную деятельность с образовательными результатами студентов проводилось только на выборке студентов третьего курса. В связи с тем, что в первом семестре первого курса рано оценивать результаты обучения. Характеристики преподавателей были взяты из анкет преподавателей математики, которые работали со студентами, выполнявшими тесты.

В рамках исследования ISHEL также был проведен опрос преподавателей физических и математических дисциплин. Были опрошены все преподаватели, работающие со студентами до третьего курса. Исключение составили только преподаватели, уволившиеся из вуза (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

2.3Данные

2.3.1 Зависимые переменные

Для оценки связи между вовлеченностью преподавателей в научную деятельность и образовательными результатами их студентов из всей совокупности результатов тестирования были выбраны результаты тестирования студентов по математике и по критическому мышлению. Выбор предметов обосновывался важностью критического мышления для студентов инженерных специальностей технических вузов (The engineer of 2020, 2004) и тем, что математика, является обязательным предметом, который изучается на всех инженерных специальностях вузов. Помимо этого, экзамен по математике является обязательным при поступлении в инженерный вуз, в отличии от физики и информатики, которые студент может выбирать.

Для включения в регрессионные модели первичные баллы были переведены в 1000-балльную шкалу, а затем нормированы. Шкалирование проводилось следующим образом. Для всех участников тестирования, обучающихся на третьем курсе университета, были оценены их уровни подготовленности в рамках однопараметрический модели Раша.Так как шкала Раша содержит отрицательные значения, было проведено линейное преобразование со средним значением 500 и стандартным отклонением 50. Выбор линейного преобразования обосновывается необходимостью сохранить расстояние между объектами и метричность шкалы. Выбор среднего и стандартного отклонения обосновывается возможностью центрировать шкалу в центре и при этом достаточно ее растянуть.

Преобразование производилось по формуле:

(1)

где х - балл студента на 1000-балльной шкале, - уровень подготовленности студента, в логитах, - среднее значение уровней подготовленности, - стандартное отклонение уровней подготовленности.

При включении результатов тестирования в регрессионные модели, для удобства интерпретации результатов анализа, результаты тестирования были стандартизированы.

2.3.2 Независимые переменные

Независимые переменные для анализа отбирались на основании исследовательских вопросов, а также на основании комплексной теоретической модели, идентифицирующей ключевые компоненты, связанные со студенческими результатами, представленной на рисунке 1 (Jana Marie Hanson, 2013).

Таблица 2. Описание независимых переменных

Переменная	Описание переменной
Характеристики студента
Пол студента	1=женский 0 =мужской
Образование матери	1=высшее 0=не высшее
СЭС студента	Количественная переменная
Балл ЕГЭ (0-100)	Количественная переменная
Возраст студента	Количественная переменная
Тип школы, которую закончил студент до поступления в вуз	1=с особым статусомК школам с особым статусом относились гимназии, лицеи, центры образования; к школам без особого статуса относились другие типы школы (в том числе общеобразовательные) 0=без особого статуса
Тип класса, который закончил студент до поступления в вуз	1=профильные классы физико-математического направления; 0=другие классы К другим типам классов относились профильные классы другого направления, а также классы без профиля

Индекс СЭС студента был рассчитан на основании вопросов анкеты студента, показывающих, что из перечисленных видов собственности было в семье в течение последнего года обучения в школе - холодильник, микроволновая печь, ноутбук или планшет, кондиционер или сплит система, автомобиль, стиральная машина, посудомоечная машина, пылесос. Ответы за эти вопросы были закодированы как 1=да, 0=нет.

В ходе исследования была собрана информация об образовании и преподавательской должности профессорско-преподавательского состава вузов. Но, в связи с малой дисперсией в ответах преподавателей на эти вопросы (86% преподавателей имеет степень кандидата или доктора наук и 83% занимают должность профессора или доцента) эти характеристики не были включены в анализ.

Недельная преподавательская нагрузка рассчитывалась на основании ответов на вопрос «Сколько часов в неделю Вы тратите на следующие виды деятельности:

*подготовка к занятиям;

*ведение занятий;

*проверка домашних и контрольных работ;

*дополнительные консультации студентам во внеаудиторное время;

*организационная работа по курсам (рассылка электронных писем студентам и т.п.)

*развитие преподавательских навыков (методическая работа, повышение квалификации, самоанализ и т.п.)?»

Характеристики вуза сильно коррелируют между собой, поэтому, в связи с темой работы, было принято решение использовать переменные удельный вес доходов от НИОКР в общих доходах образовательной организации и расстояние от г. Москва. Вторая переменная была выбрана по той причине, что результаты ISHEL и характеристики вузов, находящихся в городах, расположенных на расстоянии до 800 км от г. Москвы отличаются от вузов других городов Российской Федерации. Это можно увидеть по рисунку 4.

Рисунок 4. Распределение баллов ISHEL по математике в зависимости от расстояния от г. Москва

Проверка наличия корреляций между отобранными для регрессионного анализа переменными показала, что некоторые из переменных статистически значимо коррелируют между собой (p<0.001), но сила связи не превышает 0.2. Проверка мультиколлинеарности с помощью variance inflation factor (VIF) показала, что значения VIF находятся в диапазоне [1;1,5] для всех моделей, что свидетельствует о том, что переменные не сильно влияют друг на друга.

Были выполнены проверки на линейность связи, гетероскедантичность, наличие выбросов. После подготовки данных были посчитаны описательные статистики для всех переменных, включенных в анализ, а также матрица корреляций между этими переменными.

2.3.3 Подготовка данных для анализа

Первое, что было сделано для подготовки данных - это удаление недопустимых значений и выбросов. Результаты студентов одного из вузов вносили наибольшие искажения. Они были выше, чем результаты студентов ведущих Московских вузов, при этом характеристики этого университета ничем не выделяются. Поэтому было принято решение удалить их результаты из анализа. Следующим шагом было посчитано количество пропущенных значений по каждой переменной, включенной в анализ. Наличие пропущенных значений является серьезной проблемой для анализа, так как почти все стандартные статистические методы предполагают, что каждое наблюдение имеет полную информацию по всем переменным, включенным в анализ (Allison, 2002). В связи с этим, была проведена импутация пропущенных значений.

Третьим шагом из анализа были исключены студенты, которые указали, что они закончили профессиональные образовательные организации (ПОО) - 52 человека. Это была вынужденная мера, так как у выпускников ПОО не было баллов ЕГЭ, что значительно повышало процент пропущенных значений по этой переменной и делало невозможной импутацию миссингов.

2.4 Обоснование выбора методов анализа

2.4.1 Метод линейной регрессии

Для ответа на исследовательский вопрос о связи научной деятельности преподавателя с образовательными результатами его студентов проводился регрессионный анализ. Регрессионный анализ - достаточно популярный метод анализа. Этот вид анализа позволяет проверить направление и силу связи между зависимой переменной и несколькими независимыми переменными. Согласно Kutner, Nachtscheim, and Neter (2004) регрессионный анализ может использоваться в случаях, когда необходимо: 1) описать взаимосвязь переменных; 2) проконтролировать переменные; 3) сделать прогноз. При построении регрессионных моделей основной независимой переменной выступала переменная «Проводил ли преподаватель в течение последних двух лет исследования/исследовательские проекты». Контрольные переменные пошагово включались в модель. Уравнения моделей:

Модель - 1.

Z_ects = ₀ + ₁treatment_ct +_cts

Модель - 2.

Z_ects = ₀ + ₁treatment_ct +₂students_cts+_cts

Модель - 3.

Z_ects = ₀ + ₁treatment_ct +₂students_cts+₃students_backgraund_cts+_cts

Модель - 4.

Z_ects = ₀ + ₁treatment_ct+₂students_cts+₃students_backgraund_cts+₄teacher_ct +_cts

Модель - 5.

Z_ects = ₀ + ₁treatment_ct+ ₂students_cts+ ₃students_backgraund_cts+ ₄teacher_ct+₅college_c+_cts

Модель - 6.

Z_ects = ₀ + ₁treatment_ct+₂students_cts +₃students_backgraund_cts +₄teacher_ct+₅college_c+₆ID_c + _cts

где буква с означает вуз, t- преподавателя, s- студента, e- тест (математика или критическое мышление).

Коэффициент ₁ показывает, на сколько стандартных отклонений изменится балл студента s по математике или критическому мышлению в случае, если преподаватель t в вузе c занимается исследовательской деятельностью (treatment).

Коэффициенты _2-5 показывают, на сколько стандартных отклонений изменится балл студента при изменении соответствующей контрольной переменной, где student_cts- вектор переменных, характеризующих ученика (пол, возраст, СЭС, образование матери), students_backgraund_cts - вектор переменных, характеризующих довузовскую подготовку ученика (балл ЕГЭ по математике, тип школы и класса, которые студент заканчивал до поступления в вуз), teacher_ct - вектор переменных, характеризующих преподавателя (пол, стаж работы, преподавательская нагрузка, наличие административной должности), college_c - вектор переменных, характеризующих вуз (Доля доходов от НИОКР в общих доходах вуза, %, удалённость от г. Москва). В модели-6 в качестве независимой переменной было взято ID вуза с целью проконтролировать все различия, существующие в вузах.

Ошибки _cts в регрессионных уравнениях показывают насколько отличается предсказанное с помощью регрессионной модели значение зависимой переменной от наблюдаемого значения. В связи с тем, что мы имеем дело с иерархической выборкой, мы делали коррекцию регрессионных остатков по кластерам Хубера-Уайта во всех моделях.

2.4.2 Квази-экспериментальный метод отбора подобного по вероятности (propensity score matching)

Однако, не смотря на то, что мы включаем в уравнения регрессии контрольные переменные, это не позволяет нам оценить каузальный эффект. Для того, чтобы причинно-следственный вывод стал возможен, необходимо убедиться, что группа, которая получает воздействие (экспериментальная) и группа, которая не получает воздействие (контрольная) отличаются только наличием воздействия. Оптимальным в данном случае является проведение рандомизированного эксперимента. Случайное распределение участников в экспериментальную и контрольную группу позволяет избежать зависимости от характеристик участников, которые предшествуют эксперименту (Schneider B., Carnoy M., et al. 2007).

Чтобы оценить каузальный эффект в нерандомизированных исследованиях используются квази-экспериментальные методы анализа. В них используются различные способы уменьшения ошибки отбора, что позволяет оценить эффект воздействия (Кузьмина, 2014). В данном исследовании для оценки каузального эффекта будет использоваться квази-экспериментальный метод отбора подобного по вероятности (propensity score matching).

Метод отбора подобного по вероятности позволяет оценить средний эффект воздействия для экспериментальной группы (СЭВЭ). СЭВЭ равен разнице в средних результатах участников из экспериментальной и контрольной групп. Основная идея метода заключается в том, чтобы каждому участнику исследования из экспериментальной группы найти идентичного участника из контрольной группы и найти разницу в их результатах.

Чтобы реализовать на практике основную идею метода отбора подобного, при делении студентов, участвующих в исследовании ISHEL, на группы необходимо учесть их характеристики, характеристики их преподавателей и вузов. И с учетом этих характеристик рассчитать вероятность каждого участника попасть в экспериментальную группу (propensity score). После такого разбиения не должно быть статистически значимых различий по характеристикам студентов, преподавателей и вузов между двумя группами. Таким образом, появляется возможность заключить, что различие в результатах тестирования студентов в экспериментальной и контрольной группах будет обусловлено вовлеченностью преподавателей в исследовательскую деятельность. Это позволит нам реплицировать рандомизированный эксперимент, в котором, по крайней мере, по отобранным показателям не будет различия.

Существует несколько способов расчета вероятности попадания студента в экспериментальную группу (propensity score). В данной работе propensity score будет рассчитана с помощью логистической регрессии. При составлении уравнения логистической регрессии важно уделить внимание отбору переменных. Не включение нужных переменных приводит к неверным оценкам вероятности, а включение не нужных переменных увеличивает дисперсию значений вероятности (Brookhart M. A., Schneeweiss S., 2006).

При отборе переменных для расчёта вероятности необходимо соблюдать следующие требования - переменные, на основании которых будет производиться деление на группы должны статистически значимо коррелировать с зависимой переменной и переменной воздействия, а также предшествовать по времени распределению студентов на экспериментальную и контрольные группы (по преподавателям, занимающимся и не занимающимся исследованиями) (D'Agostino R.B., Jr, D'Agostino, 2007).

По поводу количества переменных, включаемых в модель, существуют два противоположных мнения. Одни ученые утверждают, что необходимо включать максимально большое количество переменных, даже если предварительный анализ показывает, что они не достаточно сильно связаны с переменной воздействия (D'Agostino R.B., Jr, D'Agostino, 2007). Другие ученые говорят, что не нужно усложнять модели и достаточно включить переменные сильно связанные с переменной воздействия (Augurzky, B., SchmidtC, 2000).

Помимо отбора переменных для расчета вероятности, необходимо обращать внимание на следующие условия:

1.Условная независимость (Conditional Independence Assumption). Если все значимые независимые факторы взяты под контроль, то результат не будет зависеть от получения воздействия (Caliendo M., Kopeinig S., 2008)

2.Наличие зоны «Пересечения» (Common Support Assumption and overlap). По тем характеристикам, которые мы включили в уравнение регрессии для расчета вероятности попадания в контрольную или экспериментальную группу, не всегда находятся в двух группах участники, максимально похожие друг на друга. При этом, необходимо, чтобы распределения переменных в обеих группах были похожи друг на друга. Условие считается выполненным, если по всем переменным, включенным в уравнение не будет статистически значимого различия между экспериментальной и контрольной группами (Khandker S. R., Koolwal, 2009).

Существует несколько методов поиска подобных наблюдений. Среди них - метод ближайших соседей (Nearest Neighbor Matching method), метод радиуса (Radius Matching method), метод Кернела (Kernel Matching method), метод стратификации (Stratification Matching method) (Rajeev H.Dehejia and SadekWahba, 2012). Все эти методы отличаются алгоритмом поиска наиболее похожих наблюдений в экспериментальной и контрольной группах для расчета их разницы в баллах ISHEL с целью определить СЭВЭ. В данной работе будут использоваться все перечисленные методы поиска подобных наблюдений.

Метод "ближайших соседей" (nearest neighbour matching) предполагает подбор каждому наблюдению из экспериментальной группы наблюдения из контрольной группы с наиболее близким значением вероятности. Одно и то же наблюдение из группы контроля могло быть выбрано в пару к нескольким наблюдениям из экспериментальной группы - подбор с замещением (matching with replacement). Это уменьшает смещения и повышает качество подбора (Marco Caliendo, Bonn Sabine Kopeinig, 2005).

Использование радиуса (radius matching) похоже на метод подбора ближайшего соседа с той разницей, что каждому наблюдению в экспериментальной группе подбираются все наблюдения в контрольной группе, находящиеся в рамках установленного радиуса (дистанции по propensity scores). Этот метод дает лучший результат в случае, если ближайший сосед находится на большом расстоянии от соответствующего наблюдения в экспериментальной группе, т.к. ограничивает число "плохих соседей" и одновременно позволяет использовать больше информации при анализе (ССЫЛКА) В работе использовался радиус, равный 0,1 (Marco Caliendo, Bonn Sabine Kopeinig, 2005).

Метод стратификации (stratification) - метод, в ходе которого зона зона пересечения делится на интервалы - страты. Оценка эффекта происходит внутри каждой страты посредством нахождения средней разности значений зависимой переменной у наблюдений из экспериментальной и контрольной групп. Как показывают исследования, пяти страт обычно достаточно для того, чтобы убрать 95% смещения, связанного с одним ковариатом (ссылка). Так как при определении использовалась propensity score, это значит, что деление на 5 страт позволяет в значительной степени избавится от смещения, связанного, со всеми ковариатами (Marco Caliendo, Bonn Sabine Kopeinig, 2005).

Метод Кернела (Kernel matching) - непараметрический метод, связанный с присвоением каждому наблюдению из группы контроля весов, используемых при расчете эффекта. Веса зависят от дистанции между наблюдениями в контрольной группе с наблюдением в экспериментальной группе, для которого рассчитывается эффект: наблюдение из группы контроля, находящееся ближе по значению вероятности к данному наблюдению из экспериментальной группы получает больший вес. Преимущество метода - сопоставление большего числа наблюдений из группы контроля при расчёте эффекта (Marco Caliendo, Bonn Sabine Kopeinig, 2005).

2.4.3 Метод логистической регрессии

Для ответа на второй исследовательский вопрос, касающийся оценки различия в практиках обучения преподавателей, вовлеченных и не вовлеченных в исследовательскую деятельность, в качестве зависимой переменной будет выступать дихотомическая переменная «Проводил или не проводил преподаватель исследование/исследовательский проект». Учитывая этот факт, для ответа на вопрос будет использоваться логистическая регрессия. Логистическая регрессия обеспечивает возможность оптимального анализа дихотомических переменных. Логистические регрессионные уравнения предсказывают вероятность положительного исхода события в зависимости от предикторов, включенных в уравнение (O'Connell&Amico, 2010).

Шкала преподавательских практик была взята из анкеты студентов, вопросы касались преподавателей математики, у которых студенты учились. Так как со студентами до третьего курса могли работать несколько преподавателей математики, то это можно расценивать как ограничение. Надежность шкалы составляет 0,76.

Анализ результатов проводился с помощью программы Stata 13 версии.

2.5 Результаты анализа

2.5.1 Дифференциация вузов по удельному весу доходов от научно-исследовательской и опытно-конструкторской деятельности в доходах образовательной организации

На рисунке 5 представлен удельный вес доходов от НИОКР в доходах образовательной организации, данные взяты с сайта «Информационно-аналитические материалы по результатам проведения мониторинга эффективности образовательных организаций высшего образования» (http://indicators.miccedu.ru/). Из графика видна большая дифференциация вузов по степени вовлеченности в научно-исследовательскую и опытно-конструкторскую деятельность. 20 из 31 вузов имеют доход от НИОКР в общих доходах вузов менее 15%. Выделяются университеты, имеющие статус научно-исследовательских, а также МГТУ им. Баумана. Исключением является Иркутский НИИ. На рисунке 6 представлены результаты исследования ISHEL по математике. Зеленым цветом выделены вузы, в которых удельный вес доходов от НИОКР в доходах образовательной организации превышает 15%.

Рисунок 5. Удельный вес доходов от НИОКР в доходах образовательной организации, %

Рисунок 6. Результаты теста ISHEL по математике.

Из графиков связь между исследовательской деятельностью вузов и образовательными достижениями проследить достаточно сложно. А вопрос о существовании связи достаточно интересен.

2.5.2 Оценка связи между вовлеченностью преподавателей в исследовательскую деятельность и результатами студентов по математике и критическому мышлению

По результатам исследования ISHEL 45% преподавателей за последние два года занимались проведением исследования/исследовательского проекта. Если не контролировать другие переменные, то у преподавателей математики, которые вовлечены в исследовательскую деятельность, баллы студентов выше на 0,30 стандартных отклонения по математике и на 0,21 по критическому мышлению. Связь незначительно изменяется при контроле индивидуальных характеристик студентов и характеристик институциональной среды. В таблицах 3 и 4 представлены значения регрессионных коэффициентов при переменной, характеризующей вовлечение преподавателей в исследования за последние два года, для всех моделей анализа.



Таблица 3. Результаты регрессионного анализа

	Модель-1 + переменная воздействия	Модель-2 + характеристики студента	Модель-3+ характеристики довузовской подготовки студента	Модель-4+характеристики преподавателя	Модель-5+характеристики вуза	Модель-6
Проведение исследования/исследовательского проекта	0,31*** (0,09)	0,30*** (0,08)	0,30*** (0,08)	0,33*** (0,08)	0,32*** (0,08)	0,21** (0,09)
R-squared	0,03	0,04	0,15	0,15	0,17	0,24

*** p<0.01, ** p<0.05, * p<0.1

Как видно, связь между вовлеченностью преподавателя в научную деятельность и результатами тестирования по математике достаточно стабильна. Изменение силы связи с результатами по критическому мышлению можно объяснить объемом выборки. Анализ проводился на выборке объемом 378 человек.

Таблица 4. Результаты регрессионного анализа

	Модель-1 + переменная воздействия	Модель-2 + характеристики студента	Модель-3+ характеристики довузовской подготовки студента	Модель-4+ характеристики преподавателя	Модель-5 + характеристики вуза	Модель-6
Проведение исследования/исследовательского проекта	0,21*** (0,12)	0,20*** (0,12)	0,15 (0,10)	0,18* (0,09)	0,19* (0,10)	0,20 (0,14)
R-squared	0,01	0,04	0,15	0,16	0,16	0,25

*** p<0.01, ** p<0.05, * p<0.1

Анализ результатов регрессионных коэффициентов контрольных переменных позволяет заключить, что чем старше студент, тем ниже результаты тестирования. Баллы по математике понижаются на 0,02 стандартных отклонения при увеличении возраста студента на 1 год, связь значима, при контроле довузовской подготовки студента и других характеристик институциональной среды. До того, как в уравнения добавляются характеристики довузовской подготовки студента, значимую связь с результатами показывает наличие высшего образования у матери. У студентов, у которых мать имеет высшее образование, результаты выше на 0,12 стандартных отклонения, чем у студентов, у которых мать без высшего образования. Также значимо связан с результатами тестирования балл ЕГЭ по математике. При увеличении балла ЕГЭ на 1 балл, баллы студентов увеличиваются на 0,02 стандартных отклонения. Большой вклад в образовательные результаты дает статус школы, которую закончил студент до поступления в вуз. У студентов, закончивших школу с особым статусом, образовательные результаты на 0,11 стандартных отклонения выше, чем у студентов, закончивших школу без особого статуса. Также, выше на 0,18 стандартных отклонения результаты студентов, поступивших в тот вуз, в который они планировали, по сравнению с результатами студентов, которые поступили в нежеланный вуз. Из характеристик институциональной среды значимую отрицательную связь демонстрирует нагрузка преподавателей, положительную связь демонстрирует удельный вес доходов от НИОКР в общих доходах организации, %. Анализ коэффициентов проводился по модели, в которой контролировались все переменные, участвующие в анализе, зависимая переменная - балл ISHEL по математике.



2.5.3 Оценка каузального эффекта от вовлеченности преподавателей в исследовательскую деятельность

Анализ данных позволяет заключить, что по характеристикам студентов нет статистически значимых отличий между экспериментальной и контрольной группами. Значимое отличие показывают характеристики преподавателей и характеристики вузов. Но они статистически значимо коррелируют между собой. Сила связи между ними варьируется от 0,5 до 0,9 при p<0.001. Иными словами, ряд характеристик вузов и преподавателей могут взаимозаменять друг друга. Учитывая это, для расчета вероятности попадания в экспериментальную группу были отобраны следующие четыре переменных:

*пол преподавателя,

*занимаете ли Вы административную должность

*нагрузка преподавателя

*удельный вес НИОКР в общих доходах вуза, %.

Перечисленные переменные были взяты в случае, когда рассматривалась различие в средних баллах по математике. Для критического мышления были взяты те же переменные за исключением переменной, отвечающей за занятие административной должности.

2.5.4 Оценка связи между вовлеченностью преподавателей в исследовательскую деятельность и преподавательскими практиками

Далее была предпринята попытка, понять, различаются ли практики обучения у преподавателей, которые вовлечены в исследовательскую деятельность от практик обучения преподавателей, не вовлеченных в исследовательскую деятельность. Стоит отметить, что анализ проводился на данных, полученных в результате опроса студентов о тех преподавателях математики, которые работали с ними с первого по третий курс университета. Поэтому результаты данного анализа можно оценивать, как характеристики всех преподавателей математики университета, в котором учатся студенты.

Анализ проводился методом логистической регрессии, в качестве независимой переменной выступала переменная «Вовлечен или не вовлечен преподаватель в исследовательскую деятельность». В целом практики обучения преподавателей, вовлеченных и не вовлеченных в исследовательскую деятельность, не отличаются между собой. Но одна практика показала значимые отличия по этим группам. У преподавателей, вовлеченных в исследовательскую деятельность, меньше вероятность того, что они будут рассказывать материал учебного курса. В целом практики обучения преподавателей, вовлечённых и не вовлеченных в исследовательскую деятельность не отличаются между собой.



Заключение

В работе проведено исследование связи научной деятельности преподавателей с образовательными результатами их студентов. Актуальность работы обусловлена отсутствием в России исследований на эту тему. Исследования, проводимые за рубежом, показывают противоречивые результаты.

Дополнительную важность этому вопросу придает анализ литературы, приведенный в первой главе. В России институциональная структура науки устроена так, что научные исследовательские институты выделены в отдельные организации и отделены от вузов. Данные, полученные с сайта мониторинга эффективности деятельности вузов, говорят о том, что вузы, принимавшие участие в исследовании ISHEL значительно различаются между собой по удельному весу доходов от НИОКР в общих доходах вузов. Наибольший доход от названного вида деятельности имеют научно-исследовательские университеты. В большинстве вузов данный показатель не превышает 15%. Этот факт может говорить, как о том, что данный вид деятельности низко оплачивается, так и о том, что он проводится в малых объемах. И тот, и другой факт имеют отрицательное значение. Для сравнения, в Германии нет ни одного вуза, не проводящего на своей территории научно-исследовательскую и опытно-конструкторскую деятельность. В США в 2/3 вузах проводится НИОКР.

В работе с помощью квазиэкспериментального дизайна с использованием метода отбора подобного по вероятности доказана причинно-следственная связь между вовлеченностью преподавателей в научно-исследовательскую деятельность и образовательными результатами их студентов. Показано, что образовательные результаты студентов, занимающихся у преподавателей, вовлеченных в научно-исследовательскую деятельность, выше на 0,39 стандартных отклонения по математике и 0,32 стандартных отклонения по критическому мышлению, чем результаты студентов, которые занимаются у преподавателей, не вовлеченных в научно-исследовательскую деятельность.

Далее было проведено исследование различия в практиках обучения преподавателей, вовлеченных и не вовлеченных в научно-исследовательскую деятельность. В целом практики обучения преподавателей, вовлечённых и не вовлеченных в исследовательскую деятельность не отличаются между собой. У преподавателей, вовлеченных в исследовательскую деятельность меньше вероятность того, что они будут просто рассказывать материал учебного курса. Стоит отметить, что шкала преподавательских практик была взята из анкеты студентов, вопросы касались преподавателей математики, у которых студенты учились. Так как со студентами до третьего курса могли работать несколько преподавателей математики, то это можно расценивать как ограничение.

В дальнейшем планируется провести дополнительное исследование, которое позволит выявить причины различий в результатах студентов. В первой главе сказано, что причиной тому может быть различие в личностных характеристиках преподавателей и исследователей, различие во временных и энергетических ресурсах человека, различие в преподавательских практиках, различие в источниках вознаграждения. В этой работе предпринята попытка оценить различие в преподавательских практиках, но она имеет ряд ограничений. Поэтому эта задача также становится важной для следующих работ, связанных с этой темой.

Размещено на Allbest.ru

...