3.1 Оценка предсказательной способности ЕГЭ

Таблица 5. Количество моделей с разными предметами ЕГЭ внутри каждого направления подготовки

В Таблице 5 представлены результаты теста на гомогенность данных методом Хеджа-Олкина. Он показывает, что значительная часть моделей объединяют в себе гомогенные данные (выделены серым). Поскольку на значительной части направлений данные гомогенны, результаты модели Хеджа-Олкина кажутся нам более надежными. Поэтому общие выводы будут сделаны по ней.

Таблица 6. Тестирование гомогенности коэффициентов корреляции для разных предметов ЕГЭ внутри разных направлений подготовки

В Таблице 6 приведены результаты модели Хеджа-Олклина. Ее результаты, также как в случае с суммарным баллом ЕГЭ практически не отличаются от модели Хантера-Шмидта (ее результаты см. в Таблице 2 в Приложении).

Таблица 6. Средние коэффициенты корреляции предметов ЕГЭ с успеваемостью внутри направлений подготовки по модели Хеджа-Олкина

На факультетах направления математики и информатики значимы все предметы ЕГЭ, и наиболее важными для предсказания дальнейшей успеваемости являются профильные предметы - по математике и информатике. На тех факультетах, где принимается ЕГЭ по физике, он также оказывается значимым: то, что его среднее значение меньше, можно объяснить меньшей выборкой с факультетами, принимающими на этом направлении физику при поступлении, и важно заметить, что верхняя граница доверительного интервала у него находится почти наравне с ЕГЭ по математике и информатике. Коэффициент ЕГЭ по русскому языку не намного меньше, чем по остальным предметам.

Зато для физики и инженерно-технических специальностей ЕГЭ по русскому языку оказался наиболее важным предиктором успеваемости, но нужно отметить, что он не значительно отличается от ЕГЭ по математике. Примечательно, что наименее важным является ЕГЭ по физике, причем, в 95% доверительном интервале его наименьшее возможное значение коэффициента приближается к нулю.

Интерпретация коэффициентов корреляции при различных ЕГЭ для естественных наук осложнена, поскольку в это направление были объединены наиболее разнородные факультеты, которые различались по набору вступительных экзаменов. Поэтому здесь, например, невозможно отделить коэффициенты для профильных предметов от всех остальных. Интересно, что здесь, также как и для направления физики и инженерно-технических специальностей, наилучшим предиктором дальнейшей успеваемости является ЕГЭ по русскому языку.

Выход для того, чтобы сделать более общие выводы для этого направления - построить модель фиксированных эффектов отдельно для каждой специальности. В Таблице 7 приведены ее результаты. Однако следует учитывать, что ее результаты менее точны, поскольку коэффициенты для многих ЕГЭ гетерогенны. Если анализировать все специальности этого направления отдельно, то оказывается, что для всех специальностей, кроме химии, ЕГЭ по профильным предметам на уровне доверительной вероятности 0.95 не отличаются от нуля. Причем, это показывает как модель фиксированных эффектов, так и модель случайных эффектов. Таким образом, при отдельном анализе факультетов мы выявили, что на естественнонаучных специальностях в отобранных вузах почти везде ЕГЭ по биологии имеет нулевую или отрицательную связь с успеваемостью. На факультетах биологии единственно значимым ЕГЭ оказывается русский язык. Этот предмет в целом на всех специальностях является самым значимым предиктором. Исключение - направление химии, там ЕГЭ по химии имеет наибольшую предсказательную способность.

Таблица 7. Модель Хеджа-Олкина для специальностей естественных наук отдельно

Различия валидности предметов ЕГЭ, формирующих итоговый конкурсный балл

В первую очередь важно отметить, что внутри каждого направления коэффициенты при разных предметах ЕГЭ различаются не значительно: ни на одном направлении нет явно «плохих» предметов ЕГЭ, совершенно не способных предсказывать успеваемость, как и нет предметов с очень высокими коэффициентами связи. Данный результат является для нас очень важным, поскольку он означает, что среди предметов, составляющих суммарный итоговый балл ЕГЭ, нет сильных различий в предсказательной способности, то есть, суммируя баллы по отдельным предметам мы не приравниваем баллы по очень важным для данного направления предметам к совсем незначимым. Этот результат позволяет нам утверждать, что по данным направлениям подготовки суммирование исходных баллов ЕГЭ является адекватным способом формирования итогового конкурсного балла абитуриента. Исключениями являются направления «Биология» и «Эконология», но измерение валидности по всем факультетам естественнонаучного направления требует проверки на более большой выборке.

Валидность предметов ЕГЭ для различных направлений подготовки

Для экономических факультетов лучшим предиктором успеваемости является ЕГЭ по математике, также относительно высокий коэффициент у русского языка. Иностранный язык и обществознание имеют почти равные коэффициенты, которые заметно ниже, чем для русского языка и математики.

На направлении «менеджмент, маркетинг, социология, связи с общественностью» соотношение между предметами ЕГЭ в их способности предсказывать успеваемость такое же, как на экономических факультетах.

Для филологии и журналистики все ЕГЭ являются значимыми. Но ЕГЭ по литературе связан с успеваемостью меньше остальных, причем нижняя граница 95% доверительного интервала практически равняется нулю. У ЕГЭ по русскому языку среднее значение коэффициента выше, чем у литературы, но верхняя граница доверительного интервала у них совпадают. Наиболее значим для этого направления ЕГЭ по истории - его коэффициент значительно выше, чем по двум другим ЕГЭ.

Для остальных гуманитарных наук (философии, культурологи, востоковедения, политологи, истории) значимы только ЕГЭ по обществознанию и русскому языку, и не значимы по истории и иностранному языку.

В целом, наилучшими предикторами успеваемости оказываются ЕГЭ по математике и русскому языку. Можно предположить, что это связано с тем, что именно они являются обязательными для всех школьников, в связи с этим можно предложить несколько объяснений.

Во-первых, именно эти ЕГЭ на данный момент имеют двойную функцию: аттестацию знаний, полученных в школе, и оценку компетенций, необходимых для поступления в университет. Это значит, что, во-первых, само содержание тестов более дифференцированно, поскольку эти ЕГЭ должны оценивать, как школьников, сдающих его просто для аттестата, так и тех, кто по его результатам собирается поступать в университет, в том числе, на профильные факультеты. А это значит, что и оценка ЕГЭ по этим предметам должна по идее лучше дифференцировать абитуриентов, то есть различия между абитуриентами в их баллах ЕГЭ по математике и русскому языку более точно отражают различия в их компетенциях, чем остальные ЕГЭ.

Также следствием того, что эти два предмета - обязательные, может быть тот факт, что им уделяется наибольшее внимание как разработчиками ЕГЭ, так и институтами, связанными с подготовкой к экзамену. В школах наибольшие усилия направляются именно на подготовку к обязательным предметам, поэтому у всех детей есть возможность готовиться к ним самостоятельно, то есть без помощи репетиторов и дополнительных курсов вне школы, а это уравнивает шансы разных детей сдать его успешно, поэтому на эти предметы менее всего действуют внеинтеллектуальные факторы.

Можно добавить, что все исследования валидности SAT и ACT (см., например, [Rothstein, 2004] [Sawyer, 2010]) показывают, что школьная оценка является лучшим предиктором успеваемости в университете, чем вступительные экзамены. Поскольку ЕГЭ совмещает в себе функцию выпускного и всупительного экзамена, можно говорить о том, что он отчасти несет в себе функцию итоговой школьной оценки. Можно предположить, что для ЕГЭ по русскому языку и математике соблюдается та же закономерность, что и для итоговой школьной оценки в США.

Наконец, можно предположить, что русский язык и математика - это «базовые» для школьной образовательной программы предметы, а их знание связано с базовыми компетенциями, которые необходимы для успешной учебы на любых направлениях подготовки.

В результатах есть еще одна выраженная тенденция: в том случае, когда профильным предметом является не математика (то есть во всех случаях, кроме направлений математики информатики, а также для экономики), часто ЕГЭ по профильному предмету является, значимым, но наиболее слабым предиктором успеваемости. Это касается ЕГЭ по обществознанию для факультетов направления «Менеджмент, социология, связи с общественностью и т.д.» а также факультетов экономики, ЕГЭ по биологии для биологических и экологических факультетов, ЕГЭ по географии для географических факультетов, ЕГЭ по литературе для факультетов филологии, а также ЕГЭ по физике для инженерно-технических специальностей. Похожие результаты были получены при анализе валидности ЕГЭ на химическом факультете МГУ [Гордеева и др., 2011]: было выявлено, что ЕГЭ по химии хуже предсказывает успеваемость, чем ЕГЭ по физике.

В связи с этим мы можем предположить, что ЕГЭ лучше оценивает «средний» уровень знаний по предметам, и плохо - глубокие знания, которые необходимы для экзаменов по профильным предметам.

Валидность различных предметов ЕГЭ

В целом, среднее значение коэффициентов корреляции для ЕГЭ по отдельным предметам - 0.18 (со стандартным отклонением 0.07) и оно варьируется в диапазоне от 0 до 0.32. Верхняя граница 95% доверительного интервала в некоторых случаях превышает 0.4, а нижняя, хотя почти никогда не пересекает нулевое значение, часто к нему очень близка. Тем не менее, данные говорят о том, что на уровне 0.05 почти все коэффициенты значимы. По величине среднего коэффициента корреляции предметов ЕГЭ с успеваемостью, с учетом верхней и нижней границы 95% доверительного интервала, предметы ЕГЭ можно проранжировать по степени валидности следующим образом:

1. Информатика (0,19 ? R ? 0,38)

2. Русский язык (0,15 ? R ? 0,29)

3. Математика (0,14 ? R ? 0,28)

4. История (0,10 ? R ? 0,29)

5. Литература (0,08 ? R ? 0,29)

6. Химия (0,07 ? R ? 0,34)

7. Обществознание (0,06 ? R ? 0,23)

8. Физика (0,04 ? R ? 0,25)

9. География (-0,01 ? R ? 0,30)

10. Иностранный язык (-0,01 ? R ? 0,19)

11. Биология (-0,02 ? R ? 0,19)

3.2 Взаимодействие ЕГЭ и олимпиад

Поскольку абитуриенты-олимпиаднки поступают в университет вне конкурса, сама логика системы приема на основе олимпиад предполагает, что олимпиады отбирают наиболее способных студентов, а ЕГЭ - всех остальных. Таким образом, предполагается, что факт того, что абитуриент удачно написал олимпиаду, позволяет нам, во-первых, предсказывать его успеваемость, во-вторых, считать, что его успеваемость будет выше, чем у остальных студентов. В данном разделе мы сначала сравним результаты студентов-олимпиадников и всех остальных, а затем проверим, являются ли высокие баллы ЕГЭ не менее надежным предиктором успеваемости, чем удачно написанная олимпиада.

Как видно по Таблице 8, только один ВУЗ, попавший в выборку, имеет большое количество олимпиадников среди своих студентов. Это значит, что анализ взаимодействия ЕГЭ и олимпиад имеет смысл проводить только на данных этого ВУЗа.

Таблица 8. Распределение количества олимпиадников в разных ВУЗах по годам

В Таблице 3 в приложении представлено распределение доли поступивших по олимпиаде на каждом факультете. В целом, доля студентов-олимпиадников достаточна для того, чтобы сравнивать их результаты с остальными студентами.

Для начала проверим, отличаются ли оценки олимпиадников от оценок остальных студентов: сдают ли они лучше ЕГЭ и имеют ли они более высокую успеваемость.

Почти на всех факультетах разница среднего балла ЕГЭ между олимпиадниками и остальными студентами статистически не значима (см. Таблицу 4 в приложенни). Исключением являются факультеты, где большинство студентов поступали с олимпиадами по математике. Также значимы различия между олимпиадниками на факультете философии, но на факультете философии, наоборот, поступившие по олимпиаде сдавали ЕГЭ в среднем хуже.

Таким образом, преимущественно результаты олимпиад по математике, «согласованы» с результатами ЕГЭ, причем, не отдельного ЕГЭ по математике, а суммарным баллом. Они одинаково дифференцируют студентов: те, что проявили себя хорошо на олимпиадах, в целом сдают ЕГЭ лучше. На остальных факультетах, где абитуриенты поступали преимущественно по другим олимпиадам, различий в суммарном балле ЕГЭ у олимпиадников и всех остальных студентов нет. Исключением являются олимпиадники факультета философии: те, кто хорошо проявил себя на олимпиаде, в среднем хуже сдают ЕГЭ. Таким образом, для философского факультета олимпиады - лучшее, чем ЕГЭ, средство отбора абитуриентов.

Теперь посмотрим, различается ли успеваемость у олимпиадников и остальных студентов. Результаты расчета разницы средней оценки за первый курс между олимпиадниками и остальными студентами представлены в таблице 5. Во-первых, различия в успеваемости значимы на тех же факультетах, где были значимы различия в баллах ЕГЭ - это МИЭФ, факультет менеджмента, ГМУ, факультеты мировой экономики и бизнес-информатики, но также к ним добавились факультеты права, политологии и социологии. Но нужно отметить, что практически на всех факультетах хотя бы за один год различия в оценках оказались значимыми. В среднем, на тех факультетах, где разница в средней оценке олимпиадников и остальных студентов является значимой, она составляет 1 балл (по 10-балльной шкале). Таким образом, хотя разница в оценках не очень большая, она статистически значима, а значит, олимпиадники учатся немного лучше, чем студенты, поступившие по ЕГЭ.

Теперь перейдем к анализу предсказательной способности ЕГЭ и олимпиад. Мы поставили перед собой задачу сравнить, что лучше предсказывает успеваемость студентов: высокие баллы ЕГЭ или олимпиады.

Для решения этой задачи на каждом факультете мы отобрали 25% лучших студентов по суммарному баллу ЕГЭ (для каждого года отдельно). В число этих студентов не вошли те, кто поступил в университет на основании победы в олимпиаде. Таким образом, все абитуриенты были разбиты по двум основаниям: 1) олимпиадники - поступившие по ЕГЭ, 2) поступившие с наиболее высокими баллами ЕГЭ - все остальные. Затем мы сравнили, какое разбиение позволяет нам лучше предсказывать успеваемость студентов. Иначе говоря, мы выяснили, что лучше предсказывает успеваемость студентов: высокие баллы ЕГЭ или олимпиады. Для этого мы построили два типа моделей регрессии с фиктивными переменными, где зависимая переменная - успеваемость на первом курсе, а независимые - принадлежность к группе олимпиадников или принадлежность к группе поступивших с самыми высокими баллами ЕГЭ. Для сравнения предсказательной способности олимпиад и высоких баллов ЕГЭ использовались коэффициенты детерминации полученных моделей, которые представлены в Таблице 9.

Таблица 9. R² для предсказания успеваемости на 1 курсе с помощью высоких баллов ЕГЭ или победы на олимпиаде

*коэффициенты значимы на уровне 0.05

**коэффициенты значимы на уровне 0.01

Прежде всего, R2 большинства моделей статистически значим, как для моделей с высоким ЕГЭ, так и с олимпиадами. Предсказательная способность у олимпиад в среднем значительно хуже, чем у высоких баллов ЕГЭ. Если знание о принадлежности студента к группе одимпиадников позволяет в среднем предсказать лишь 6-8% дисперсии оценки за первый курс, то факт принадлежности к группе абитуриентов с высоким ЕГЭ объясняет 13-14% дисперсии оценки для первокурсников 2009-2010 года, но также всего лишь 7% для поступивших в 2011 году. Объяснить причину такого снижения предсказательной способности высоких баллов ЕГЭ в 2011 году сложно, но важно в целом отметить, что как предсказательная способность олимпиад и высоких баллов ЕГЭ, так и их отношение, в разные годы не одинаково.

Предсказательная способность высоких баллов ЕГЭ значительно больше, чем у олимпиад на факультетах менеджмента (0.19 против 0.06 2009 году) и прикладной математики и информатики (0.43 против 0.05). Довольно большая разница на МИЭФ, ГМУ, социологии. На факультете программной инженерии ситуация значительно различается в разные годы: если за 2009 и 2010 год высокие баллы ЕГЭ были более валидным средством отбора (объясняли в два раза больше дисперсии оценки), то в 2011 ситуация стала обратной. Похожая ситуация на факультете математики: в 2010 году высокий ЕГЭ предсказывал успеваемость лучше, чем олимпиады, хотя в 2009 олимпиады оказались чуть более сильными предикторами. Есть также факультеты, где олимпиады являются лучшим средством отбора, чем высокий ЕГЭ: это факультет экономики, мировой экономики и философии.

3.3 Социальных характеристики студентов и предсказательная способность ЕГЭ

Разработка и введение в практику ЕГЭ была нацелена главным образом на то, чтобы снизить влияние социально-экономических характеристик на шансы выпускников получить доступ к высшему образованию, обеспечить всем равные возможности при поступлении. В данном разделе мы проверим, различаются ли шансы школьников с разным социально-экономическим положением поступить в университет на основании ЕГЭ, успешно учиться в нем, и влияют ли социальные характеристики студентов на предсказательную способность ЕГЭ. В этом контексте мы проанализируем различия студентов из разных типов населенного пункта, разных типов школ и семей с различным культурным капиталом.

Тип населенного пункта