Оценка и анализ образования: что оцениваем?

Размещено на http://www.allbest.ru/

Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации, Москва, Российская Федерация

Оценка и анализ образования: что оцениваем?

Григорьев В.Ю.

Реферат

образование университет ранговый

Целью и задачей данной статьи является попытка в первом приближении ответить на вопрос -- что должны представлять собой интегральная оценка и анализ образования с управленческо-экономической точки зрения. От полноты и корректности ответа существенно зависит как действенность самого анализа, так и эффективность выполненной оценки и набора предлагаемых управленческих решений.

Ключевые слова: управленческие решения, повышение эффективности образовательных систем, устойчивость региональной образовательной системы, дисбаланс региона

Assessment and analysis of education: what are we assessing?

Valery Yu. Grigorev

Russian Presidential Academy of National Economy and Public Administration, Moscow, Russian Federation;

Abstract

The purpose of this article is an attempt to give a comprehensive answer to the question -- what should be an integrated assessment and analysis of education from a managerial and economic point of view. From the completeness and correctness of the answer, both the effectiveness of the analysis itself and the effectiveness of the assessment and the set of proposed management decisions substantially depend

Keywords: Management consulting, stability of the regional educational system, imbalance of the region, improving the effectiveness of educational systems

Определим сразу границы нашего исследования в понимании, анализ и оценку какого «образования» мы осуществляем. В общем случае можно вести речь о трех проекциях -- анализ процесса образования конкретного обучающегося; анализ образования в конкретной образовательной организации и анализ территориального образования (в качестве территории может выступать Россия, федеральный округ, субъект РФ, муниципальный округ) на всех уровнях образования. В данной статье речь пойдет о последнем направлении -- комплексный анализ и оценка региональной (территориальной) системы образования. И именно комплексность оценки и порождает главную проблему. Как только мы переходим от ответа на конкретный вопрос, например, какой процент учителей в сельских школах Тульской области имеет высшее образование, к интегральному анализу образования -- насколько плохо или хорошо обстоят дела с образованием в регионе, а самое главное, что нужно делать для улучшения ситуации на тех или иных уровнях образования, ключевым вопросом становится: а что, собственно, нужно оценивать?

Как и при любой оценке по результативной модели, оценка образовательной системы -- это осуществляемая по различным направлениям и критериям оценка степени или уровня решения тех задач, которые она решать должна. Согласимся с [2] в том, что зачастую вводимые оценочные показатели измеряют не конечный получаемый результат, а внутрисистемные результаты или затраты ресурсов. Однако это не отменяет ни самой задачи, ни потенциальной возможности построения комплексной матрицы оценочных показателей, с определенной долей успешности измеряющей интегральный результат. Понятно, что при этом для различных уровней образования конкретные наборы и удельные веса оценочных показателей будут отличаться.

Кроме того, примем за аксиому несколько вводных положений [1]:

принципиально важно пытаться оценивать весь территориальный комплекс образовательных услуг в целом, а не осуществлять избирательную оценку отдельно по уровням образования;

анализ и оценка региональных образовательных систем должны складываться из показателей состояния системы образования с учетом условий социально-экономического и демографического контекстов;

система индикаторов должна укладываться в логическую обоснованную схему с ясной структурой, а не являться эклектичным механическим соединением групп показателей.

Для решения задачи необходимо последовательно ответить на три вопроса: каков должен быть набор групп оценочных показателей, каков должен быть состав входящих в эти группы показателей и каковы должны быть удельные веса (значимость) самих показателей. Рамки статьи не позволяют рассмотреть все три ступени анализа, поэтому на данном этапе мы ограничимся формированием групп. Сразу обозначим предлагаемую модель для анализа, а затем сопоставим ее с некоторыми практическими исследованиями и действующими нормативными документами. Для иллюстрации будем использовать примеры исходных и оценочных показателей по подуровню дошкольного образования.

Итак, модель комплексной оценки регионального образования включает четыре базовые группы.

Группа оценки качества образования.

Группа оценки доступности образования.

Группа оценки спроса на образование.

Группа оценки сбалансированности и устойчивости образовательной системы. Набор фоновых (контекстных) показателей региона следует не выделять в отдельную группу, а использовать для квазинормирования численных значений остальных оценочных показателей. В качестве примера можно привести «индекс бюджетных расходов», который позволяет привести финансовые показатели различных регионов к сравнимым величинам.

К первой, самой многочисленной и более-менее очевидной группе -- оценке качества образования -- относятся четыре подгруппы:

подгруппа оценки ресурсов;

подгруппа оценка процессов;

подгруппа оценки результатов;

подгруппа оценки удовлетворенности.

Подгруппа оценки ресурсов в свою очередь состоит из показателей кадрового обеспечения и показателей материального и инфраструктурного обеспечения и, по сути, отвечает на вопрос -- какие условия созданы в регионе для проведения образовательного процесса. Примером «кадрового» показателя может являться «численность педагогических работников -- учителей-дефектологов в расчете на 10000 воспитанников». Сразу оговоримся, мы исходим из того, что само по себе наличие такого педагога ничего не гарантирует, но оно создает возможность получения более качественного результата. Примером «материально-инфраструктурного» оценочного показателя очевидно является «доля воспитанников дошкольных образовательных организаций, не требующих капитального ремонта и не находящихся в аварийном состоянии».

Подгруппа оценки образовательных процессов -- более сложно определяемый объект, показывающий усилия образовательной организации по использованию своих ресурсов. Подобным показателем может являться, например, «численность воспитанников, охваченных летними оздоровительными мероприятиями».

Сама по себе подгруппа оценки результатов образовательной деятельности представляется ясной, однако привести пример удачного оценочного показателя по дошкольному образованию достаточно не просто. Предположительно в качестве таковых можно будет использовать показатели, полученные на основе «инструментария оценки качества дошкольного образования» «Инструментарий оценки качества дошкольного образования» // Проект федерального института развития образования РАНХиГС [Электронный ресурс].

Перейдем теперь к подгруппе оценки удовлетворенности. Для этого рассмотрим понятие качества образования с позиций закона об образовании. Федеральный закон от 29.12.2012 № 273-ФЗ «Об образовании в Российской Федерации» в ст. 2 п. 29 гласит: «качество образования -- комплексная характеристика образовательной деятельности и подготовки обучающегося, выражающая степень их соответствия федеральным государственным образовательным стандартам, образовательным стандартам, федеральным государственным требованиям и (или) потребностям физического или юридического лица, в интересах которого осуществляется образовательная деятельность, в том числе степень достижения планируемых результатов образовательной программы» Федеральный закон от 29.12.2012 № 273-ФЗ «Об образовании в Российской Федерации» // Официальный интернет-портал правовой информации. [Электронный ресурс]..

Таким образом, с точки зрения закона об образовании оценка качества образования должна содержать оценку условий осуществления образовательной деятельности (подгруппа оценки ресурсов), оценку ее результатов (подгруппа оценки результатов), а также -- оценку соответствия образовательной деятельности потребностям участников образовательного процесса. С последним согласен и Рособрнадзор, который выделяет следующие обязательные направления оценки качества образования Методология и критерии оценки качества общего образования в общеобразовательных организациях на основе практики международных исследований качества подготовки обучающихся (Проект) // Официальный сайт Федеральной службы по надзору в сфере образования и науки (Рособрнадзор) [Электронный ресурс].:

«оценка ... к результатам освоения образовательных программ;

оценка ... к условиям реализации образовательной деятельности;

оценка степени соответствия подготовки обучающихся их потребностям, потребностям организаций среднего и высшего профессионального образования, предприятий и учреждений;

оценка степени соответствия образовательной деятельности потребностям обучающихся, потребностям организаций среднего и высшего профессионального образования, предприятий и учреждений, потенциальными будущими работниками которых являются обучающиеся в образовательных организациях».

Таким образом, речь идет о необходимости выделения отдельного направления показателей, которое и было выше поименовано как подгруппа оценки удовлетворенности [участников образовательного процесса]. Причем обратим внимание на то, что удовлетворенность качеством образования вполне могут высказывать участники образовательного процесса на других уровнях образования. В данном случае образовательные организации среднего и высшего профессионального образования уполномочены делать выводы о состоянии общего образования. Что лишний раз подтверждает тезис о целесообразности комплексного анализа образования, а не отдельных его частей.

Попутно акцентируем внимание на любопытном факте. В первом из рейтингов университетов мира, места российских университетов в которых учитываются в известном проекте «5-100-2020» Проект повышения конкурентоспособности ведущих российских университетов среди ведущих мировых научно-образовательных центров реализуемый в соответствии с указом Президента Российской Федерации от 7 мая 2012 г. № 599 «О мерах по реализации государственной политики в области образования и науки» // Официальный сайт проекта [Электронный ресурс]., рейтинге Таймс (The Times Higher Education World University Rankings) THE (Times Higher Education) World University Rankings // Официальный сайт [Электронный ресурс]. -- 34,5% итоговой оценки, получаемой университетом, это результаты опроса. Академическая репутация университета, включая научную деятельность и качество образования (данные глобального экспертного опроса представителей международного академического сообщества) дает в общий зачет 15%, и еще 19,5% добавляет научная репутация университета в определенных областях (данные глобального экспертного опроса представителей международного академического сообщества). Во втором же рейтинге QS (Quacquarelli Symonds World University Rankings) The QS World University Rankings // Официальный сайт [Электронный ресурс]. результаты опроса вообще составляют 50% итоговой оценки: индекс академической репутации вуза (показатель включает данные глобального экспертного опроса представителей международного академического сообщества, который отражает мнения руководства университетов, профессоров и преподавателей, ведущих научно-исследовательскую деятельность) -- 40%; индекс репутации вуза среди работодателей (показатель включает данные глобального экспертного опроса представителей организаций-работодателей, охватывающих все основные индустрии и имеющих размер от ста сотрудников и выше; в рамках опроса изучаются мнения руководства организаций-работодателей о профессиональной компетенции выпускников вузов, принятых ими на работу) -- 10%.

Заметим, что в перечень показателей для оценки эффективности деятельности органов исполнительной власти субъектов Российской Федерации также включен опросный оценочный показатель № 20 «Оценка удовлетворенности населения услугами в сферах образования (процент от числа опрошенных)» Перечень показателей, информацию о значениях которых для оценки эффективности деятельности органов исполнительной власти субъектов Российской Федерации представляют федеральные органы исполнительной власти и организации. Утвержден постановлением Правительства Российской Федерации от 19 апреля 2018 г. № 472 «Об осуществлении мер по реализации государственной политики в сфере оценки эффективности деятельности органов исполнительной власти субъектов Российской Федерации и признании утратившими силу некоторых актов Правительства Российской Федерации» // Официальный интернет-портал правовой информации [Электронный ресурс]... Но как раз его использование вызывает вопросы у некоторых исследователей, прежде всего «в связи с непрозрачностью инструментария опроса и способов формирования выборки» [1].

Вторая группа -- группа оценки доступности образования -- существенно менее очевидна. Во-первых, зачастую происходит смешение понятий доступность и охват. Близость этих понятий только кажущаяся. Если доступность того или иного уровня образования характеризует уровень удовлетворения текущего спроса, то охват (точнее обратная ему величина) позволяет оценить предельный потенциал роста образовательных услуг в регионе.

Разница хорошо видна на следующем примере. На рис. 1 приведен график регионального распределения по охвату дошкольным образованием в 2018 г. детей в возрасте до 3 лет (для расчета использованы исходные статистические данные: Численность постоянного населения -- женщин по возрасту на 1 января // Росстат. ЕМИСС. Государственная статистика; Численность постоянного населения -- мужчин по возрасту на 1 января // Росстат. ЕМИСС. Государственная статистика; Аналитические формы на основе формы № 85-К // Единая информационная система обеспечения деятельности Министерства образования и науки Российской Федерации).

В правой части графика с результатом существенно менее 20% охвата присутствуют, например, Чеченская Республика (13,73%), Республика Дагестан (8,76%) и Республика Ингушетия (5,17%). Столь низкие цифры можно было бы объяснить национальными особенностями кавказских республик. Но, если посмотреть на график доступности дошкольного образования (рис. 2), то хорошо видно, что соотношение воспитанников и желающих ими стать в республиках также крайне низко (11,42% -- в Ингушетии, 17,76% -- в Дагестане).

Выполненные нами расчеты также подтверждают независимость данных показателей. Например, значение коэффициента ранговой корреляции Спирмена при наличии связанных рангов между охватом дошкольным образованием детей старше 3 лет и доступностью дошкольного образования для детей того же возраста по данным 2018 г. составило 0,142.

Существенно, что в группу оценки доступности должен входить не единственный показатель -- «отношение численности воспитанников образовательных организаций к общей численности желающих быть воспитанниками в данной возрастной группе», но и показатели финансовой доступности, например «доля принятых на обучение за счет средств федерального бюджета» или «доля численности проживающих в общежитиях относительно численности нуждающихся в общежитиях».

Рис. 1. Охват дошкольным образованием детей в 2018 г. (дети до 3 лет), %

Fig. 1. Preschool enrolment In 2018 (children under 3 years old)

Рис. 2. Доступность дошкольного образования детей в 2018 г. (дети до 3 лет), %

Fig. 2. Access to preschool education for children in 2018 (children under 3 years old)

Группа оценки спроса на образование является ключевым моментом анализа. На самом деле потенциал развития любого уровня образования любого региона -- прежде всего функция спроса. Как уже отмечалось выше, потенциальный спрос -- величина, обратная охвату. И этот параметр должен активно использоваться для оценки потенциала развития частного образования в регионе.

Вопросы дисбалансов в развитии образовательных систем более подробно изложены в специальных работах, посвященных данной теме [3; 5]. Здесь отметим, что помимо общих дисбалансов и дисбалансов по ограничителям, присущих конкретному уровню образования, следует учитывать и межуровневые дисбалансы. Примером последнего может являться рассогласованность между реальными потребностями региона в воспитателях дошкольного образования, исходя из целевых значений достигаемой доступности, и контрольными цифрами приема на соответствующее направление в образовательные организации на уровне среднего профессионального образования.

К этой же группе оценочных показателей относится и вопрос устойчивости образовательной системы региона. Например, если с одной стороны высокие значения показателя «доля численности педагогов дошкольного образования в возрасте 60 и более лет» косвенно свидетельствуют о потенциальном наличии большого опыта практической работы, то его оборотной стороной являются риски, связанные с существенным одновременным выбытием большого числа квалифицированных педагогических работников.

Рассмотрим далее некоторые последние практические подходы и предложения исследователей к разработке интегральных показателей анализа и оценки образования. Одним из самых эффектных по подаче и достаточно подробных является «Индекс образовательной инфраструктуры российских регионов». В настоящее время вышло второе издание индекса Индекс образовательной инфраструктуры российских регионов 2018-2019 [Электронный ресурс]... Авторы в качестве аксиомы постулируют, что повышение качества образовательной инфраструктуры неразрывно связано с увеличением конкурентоспособности российского общего образования. А именно такая цель поставлена в Указе Президента Российской Федерации от 7 мая 2018 г. № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года» Указ Президента Российской Федерации от 7 мая 2018 г. № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года» // Официальный интернет-портал правовой информации [Электронный ресурс]., и она же заявлена в качестве основной в национальном проекте «Образование» [6].

Однако по факту эксперты ВШЭ оперируют исключительно кадровым и материально-техническим (т. е. ресурсным) обеспечением, отмечая, что данное исследование -- это ответ на вопрос: насколько в регионе создаются «требуемые условия для эффективного функционирования образовательной системы». Что несколько диссонирует с поставленной целью, поскольку в упомянутом выше Указе Президента РФ ставится задача «вхождения Российской Федерации в число 10 ведущих стран мира по качеству [общего] образования». А как уже было показано выше, полагать, что состояние инфраструктуры является единственным измерителем качества образования -- слишком большое допущение. Уже не говоря о том, что все остальные группы показателей находятся вне поля зрения исследователей.

Актуальную на текущий момент тему глобальной конкурентоспособности российского образования в дискуссионной форме поднимают также авторы одноименного аналитического доклада [4]. В докладе продекларированы два потенциальных подхода, позволяющих осуществлять сравнительный анализ образования (в данном случае -- на международном уровне). В первом случае осуществляется «прямое сравнение» субъектов между собой, при этом оценивается роль и сопоставляется степень вклада системы образования в общую интегральную оценку (в данном случае в конкурентоспособность страны). Оценивается вклад образования в экономику, социальное устройство, культуру. При втором варианте, который предлагается взять за основу, выделяется три типа индикаторов [конкурентоспособности] образования:

общее функционирование образовательной системы, куда авторы относят такие субнаправления, как: финансовые показатели, охват образованием на различных уровнях и т.д.;

показатели процесса образования, выраженные через характеристики образовательных организаций, например, кадровое обеспечение, условия для образовательной деятельности и др.;

измеряемые результаты образовательной деятельности.

Таблица 1. Ступенчатая (последовательная) модель комплексного анализа и оценки регионального образования

Table 1. Step-by-step (consistent) model of Integrated analysis and assessment of regional education

Несмотря на то что авторы по факту в дальнейшем отходят от своего же предложения по комплексной интегральной оценке и осуществляют сопоставление стран по отдельным показателям, можно отметить, что даже на уровне декларирования набор групп показателей ограничивается анализом качества образования без привязки к степени удовлетворенности участников образовательного процесса.

Аналогично разделяются по функциональности используемые при анализе и оценке показатели в уже упомянутой методике сравнительной оценки образовательных систем [1]. Отличия в наименованиях:

группа показателей собственно оценки -- [результаты функционирования образовательного процесса];

группа показателей анализа или мониторинга -- [ресурсы и организация системы образования];

фоновые (контекстные) показатели.

Таким образом, как в практическом, так и в методическом смысле существующие методологии комплексного анализа и оценки образовательных систем ограничены узким кругом исследуемых параметров, связанных в основном с кадровым и материально-техническим обеспечением образовательного процесса, и не позволяют предложить сбалансированный перечень управленческих решений для выработки стратегии регионального развития.

С другой стороны, противоречий с предложенной моделью комплексного анализа, которая в компактном виде с примерами реальных оценочных показателей для дошкольного образования представлена в табл. 1, также не выявлено.

Литература

1. Агранович М.Л. Методические вопросы сравнительной оценки субнациональных образовательных систем // Social Science Research Network [Электронный ресурс]. URL: http:// papers.ssrn.com/sol3/papers.cfm?abstract_id=24578271 (дата обращения: 29.07.2019).

2. Агранович М.Л. Индикаторы достижения целей устойчивого развития в сфере образования и национальная образовательная политика // Вопросы образования. 2017. № 4. С. 242-264.

3. Беляков С.А., Григорьев В.Ю., Бедарева Л.Ю. Оценка параметров региональных систем образования как инструмент выработки управленческих решений // Управленческое консультирование. 2019. № 7. С. 79-89.

4. Глобальная конкурентоспособность российского образования. Материалы для дискуссии / И.В. Абанкина, А.А. Беликов, О.С. Гапонова и др. Национальный исследовательский университет «Высшая школа экономики», Институт образования. М.: НИУ ВШЭ, 2017. (Современная аналитика образования. № 3 (20)).

5. Григорьев В.Ю., Беляков С.А. Обобщенная методика оценки потенциала развития региона на основе анализа дисбалансов // Управленческое консультирование. 2019. № 8. С. 60-69.

6. Нацпроект «Образование» // Вестник образования. Электронный периодический журнал [Электронный ресурс]. URL: http://vestnik.edu.ru/national-project.

Об авторе:

Григорьев Валерий Юрьевич, ведущий научный сотрудник Центра экономики непрерывного образования Российской академии народного хозяйства и государственной службы при Президенте Российской Федерации (Москва, Российская Федерация), кандидат технических наук, доцент, лауреат Премии Президента РФ в области образования;

References

1. Agranovich M.L. Methodological Issues of Comparative Assessment of SubNational Educational Systems // Social Science Research Network [Electronic Resource]. URL: http: // papers.ssrn. com/sol3/papers.cfm?abstract_id=24578271 (date of address: 29.07.2019). (In rus).

2. Agranovich M.L. Indicators for Achieving Sustainable Development Goals in Education and National Education Policy // Education Issues [Voprosy obrazovaniya]. 2017. No. 4. P 242-264. (In rus).

3. Belyakov S.A., Gregory V.Yu., Bedareva L.Yu. Assessment of parameters of regional education systems as a tool for making management decisions // Administrative consulting [Upravlencheskoe konsul'tirovanie.]. 2019. No. 7. P 79-89. (In rus).

4. Global competitiveness of Russian education. Materials for discussion / I.V. Abankina, A.A. Belikov, O.S. Gaponova, etc. National Research University “Higher School of Economics,” Institute of Education. MOSCOW: HSE, 2017. 112 p. (Modern Education Analytics. No. 3 (20)) (In rus).

5. Grigoryev V.Yu., Belyakov S.A. Generalized methodology of assessment of development potential of the region based on imbalance analysis // Administrative consulting [Upravlencheskoe konsul'tirovanie.]. 2019. No. 8. P 60-69. (In rus).

6. National Project “Education” // Journal of Education [Vestnik obrazovaniya]. Electronic Periodical Journal [Electronic Resource]. URL: http: // vestnik.edu.ru/national-project (date of address:. (In rus).

About the author:

Valery Yu. Grigorev, Leading researcher of the Center of Economics of Continuous Education of RANEPA (Moscow, Russian Federation), PhD in Technical Sciences, Associate Professor; Laureate of the President of the Russian Federation Award in the Field of Education

Размещено на Allbest.ru