Методология статистического исследования качества подготовки специалистов в вузах

Понятие термина "качество образования", подходы к его оценке. Российский и зарубежный опыт оценки качества подготовки специалистов в вузах. Методика формирования системы статистических информативных показателей рейтинговой оценки кафедр университета.

Рубрика Экономика и экономическая теория
Вид автореферат
Язык русский
Дата добавления 26.02.2018
Размер файла 118,2 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

А В Т О Р Е Ф Е Р А Т

диссертации на соискание ученой степени доктора экономических наук

Методология статистического исследования качества подготовки специалистов в вузах

Специальность - 08.00.12 Бухгалтерский учет, статистика

Донецкая С.С.

Новосибирск 2010

Работа выполнена на кафедре статистики и экономического прогнозирования Сибирского университета потребительской кооперации

Официальные оппоненты: доктор экономических наук, профессор

Беляевский Игорь Константинович

доктор экономических наук, профессор

Зайцева Ольга Петровна

доктор экономических наук, доцент

Петрова Аида Талятовна

Ведущая организация: Санкт-Петербургский государственный университет экономики и финансов

I. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертационного исследования. В последние два десятилетия существенно усилилось влияние науки и образования на уровень экономического развития государств. Это наиболее заметно в европейских странах, США, Японии, КНР, где до 25 % прироста национального дохода связано с развитием классического высшего образования. Обеспечение конкурентоспособности и национальной безопасности эти государства видят в повышении качества образования.

Подобные задачи также являются приоритетными в современной образовательной политике России. Существующая государственная система обеспечения качества образования базируется на процедурах лицензирования и аккредитации. После вступления России в Болонский процесс отечественные вузы проходят общественно-профессиональную аккредитацию, которая предъявляет более строгие, чем государство, требования и ориентирована на выявление соответствия уровня подготовки студентов запросам работодателей, инвесторов и других заинтересованных сторон. Кроме того, качество образования сопоставляют с позицией вуза в национальном или международном рейтингах.

Несмотря на разнообразие современных подходов к оценке качества образования, существует ряд нерешенных проблем: отсутствие традиции независимой оценки деятельности вузов; несопоставимость российских и зарубежных показателей качества образования; громоздкость отечественных методик оценки качества образования; сложность получения достоверной статистической информации о деятельности вузов; отсутствие статистики качества образования. Их решение возможно на основе статистической методологии. Массовое периодическое исследование качества высшего образования позволит создать доступную базу данных для проведения его статистического анализа, независимой оценки образовательных программ, ранжирования вузов. Значимость данного исследования повышается в связи с постановкой Правительством РФ целевых ориентиров долгосрочного социально-экономического развития государства до 2012 г., включающих создание системы независимой общественно-профессиональной аккредитации программ обучения и системы общественных рейтингов вузов.

Таким образом, все сказанное свидетельствует о целесообразности разработки методологии статического исследования качества высшего образования и обусловливает актуальность данной работы.

Степень разработанности проблемы. Проблемы оценки качества образования рассмотрены в трудах А.И. Вроейнстийна, Е.Н. Геворкян, А.В. Гличева, М.А. Гусаковского, Ю.А. Захарова, В.А. Кальней, В.П. Панасюк, А.Т. Петровой, М.М. Поташкина, Г.Б. Скок, А.И. Субетто, Н.В. Тихомировой и др. Проблемам аккредитации посвящены работы Н.П. Аврамова, Л.Н. Глебовой, И.Т. Заики, Г.И. Лазарева, Г.Н. Михайловой, Г.Н. Мотовой, В.Г. Наводнова, Ю.Б. Рубина, В.А. Самойлова, В.Д. Шадрикова и др. Анализ рейтинговых моделей в образовании проводился И.А. Артюшиной, И.Е. Волковой, М.М. Ковалевым, И.В. Маршаковой-Шайкевич, Д.А. Мельничук, С.В. Микони, В.М. Московкиным, Н.Ш. Никитиной, Ю.П. Похолковым, В.П. Прокофьевым, Н.Б. Филиновым, В.А. Шутилиным и др. Маркетинговым исследованиям, проблемам разработки потребительского мониторинга и системы менеджмента качества посвящены научные публикации И.К. Беляевского, О.П. Зайцевой, В.А. Качалова, Е.В. Кравченко, Л.Г. Миляевой, Н.И. Мовчан, Э.В. Новаторова, А.П. Панкрухина, Д.А. Шевченко и др. Современные положения статистики образования и науки изложены в трудах И.И. Елисеевой, С.Д. Ильенковой, М.Г. Назарова и др. Проблемы модернизации статистики образования определены в постановлениях Правительства Российской Федерации, неоднократно обсуждались Минобрнауки РФ и Росстатом, а также отражены в трудах ученых государственного университета - Высшей школы экономики: Л.М. Гохберга, И.Ю. Забаруриной, Н.В. Ковалевой, В.И. Кузнецовой, О.К. Озеровой, Я.М. Рощиной, О.Р. Шуваловой и др.

В то же время в современной экономической литературе не нашли достаточного освещения методологические вопросы статистического исследования качества подготовки специалистов в вузах. Отсутствует статистическое определение понятия «качество образования», учитывающее все цели его получения, не разработана система статистических показателей. Предложения по модернизации статистики образования на федеральном и региональном уровнях сводятся в основном к использованию громоздких программ наблюдения, в которых качество образования потребителями оценивается терминами «хорошее», «удовлетворительное», «плохое», на уровне вуза - к проведению единовременных маркетинговых исследований выпускников или студентов. Для оценки качества высшего образования практически не применяются показатели, используемые в зарубежных странах и глобальных рейтингах, участниками которых являются российские университеты. Не используются наукометрические и патентные базы данных, которые в условиях существующих проблем с получением официальной статистической информации и в связи с необъективностью сведений, представляемых вузами, могут стать основным источником объективной информации для общественных институтов независимого контроля качества образования. Между тем процессы глобализации требуют разработки единых подходов к оценке качества вузовского образования.

Вышесказанное определило цель и задачи исследования.

Цель диссертационного исследования состоит в разработке методологии статистического исследования качества высшего образования, основанной на объективной информации, обеспечивающей независимость оценки.

Для достижения указанной цели поставлены следующие научные и практические задачи:

· исследовать понятие «качество образования» и существующие подходы к его оценке, выявить проблемы статистического исследования качества высшего образования, разработать концепцию исследования;

· проанализировать российский и зарубежный опыт оценки качества подготовки специалистов в вузах, систематизировать аккредитационные требования и показатели рейтинговых моделей;

· разработать методологию статистического исследования качества вузовского образования. Для этого сформировать систему информативных показателей качества подготовки специалистов в вузах, разработать методики статистического исследования квалификации преподавателей государственных классических и технических университетов, востребованности выпускников и удовлетворенности потребителей качеством образования;

· апробировать методики статистического исследования квалификации преподавателей государственных классических и технических университетов, оценить достоверность использования для этой цели информации, размещенной на WEB-сайтах университетов;

· исследовать востребованность выпускников и удовлетворенность потребителей качеством образования в вузах г. Новосибирска, определить степень доверия результатам опросов студентов.

Объектом исследования является качество вузовского образования в Российской Федерации.

Предметом исследования служит методология статистического исследования качества высшего образования, основанная на объективной информации, обеспечивающей независимость оценки.

Объект наблюдения - классические, технические и экономические университеты Сибирского федерального округа, химические факультеты ведущих государственных университетов Российской Федерации.

Область исследования. Содержание диссертации соответствует области исследования: п. 3.1. «Методы статистического измерения и наблюдения социально-экономических явлений, обработка статистической информации, оценка качества данных наблюдений; организация статистических работ»; п. 3.2. «Методология построения статистических показателей, характеризующих социально-экономические совокупности, построения демографических таблиц, измерения уровня жизни населения, состояния окружающей среды»; п. 3.4. «Методология социального и экономического мониторинга, статистического обеспечения управления административно-территориальным образованием; измерение неравномерности развития территориальных образований» Паспорта номенклатуры специальностей научных работников (экономические науки).

Теоретической и методологической основой исследования выступают фундаментальные и прикладные работы ведущих российских и зарубежных ученых, посвященные статистическим методам исследования качества образования, квалификации научных работников, рейтинговым моделям, маркетингу в сфере образования. Использованы общенаучные принципы и методы: анализа и синтеза, индукции и дедукции, системного подхода, исторический и логический, абстракции и эвристический. В качестве исследовательского инструментария применялись методы наблюдения, сводки и группировки, обобщающих показателей, регрессионного и корреляционного анализа, сравнительного анализа, экспертных оценок, распознавания образов, проверки гипотез, а также табличные и графические методы представления результатов исследования. Обработка исходной информации проводилась с применением программ: «Statistica», «Access» и «Microsoft Excel», а также программ, составленных с помощью «С++».

Информационная база исследования сформирована на основе данных сайтов компании Thomson Reuters (бывшего Института научной информации США (ISI)), Федеральной службы по интеллектуальной собственности, патентам и товарным знакам «Роспатент», Евразийского патентного ведомства, ведущих государственных университетов России и университетов Сибирского федерального округа, независимого рейтингового агентства в сфере образования «РейтОР», а также результатов мно-голетних авторских исследований потребителей образовательных услуг Сибирского университета потребительской кооперации и публикаций в периодической печати.

Достоверность и обоснованность основных положений, выводов и рекомендаций, содержащихся в работе, подтверждаются корректным применением общенаучных и специальных методов исследований; репрезентативным объемом использованного информационного массива; положительной апробацией результатов исследования.

Научная новизна результатов исследования, полученных автором, заключается в обосновании и разработке методологии статистического исследования качества образования в российских университетах.

Наиболее существенными, обладающими научной новизной являются следующие результаты исследования:

1. Углубляющие теорию статистики качества образования:

· уточнено статистическое определение понятия «качество образования», которое отличается от известных тем, что учитывает перспективные цели получения образования; разработана концепция статистического исследования качества вузовского образования, основанного на информации, обеспечивающей независимость оценки и соответствие используемых показателей международным требованиям;

· предложена авторская классификация показателей, используемых в России и за рубежом при аккредитации и рейтинговании вузов, выполненная в соответствии с системным подходом к качеству образования и выявившая, что наиболее важными для оценки качества образования являются те показатели, которые характеризуют научную квалификацию преподавателей и результаты образовательной деятельности вузов. Обоснована авторская система статистических информативных показателей качества подготовки специалистов в вузах, которая отличается от существующих российских систем аккредитационных и рейтинговых показателей тем, что содержит универсальные показатели научной квалификации преподавателей и результатов образовательной деятельности, применимых как для российских, так и зарубежных университетов.

2. Развивающие методологию статистического исследования качества образования:

· адаптирован метод решения «обратных задач» к формированию системы показателей рейтинговой оценки кафедр университетов, который в отличие от метода «прямых задач» позволяет выявить информативные показатели, достаточно надежно оценивающие рейтинг кафедр;

· впервые проведено статистическое исследование научной квалификации преподавателей государственных классических университетов на основе предложенной методики, построенной на изучении цитирования научных публикаций преподавателей, которое используется в современном научном мире для оценки квалификации научных работников и, как показало исследование, может быть также применено для оценки научной квалификации преподавателей, прежде всего естественнонаучных факультетов. На этапе наблюдения использованы новые для статистической науки организационные формы: наукометрические базы данных. Предложена система статистических показателей и выбраны признаки кластеризации университетов, отражающие научную квалификацию преподавателей. Методика апробирована на химических факультетах государственных университетов России и естественнонаучных факультетах государственных университетов Сибирского федерального округа;

· разработана методика статистического исследования квалификации преподавателей технических университетов. Предложено дополнительно к изучению цитируемости публикаций анализировать патентную активность преподавателей и дифференцировать расчет показателей в зависимости от степени интеграции объекта наблюдения с научно-исследовательскими центрами. Для исследования патентной активности заявлена авторская система показателей и новые организационные формы наблюдения: патентные базы данных. Методика апробирована на технических университетах Сибирского федерального округа;

· статистически обоснована достоверность и достаточность информации, размещенной в информационной сети университетов, для расчета индекса цитируемости научных публикаций;

· разработана методика потребительского мониторинга, которая отличается от маркетинговых исследований, широко используемых российскими вузами, тем, что предполагает периодическое массовое изучение удовлетворенности потребителей образовательных услуг, сопоставление полученных результатов с требованиями и ожиданиями, выявление тенденций их изменения с целью принятия управленческих решений.

Теоретическое значение диссертационной работы заключается в разработке методологии статистического исследования качества высшего образования, основанной на объективной информации, обеспечивающей независимость оценки. Новым для теории статистики являются предложенные автором организационные формы статистического наблюдения, системы статистических показателей научной квалификации, патентной активности преподавателей университетов, удовлетворенности и конкурентоспособности выпускников, а также группировки и классификации.

Практическая значимость исследования определяется возможностью использования полученных результатов для анализа качества вузовского образования на любых уровнях: вузовском, региональном и федеральном. В настоящее время в деятельности центра менеджмента качества Сибирского университета потребительской кооперации используются методики потребительского мониторинга и отбора информативных показателей рейтинговой оценки кафедр. Методика исследования квалификации преподавателей применяется в Новосибирском государственном университете. Результаты исследования квалификации преподавателей университетов Сибирского федерального округа востребованы администрацией Новосибирской области и департаментом по науке и образованию исполнительного комитета межрегиональной ассоциации «Сибирское соглашение».

Апробация и внедрение результатов исследования осуществлялись по следующим направлениям: в деятельности университетов, связанной с менеджментом качества, и деятельности региональных органов власти в области оценки качества вузовского образования.

Результаты диссертационного исследования внедрены и используются: Сибирским университетом потребительской кооперации (справка об использовании результатов диссертационного исследования от 25.06.2009 № 16-947), Новосибирским государственным университетом (справка об использовании результатов диссертационного исследования от 25.06.2009 № 40-01/150), Благовещенским государственным педагогическим университетом (справка об использовании результатов диссертационного исследования от 10.08.2009 № 479), Благовещенским филиалом Московской академии предпринимательства (справка об использовании результатов диссертационного исследования от 17.08.2009 № 01-14/250), департаментом по науке и образованию исполнительного комитета межрегиональной ассоциации «Сибирское соглашение» (акт о внедрении от 27.08.2009 № 01-29).

Результаты обсуждались на международных, всероссийских и региональных научных конференциях, в том числе «Высшее профессиональное образование: традиции и инновации» (Кемерово, 2009 г.), «Образование и общество» (Москва, 2009 г.), «Стратегии и инструменты управления экономикой: отраслевой и региональный аспект» (Санкт-Петербург, 2008, 2010 гг.), «Внутривузовские системы обеспечения качества подготовки специалистов» (Красноярск, 2003, 2004, 2005, 2006 гг.), «Проблемы обеспечения качества университетского образования» (Кемерово, 2004 г.), «Образование в новом тысячелетии: опыт, проблемы и перспективы развития» (Новосибирск, 2003 г.).

Научные публикации. Основные теоретические и методологические результаты исследования нашли отражение в 25 опубликованных работах общим объемом 103,7 п.л. (в т.ч. авторские - 23,2 п.л.), из них 8 статей - в ведущих рецензируемых журналах, рекомендованных Высшей аттестационной комиссией.

Объем и структура диссертации. Работа состоит из введения, пяти глав, заключения, библиографического списка, включающего 304 наименования, 40 приложений, содержит 305 страниц основного текста, 62 таблицы, 23 рисунка. Логика исследования представлена на рис. 1.

Во введении обоснована актуальность диссертационного исследования, сформулированы его цель и задачи, даны характеристики объекта и предмета исследования, представлены основные результаты, обладающие научной новизной, отмечена теоретическая и практическая значимость работы.

В первой главе «Теоретические основы статистического исследования качества вузовского образования» проведена систематизация определений понятия «качество образования» и подходов к его оценке, выявлены проблемы статистического подхода, разработана концепция.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Рис. 1. Логика диссертационного исследования

Размещено на http://www.allbest.ru/

Во второй главе «Российский и зарубежный опыт оценки качества подготовки специалистов в вузах» сделан сравнительный анализ аккредтационных требоаний к качеству образования в России и США, рассмотрены национальные и международные рейтинговые модели, используемые в высшем образовании, представлено мнение российских потребителей о критериях качества высшего образования.

В третьей главе «Методология статистического исследования качества вузовского образования» обоснована возможность исследования качества образования с помощью системы информативных показателей, предложена система статистических показателей качества вузовского образования и приведены методики их оценки и анализа.

В четвертой главе «Статистическое исследование квалификации преподавателей государственных классических и технических университетов» представлены результаты исследования научной квалификации преподавателей университетов Сибирского федерального округа и ведущих вузов России, статистически обоснована возможность использования для этой цели информации, размещенной на WEB-сайтах университетов.

В пятой главе «Статистическое исследование востребованности выпускников и удовлетворенности потребителей качеством вузовского образования» приведены результаты исследования востребованности, удовлетворенности и конкурентоспособности выпускников трех вузов г. Новосибирска, определена степень доверия к мнению респондентов.

II. ОСНОВНЫЕ ПОЛОЖЕНИЯ, ВЫНОСИМЫЕ НА ЗАЩИТУ

1. Уточнение определения «качество образования», формирование концепции исследования

Анализ законодательных актов, регламентирующих деятельность вузов, и современной экономической литературы, посвященной вопросам качества образования, позволил установить, что существуют педагогический, социологический и управленческий подходы к его оценке. Наиболее полно разработан управленческий подход. Основные его характеристики систематизированы автором. С позиции внешней оценки фрагмент систематизации представлен в таблице 1.

Статистической наукой качество образования не исследуется. Однако статистические методы сбора и обработки информации используются для оценки показателей деятельности образовательных учреждений. Результаты отражаются в официальных изданиях Росстата и являются важным источником информации для измерения качества образования на организационном и институциональном уровнях.

Таблица 1

Основные характеристики управленческого подхода к оценке качества вузовского образования (внешняя оценка)

Уровень

Объект

Субъект

Методы и подходы

Институциональный

Система образования как отрасль экономики

1. Министерство экономического развития РФ

2. Федеральная служба государственной статистики

3. Научно-исследова-тельские институты РАН

1. Оценка экономичности и эффективности использования ресурсов в отраслях экономики за счет внедрения научно-технических разработок, созданных в сфере образования

2. Оценка прироста ВВП за счет повышения образовательного уровня работников, занятых во всех отраслях

3. Оценка социальной эффективности (результативности) образования

Организационный

Образовательное учреждение

1. Минобрнауки РФ

2. Аккредитационные центры

3. Рейтинговые аген- тства

4. Работодатели

5. Выпускники

6. Студенты

1. Государственная аккредитация

2. Общественная аккредитация

3. Рейтингование вузов

4. Субъективная оценка потребителей

Индивидуальный

1. Студент

2. Выпускник

Работодатели

Субъективная оценка удовлетворенности работодателя уровнем образования, полученным работником

Проводимая в настоящее время работа на федеральном уровне по совершенствованию мониторинга и статистики образования не лишена, по мнению автора, следующих недостатков: 1) применяются в основном качественные оценки образования; 2) программы наблюдения громоздки; 3) собранная информация необъективна; 4) российские и зарубежные показатели, используемые для статистического исследования рынка образовательных услуг, несопоставимы. С целью устранения недостатков и разработки основ статистического подхода к исследованию качества высшего образования автором:

· проведен анализ существующих определений понятия «качество образования», который выявил их общие характеристики: многоаспектность, многокритериальность, многосубъектность, многоуровневость, системность и статичность. В то же время качество образования - это динамическое понятие, отражающее соответствие результата образовательной деятельности долгосрочным целям личности и общества. Понимание этого позволило автору уточнить статистическое определение качества образования. Под качеством образования следует понимать количественную характеристику совокупности показателей условий обучения и результатов образовательной деятельности, состоящих в привитии обучаемым необходимых знаний, умений и навыков, соответствующих современным требованиям науки и экономики, а также формирующих у обучаемых способность учиться всю жизнь;

· определены принципы исследования. Прежде всего, общенаучные принципы: объективность, причинность, истинность, воспроизводимость, теоретичность, системность и критичность, а также частные, в основе которых Берлинские принципы ранжирования учебных заведений: альтернативность, ясность, многовариантность, валидность, достоверность, сопоставимость, стабильность. В соответствии с гипотезой и в силу целесообразности применения индуктивного подхода к исследованию к частным принципам, по мнению автора, также отнесены: информативность, доступность, надежность и адекватность;

· сформулированы методологические положения, лежащие в основе формирования системы статистических показателей качества высшего образования: 1) заимствование показателей, используемых нестатистическими подходами, прежде всего управленческого подхода к оценке качества образования на организационном уровне; 2) использование нетрадиционных для статистической науки организационных форм наблюдения; 3) включение в систему показателей условий и результатов образовательной деятельности.

Все это позволило автору сформировать концепцию исследования, которая состоит в обосновании возможности использования для статистического наблюдения за качеством высшего образования показателей управленческого подхода, удовлетворяющих вышеуказанным принципам, основанным на информации, обеспечивающей независимость оценки и соответствие международным требованиям.

2. Обоснование наиболее значимых показателей оценки качества вузовского образования

В соответствии с системным подходом, предполагающим, что качество образования состоит из качества условий, процесса и конечного результата, автором проведена группировка показателей и критериев, используемых на организационном уровне для оценки качества вузовского образования, фрагмент которой представлен в таблице 2.

Проведенное исследование позволило сделать вывод, что наиболее часто в зарубежных национальных рейтингах встречаются показатели и критерии, оценивающие качество квалификации преподавателей и конечных результатов деятельности вузов. В рейтингах ведущих университетов мира их совокупный удельный вес составляет: в британском (QS-THES) - 70 %, российском («РейтОР») - 40, шанхайском (ARWU) - 90, тайваньском - 100 %. В отличие от зарубежных в российских национальных рейтингах и аккредитационных системах этим группам показателей уделяется не столь значительное внимание. В то же время практически во всех вузовских рейтингах суммарный удельный вес показателей кадрового и научного потенциала составляет более 50 %.

Таблица 2

Значимость показателей и критериев российских и некоторых зарубежных подходов, используемых для оценки качества образования, %

Вид аккредитации, рейтингов

Группы показателей качества образования

Качество условий

Качестсво про-цесса

Качество конечного результата

Всего

В том числе квалификации преподавателей

Всего

В том числе деятельности

научной

образова-тельной

Российские рейтинги и критерии государственной аккредитации

Рейтинг Минобрнауки

55

35

-

45

26

12

Государственная аккредитация

46

13

25

29

17

8

Рейтинг международной информационной группы «Интерфакс» и радиостанции «Эхо Москвы»

17

2

42

41

12

26

Зарубежные национальные рейтинги

The Times (Великобритания)

64

37

36

-

-

U.S. News (США)

26

3

39

25

Melbourne Institute (Австралия)

51

40

41

8

Perspektywy (Польша)

43

23

2

50

Рейтинги ведущих университетов мира

ARWU (Шанхайский рейтинг)

50

40

-

50

50

-

QS-THES (Великобритания)

5

-

25

70

20

50

Тайваньский рейтинг

-

-

-

100

100

-

Рейтинг независимого рейтингового агентства «РейтОР» (Россия)

62

20

10

28

20

-

В изученных рейтингах нет четкого разделения между показателями квалификации преподавателей и результатами научной деятельности, что позволило автору объединить их в одну группу - показатели научной квалификации преподавателей. Важность и значимость научной квалификации преподавателей для подготовки высококвалифицированных специалистов подтверждает мнение 43,6 % старшекурсников российских вузов без опыта работы и 54,2 % старшекурсников с опытом работы, опрошенных в 2006 г. агентством «РейтОР». 42,4 % старшекурсников и 50,9 % преподавателей качество образования определяют прежде всего возможностью выпускника трудоустроиться после окончания учебного заведения и развитием его карьеры.

Таким образом, для оценки качества вузовского образования необходимо использовать информативные показатели научной квалификации преподавателей и результатов образовательной деятельности университетов, которые в соответствии с целью и принципами исследования должны иметь ясную методику расчета, независимые источники информации и быть универсальными. Исследование выявило, что указанным требованиям соответствуют такие показатели, как:

· индекс цитируемости (число ссылок на работы данного ученого в научной литературе). Показатель давно используется в мире для определения индивидуального рейтинга ученых, работающих в области точных и естественных наук, рассчитывается почти во всех зарубежных рейтингах и, по мнению автора, может быть применим для оценки научной квалификации преподавателей российских государственных университетов;

· патентная активность (число созданных преподавателем патентов). Показатель редко используется в рейтинговых моделях. Однако, по мнению автора, он может характеризовать квалификацию преподавателей в области прикладных исследований, поскольку их результаты, как правило, находят свое выражение в патентах. В связи с этим, расчет патентной активности необходим для оценки квалификации преподавателей технических университетов.

Статистическими источниками информации для расчета указанных показателей служат наукометрические и патентные базы данных, в которых сконцентрирована информация о научных публикациях и патентах. В настоящее время эти базы данных не используются Росстатом. Тем не менее доступность и объективность позволяют рассматривать их в качестве новых организационных форм статистического наблюдения;

· востребованность выпускников. Для объективности результатов расчета показателя необходима информация, исходящая от работодателей или выпускников после окончания университета, для получения которой следует проводить специально организованное наблюдение;

· удовлетворенность, прежде всего, работодателей и выпускников качеством образования. В силу субъективности данный показатель не обладает требуемой надежностью для межвузовского сопоставления.

На основе указанных показателей составлена модель интегральной оценки качества образования ()

,

где - индекс цитируемости научных работ;

- патентная активность преподавателей;

- востребованность выпускников;

- удовлетворенность выпускников (или работодателей) качеством обучения;

,,, - весовые коэффициенты.

Первые два показателя модели характеризуют и квалификацию преподавателей, и результаты их научной деятельности, последние - результаты образовательной деятельности.

3. Методика формирования системы статистических информативных показателей рейтинговой оценки кафедр университета

Проведенный обзор существующих рейтинговых методик выявил, что их составители, стремясь учесть все факторы, влияющие на деятельность кафедр, зачастую включают в них дублирующие друг друга показатели. Это приводит к усложнению процедуры оценки и получению статистически недостоверных результатов.

Чтобы избавиться от этих недостатков, автором предложено использовать метод решения «обратных» задач: вначале эксперты определяют рейтинги (Y) оцениваемых объектов, затем формируют набор показателей (N). Получается матрица размером M*(N+1), состоящая из М объектов и N+1 показателей, один из которых - экспертный рейтинг. Применив к данной матрице методы распознавания образов или регрессионный анализ, в ней можно обнаружить скрытые закономерности между показателями анализируемых объектов и их рейтингами. В результате выясняется, что для достижения экспертного рейтинга нужно измерять не все N показатели, а лишь некоторое их наиболее информативное подмножество n<N. Для выбранных информативных показателей автоматически определяется их значимость.

Апробация методики отбора информативных показателей проведена в Сибирском университете потребительской кооперации в 2004 г. Выбор объекта исследования обусловлен наличием исчерпывающей информации о деятельности кафедр и возможностью проведения экспертных опросов. В эксперименте участвовало 17 кафедр. Для рейтинга кафедр предлагалось использовать 32 показателя. В результате их анализа методом одного, двух и трех ближайших соседей получена информативная выборка из пяти показателей. Дальнейшее увеличение числа показателей не улучшало, а даже ухудшало качество предсказания рейтинга (табл. 3).

Таблица 3

Результаты выбора показателей рейтинга кафедр Сибирского университета потребительской кооперации в 2004 г. методом трех ближайших соседей

Количество

показателей (n)

Среднее отклонение от рейтинга,

предсказанного экспертами

Номера показателей

в наилучшей выборке

1

3,047

24

2

2,547

4, 13

3

2,324

10, 16, 24

4

2,206

1, 10, 16, 24

5

1,806

10, 14, 16, 21, 24

6

1,806

10, 14, 16, 17, 21, 24

7

1,924

9, 10, 14, 16, 17, 21, 24

8

1,835

2, 5, 9, 10, 14, 16, 21, 24

9

1,835

2, 5, 9, 10, 14, 16, 17, 21, 24

Примечание. Наименование информативных показателей: 10 - обеспеченность дисциплин собственными методическими разработками, %; 14 - проведение мероприятий по внеучебной работе по кафедре в расчете на одного преподавателя; 16 - опубликовано статей и тезисов в научно-методических журналах и сборниках трудов одним преподавателем; 21 - число аспирантов, закрепленных за кафедрой, в расчете на одного преподавателя с ученой степенью; 24 - удельный вес остепененных преподавателей, членов советов.

Для оценки надежности использования пяти информативных показателей рассчитан рейтинг кафедр университета по трем наиболее часто используемым для этих целей формулам (табл. 4).

Таблица 4

Коэффициенты корреляции между рейтингами кафедр Сибирского университета потребительской кооперации, рассчитанными по 32 и 5 показателям в 2004 г.

Формула расчета рейтинга

Коэффициент корреляции

0,751

0,759

0,747

Примечание. Rj - рейтинг j-й кафедры; ai - вес i-го показателя (ошибка прогноза рейтинга при удалении i-го показателя из информативной выборки); zij - значение i-го стандартизированного показателя j-й кафедры.

Коэффициенты парной корреляции между значениями рейтинга, рассчитанного по 32 и 5 показателям, подтвердили целесообразность выбора информативных показателей, использование которых поможет получить достаточно надежные значения рейтинга кафедр.

4. Методика статистического исследования научной квалификации преподавателей государственных классических университетов и ее апробация

Анализ отечественной и зарубежной научной литературы, посвященной оценке квалификации преподавателей и рейтинговым моделям в образовании, показал, что до 2006 г. (начало проведения автором систематического исследования квалификации преподавателей российских университетов) ни один университет постсоветского пространства не проводил подобной работы. В связи с этим, на основе зарубежного опыта автором составлена и апробирована методика статистического исследования научной квалификации преподавателей классических университетов, предполагающая проведение независимого скрининга всех публикаций и анализа их цитируемости. Методика содержит пять этапов.

Первый этап - выбор метода расчета показателя цитируемости. Наиболее простым и ясным является индекс цитируемости.

Второй этап - выбор информационной базы для проведения исследования. Для исследования выбрана наукометрическая база данных компании Thomson Reuters (бывшего Института научной информации США - Institute of Science Information (ISI)), поскольку она создана в 1963 г. и до 2005 г. являлась основным наукометрическим инструментом для определения цитируемости научных работ.

Третий этап - выбор объекта и постановка задач исследования. В качестве объекта исследования определены: 1) химические факультеты государственных университетов России - выбор обусловлен тем, что в 2006 г. наиболее полная информация о профессорско-педагогическом составе находилась на сайтах этих факультетов; 2) естественнонаучные факультеты государственных университетов Сибирского федерального округа - отобраны потому, что на сайте ISI содержится информация о цитировании публикаций в основном по естественным наукам; 3) Новосибирский государственный университет - попал в выборку, имея достоверную и исчерпывающую информацию о списочном составе всех кафедр университета на начало 2006/2007 учебного года.

Основная задача статистического исследования состояла в необходимости доказательства, что для оценки научной квалификации преподавателей государственных университетов можно использовать показатели, базирующиеся на оценке цитируемости научных публикаций, и для этого достаточно иметь наукометрическую базу данных и список преподавателей, размещенный на WEB-сайтах университетов.

Четвертый этап - сбор информации. Статистическое наблюдение состояло в сборе информации, во-первых, с WEB-сайтов университетов о профессорско-преподавательском составе анализируемых кафедр, во-вторых, с сайта ISI. Сбор информации проведен в 2006 г. по каждому преподавателю отдельно. Всего исследованы публикации 5957 преподавателей. Скрининг публикаций на сайте ISI проведен с 1991 по 2006 гг. По каждому сотруднику собраны следующие сведения: число работ; число ссылок на все работы - индекс цитируемости; максимальное число ссылок на одну работу. Высокое значение последнего показателя характеризует, по мнению автора, наличие в вузе научных школ. На их основе автором предложены и рассчитаны следующие показатели научной квалификации преподавателей: 1) процент преподавателей, публикации которых можно найти в ISI - характеризует долю преподавателей, способных создавать работы, интересные мировому научному сообществу; 2) среднее число ссылок на одну работу (индекс цитируемости средней публикации) - позволяет сравнивать научную продуктивность исследователей разных университетов; 3) среднее число ссылок на одного преподавателя (средний индекс цитируемости преподавателя) - показывает, насколько востребованы исследования среднего преподавателя университета; 4) среднее число работ на одного преподавателя - аналогичен показателям государственной аккредитации, характеризует продуктивность, но не научную квалификацию преподавателя.

Пятый этап - сводка, группировка и анализ собранной информации. Информация сгруппирована по кафедрам и факультетам и обобщена по каждому университету. Кроме того, для Новосибирского государственного университета проведена группировка по категориям сотрудников.

Главные результаты статистического исследования научной квалификации преподавателей состоят в следующем:

1. Основным показателем, характеризующим научную квалификацию преподавателей, является средний индекс цитируемости публикации. Об этом свидетельствуют, например, результаты исследования научной квалификации преподавателей химических факультетов российских университетов (табл. 5). Заметим, что по показателю «число работ на одного преподавателя» Воронежский государственный университет занимает четвертое место. В то же время по числу ссылок на одного преподавателя - только шестое. По числу ссылок на одну публикацию этот вуз далеко отстает от Новосибирского, Московского, Дальневосточного и Санкт-Петербургского университетов. Таким образом, несмотря на то, что ведущие преподаватели Воронежского университета публикуют достаточное количество научных работ, они не представляют интереса для научного сообщества.

Таблица 5

Результаты исследования научной квалификации преподавателей химических факультетов классических университетов России в 2006 г. (по данным ISI 1991-2006 гг.)

Универси-теты1

Число публикаций

Число ссылок

Максимальное число ссылок

Число ссылок на одну публикацию

Численность преподавателей (на сайте университета), чел.

Процент преподавателей, имеющих публикации

Число ссылок на одного преподавателя

Число публикаций на одного преподавателя

МГУ

17315

74797

759

4,3

549

95,8

136,2

31,5

СПбГУ

4930

15037

245

3,1

244

94,3

61,6

20,2

ТГУ

402

273

15

0,7

43

86,1

6,4

9,4

КГУ

2018

4822

54

2,4

57

96,5

84,6

35,4

КБГУ

111

78

25

0,7

60

40,0

1,3

1,9

ННГУ

446

380

14

0,9

83

59,0

4,6

5,4

СГУ

660

1060

30

1,6

68

86,8

15,6

9,7

ТюмГУ

153

90

5

0,6

30

70,0

3,0

5,1

ВГУ 2

589

475

28

0,8

21

100,0

22,6

28,1

ДвГУ 3

548

2104

48

3,82

42

88,1

50,1

13,5

СтГУ

50

132

13

2,6

23

17,4

5,7

2,2

БГУ

982

1019

17

1,0

56

89,3

18,2

17,5

КубГУ

499

841

51

1,7

45

88,9

18,7

11,1

НГУ

4263

19846

125

4,7

144

97,2

137,8

29,6

1 Государственные университеты: Московский (МГУ), Санкт-Петербургский (СПбГУ), Томский (ТГУ), Казанский (КГУ), Кабардино-Балкарский (КБГУ), Нижегородский (ННГУ), Саратовский (СГУ), Тюменский (ТюмГУ), Воронежский (ВГУ), Дальневосточный (ДвГУ), Ставропольский (СтГУ), Башкирский (БГУ), Кубанский (КубГУ), Новосибирский (НГУ). Исследованию подлежали преподаватели университетов, занявшие в рейтинге Минобрнауки РФ 2005 г. 1-26 место.

2 На сайте университета указаны только ведущие преподаватели.

3 Число ссылок на одну работу рассчитано с учетом цитируемости преподавателей кафедры биоорганической химии и биотехнологии.

2. Для группировки классических университетов по уровню научной квалификации преподавателей целесообразно использовать два показателя: индекс цитируемости публикации и процент преподавателей, имеющих публикации. Так, по этим показателям геолого-географические факультеты государственных университетов Сибирского федерального округа (рис. 2) делятся на три кластера: 1) Новосибирский государственный университет, где 84,4 % преподавателей имеют публикации в ведущих зарубежных изданиях, индекс цитируемости публикаций - 2,7; 2) Алтайский, Томский, Иркутский и Тывинский государственные университеты, где до 25 % преподавателей публикуют работы, интересные мировому научному сообществу, индекс цитируемости работ от 2 до 2,9; 3) Читинский университет, преподаватели которого имеют работы с нулевой цитируемостью и Горно-Алтайский университет, ведущие преподаватели которого не публикуют результаты исследований в зарубежных журналах.

Государственные университеты: Читинский (ЧитГУ), Горно-Алтайский (ГАГУ), Алтайский (АлтГУ), Томский (ТГУ), Иркутский (ИГУ), Тывинский (ТывГУ), Новосибирский (НГУ)

Рис. 2. Группировка геолого-географических факультетов государственных университетов Сибирского федерального округа по индексу цитируемости публикации и проценту преподавателей, имеющих публикации

Введение в число группировочных признаков других показателей научной квалификации преподавателей не улучшает, а в некоторых случаях ухудшает группировку, приводит к объединению в одну группу всех государственных университетов Сибирского федерального округа, кроме Новосибирского.

3. Научный потенциал преподавателей университетов неодинаков. Среди химических факультетов классических университетов России высоким научным потенциалом обладают преподаватели Новосибирского, Московского, Дальневосточного и Санкт-Петербургского (индекс цитируемости - от 4,7 до 3,1). Среди естественнонаучных факультетов государственных университетов Сибирского федерального округа - преподаватели Новосибирского университета (7,0). В Новосибирском университете наибольшим потенциалом обладают преподаватели естественнонаучных факультетов (7,0), а также почасовики и совместители (6,9), основным местом работы для которых являются институты Сибирского отделения РАН, что обеспечивает высокий уровень преподавания и подготовки востребованных специалистов, прежде всего естественных наук. Справедливость данного утверждения подтверждают результаты исследования востребованности выпускников факультета естественных наук. В течение первого года после окончания университета по специальности устраиваются в среднем 92 % выпускников, в том числе по специальностям: «Химия» - 90,2 % (табл. 6), «Биология» - 92,7, «Экология и природопользование» - 97,8 %. Средняя ошибка по всем специальностям составляет 0,8 процентного пункта (с вероятностью 0,954).

качество образование рейтинговый университет

Таблица 6

Трудоустройство выпускников

Новосибирского государственного университета специальности «Химия» с 1991 по 2004 гг.

Год выпуска

Процент трудоустроенных выпускников по специальности (с вероятностью 0,954)

Всего

В том числе за границей

в течение первого года после выпуска

в настоящее время

в течение первого года после выпуска

в настоящее время

1991

90,6 ± 3,8

78,1 ± 5,4

12,5 ± 4,3

15,6 ± 4,7

1995

82,6 ± 5,4

82,6 ± 5,4

13,0 ± 4,8

26,1 ± 6,2

2000

94,4 ± 4,6

94,4 ± 4,6

16,7 ± 7,5

27,8 ± 9,0

2004

87,5 ± 1,9

81,3 ± 2,3

2,1 ± 0,8

4,2 ± 1,2

Примечание. Опрос проведен в 2006 г.; опрошено в среднем 87 % выпускников 1991- 2004 годов выпуска.

4. Низкий уровень цитируемости научных работ преподавателей гуманитарных факультетов, рассчитанный по данным наукометрической базы ISI, не означает низкий уровень их научной квалификации. Для оценки цитируемости необходимо воспользоваться другой наукометрической базой.

Полученные результаты доказали возможность использования показателей цитируемости научных работ для оценки и анализа научной квалификации преподавателей российских классических университетов.

5. Методика статистического исследования квалификации преподавателей государственных технических университетов и ее апробация

Отсутствие зарубежной и отечественной практики исследования квалификации преподавателей технических университетов обусловило необходимость разработки авторской методики, которая включает четыре этапа.

Первый этап - выбор объекта и постановка задач исследования. Задача исследования заключалась в расчете двух показателей: индекса цитируемости научных публикаций и патентной активности, а также выбора наиболее значимого из них для объективной оценки квалификации преподавателей. В качестве объекта исследования выбран Новосибирский государственный технический университет. Выбор обусловлен наличием подробной информации о профессорско-преподавательском составе на WEB-сайте университета. Кроме того, проведен анализ квалификации преподавателей ряда кафедр государственных технических университетов Сибирского федерального округа.

Второй этап - выбор информационной базы для проведения исследования. Для скрининга патентов использованы патентные базы: 1) Федеральной службы по интеллектуальной собственности, патентам и товарным знакам «Роспатент». Недостатком базы является наличие информации только о российских патентах и только с 1994 г.; 2) евразийского патентного ведомства, где размещены российские и зарубежные патенты с момента их издания (т.е. до 1994 г.).

Третий этап - сбор информации. Основой анализа послужили WEB-сайты университетов, с которых собраны списки преподавателей технических факультетов. Исследование научного потенциала преподавателей проведено в соответствии с вышеописанной методикой. Информация о патентах и публикациях 1593 преподавателей собрана в 2008 г.

Четвертый этап - сводка, группировка и анализ собранной информации. По Новосибирскому государственному техническому университету собранная информация сгруппирована по кафедрам и факультетам, двум категориям сотрудников: штатным и совместителям, а также обобщена в целом по вузу. Для других технических вузов информация обобщена только по кафедрам, аналогичным Новосибирскому университету.

Авторская система показателей патентной активности, кроме объемного показателя числа созданных патентов, включает: 1) процент преподавателей, информацию о патентах которых можно найти в патентных базах - показывает долю преподавателей, способных находить практическое применение своим знаниям; 2) патентную активность (среднее число патентов на одного преподавателя) - характеризует среднюю профессиональную продуктивность преподавателя.

Результаты исследования квалификации преподавателей технических университетов позволили сформулировать следующие выводы:

1. Квалификация преподавателей складывается из двух составляющих: научного потенциала, учитывающего вклад ученого в мировую науку, и практического опыта, в основе которого результаты прикладных исследований.

2. Для анализа квалификации преподавателей технических университетов, расположенных вблизи научно-исследовательских центров, целесообразно проводить оценку и анализ цитируемости научных работ и патентной активности. К таким вузам относится Новосибирский государственный технический университет: 31 % преподавателей имеют публикации, информацию о которых можно найти на сайте ISI, и 34,2 % преподавателей выполняют прикладные исследования, приводящие к созданию патентов. Анализ публикаций и патентов отдельно по каждой группе преподавателей показал: научным потенциалом обладают в основном совместители (индекс цитируемости 6,5 против 1,2 у штатных преподавателей), а патентной активностью - обе категории преподавателей (2 патента имеет средний штатный преподаватель, 2,6 - совместитель).

3. Для оценки квалификации преподавателей технических университетов, отдаленных от научных центров, следует использовать только патентную активность. По кафедрам электрических основ электротехники такой анализ представлен в таблице 7. Значительная часть преподавателей каждого университета имеет патенты, чего нельзя сказать о научных публикациях.

Таблица 7

Оценка квалификации преподавателей кафедр электрических основ электротехники технических университетов Сибирского федерального округа в 2008 г.

Университет1

Процент преподавателей, имеющих патенты

Число патентов

на одного

преподавателя

Процент преподавателей,

имеющих публикации

(по данным ISI)

НГТУ

42,1

5,1

21,1

ОмГТУ

66,7

4,7

0,0

ТПУ

47,6


Подобные документы

  • Проблема качества как одна из самых приоритетных в экономике ведущих стран мира. История создания и цели Европейской организации по контролю качества. Члены ЕОКК. Основные административные органы. Программы подготовки аудиторов и специалистов по качеству.

    презентация [862,8 K], добавлен 10.06.2015

  • Сущность, функции и значение инновационных компаний в процессе модернизации экономики страны. Европейский опыт развитития инновационных компаний при ВУЗах. Пути повышения эффективности инновационной деятельности ВУЗов и компаний, создаваемых при ВУЗах.

    дипломная работа [365,2 K], добавлен 21.05.2013

  • Объективные и эвристические методы определения показателей качества. Статистические и комплексные методы контроля и оценки уровня качества продукции. Применение определенных средств испытаний. Повышение конкурентоспособности национального товара.

    реферат [28,1 K], добавлен 21.12.2015

  • Понятие качества продукции как экономической категории. Сущность и характеристика дифференциального, интегрального, экспертного, смешанного и комплексного метода оценки уровня качества продукции. Основные направления повышения качества продукции.

    курсовая работа [194,7 K], добавлен 02.11.2012

  • Изучение системы качества авиаремонтного предприятия. Процедура сертификации организаций и надзор за соблюдением установленных требований. Применение статистических методов при оценке функционирования системы качества и анализе надежности техники.

    курсовая работа [52,0 K], добавлен 15.08.2010

  • Показатели качества продукции, их особенности. Повышение эффективности качества продукции. Организация учета и оценки затрат на обеспечение качества. Формирование системы качества на ЗАО "Миасс Мебель". Предложения по повышению качества продукции.

    курсовая работа [65,5 K], добавлен 20.06.2009

  • Суть и значение качества продукции. Качество труда и качество продукции. Аспекты и показатели качества продукции. Понятие и функции управления качеством продукции. Методы оценки уровня качества продукции. Маркетинговая деятельность предприятия.

    курсовая работа [74,7 K], добавлен 24.09.2008

  • Комплексный анализ как база комплексной оценки эффективности бизнеса. Методика комплексной оценки эффективности хозяйственной деятельности. Динамика качественных показателей использования ресурсов. Методика сравнительной рейтинговой оценки эмитентов.

    курсовая работа [44,8 K], добавлен 12.12.2009

  • Уровни оценки эффективности расходов в здравоохранении. Система основных показателей здоровья населения. Понятие качества жизни страны. Бедность и концепции её определения в современных условиях. Качество высшего образования и особенности его измерения.

    презентация [501,1 K], добавлен 11.12.2014

  • Место налоговых проверок в системе налогового контроля, их классификация. Зарубежный опыт в их проведении. Планирование выездных проверок. Разработка механизма предпроверочного анализа. Системы критериев оценки специалистов Федеральной налоговой службы.

    курсовая работа [284,1 K], добавлен 16.09.2017

  • Организация статистического учета в РФ. Взаимодействие Госкомстата России с государственными организациями с целью формирования единого информационного пространства. Методика формирования каталога статистических показателей, применяемая Госкомстатом.

    курсовая работа [41,9 K], добавлен 06.10.2009

  • Определение роли государства в решение социально-экономических задач. Понятие термина "качество жизни". Модель постиндустриального общества. Уровень жизни населения. Стоимость жизни, потребительские цены, социальное обеспечение и свобода человека.

    реферат [65,6 K], добавлен 15.03.2011

  • Определение фактических значений показателей качества и их сопоставление с базовыми. Основные методы оценки уровня качества продукции (работ, услуг). Материальное, организационно-техническое и моральное стимулирование деятельности работников предприятия.

    курсовая работа [179,3 K], добавлен 14.01.2015

  • Класс и понятие качества. Система показателей качества. Конкурентоспособность продукции, сущность и методы ее определения. Факторы влияющие на качество продукции. Технология качества. Россия - сырьевой партнер для зарубежных стран.

    курсовая работа [386,1 K], добавлен 12.01.2004

  • Определение понятия качества продукции и система ее показателей. Назначение конкурентоспособности продукции. Нормы и стандарты, установленные государством. Методы оценки качества выпускаемой продукции и конкурентоспособности. Состав основных средств.

    курсовая работа [316,5 K], добавлен 29.04.2015

  • Цели, задачи и порядок анализа производства и продаж товаров. Обоснование формирования и оценки эффективности ассортиментных программ. Критерии оценки новых товаров и показателей их качества. Факторы и резервы увеличения объема производства и продаж.

    контрольная работа [144,8 K], добавлен 26.06.2011

  • Понятие оценки стоимости имущества, объекты оценки, виды оценочной стоимости. Законодательно-правовая основа, этапы проведения оценки имущества. Сущность подходов и методов оценки имущества. Преимущества в применении различных подходов к оценке имущества.

    курсовая работа [59,1 K], добавлен 19.07.2010

  • Обзор методов статистического обеспечения качества. Применение семи традиционных японских методов анализа качества. Разработка идеи статистического приемочного контроля. Основы и применение математического аппарата, используемого для статистики.

    методичка [58,3 K], добавлен 18.08.2009

  • Понятие и сущность оценки бизнеса, цели и субъекты оценки. Виды стоимости, определяемые при оценке бизнеса и основные подходы: затратный (имущественный), доходный, сравнительный (рыночный).Оценка гудвелла (деловой репутации) при кризисных условиях.

    курсовая работа [178,9 K], добавлен 26.12.2010

  • Методология статистики. Задачи, этапы и методы статистического исследования. Взаимосвязь показателей деятельности предприятия. Система статистических показателей. Абсолютные и относительные величины. Корреляция, понятия и варианты ее зависимости.

    контрольная работа [92,5 K], добавлен 05.10.2010

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.