Принципы оценки качества научных публикаций и построения рейтингов научных и научно-педагогических работников

Размещено на http://www.allbest.ru/

Принципы оценки качества научных публикаций и построения рейтингов научных и научно-педагогических работников

ЮРИЙ САВЕЛЬЕВ, доктор социологических наук,

кандидат философских наук, доцент кафедры методологии и методов социологических исследований факультета социологии,

Киевский национальный университет имени Тараса Шевченко

(01033, Киев, ул. Владимирская, 60)

Аннотация

ЮРИИ САВЕЛЬЕВ.

Принципы оценки качества научных публикаций и построения рейтингов научных и научно-педагогических работников.

Определены существующие ограничения подходов к оценке результативности научной работы и систем построения рейтингов научных и научно-педагогических работников. На основе 10 принципов Лейденского манифеста предложены основные правила системы оценки качества научных публикаций. Обосновывается, что такая система должна мотивировать добросовестных и эффективных исследователей в рамках отдельных дисциплин. Содержательная качественная оценка позволяет избежать излишней и обманчивой точности измерения и включает построение рейтинга по категориям эффективности, а не баллам, экспертную оценку и определение качественных уровней публикаций по их вкладу в соответствующую отрасль вместо формальных признаков. Подчеркивается необходимость учета основных высококачественных украиноязычных исследований и дисциплинарных форматов публикации результатов исследований как важных локальных форм знания, размеров авторских коллективов, а также продолжительности исследовательского и публикационного цикла. Предложенный подход поможет обеспечить системность и устойчивость оценки результатов научной работы и будет способствовать повышению ее эффективности в Украине.

Ключевые слова: научные публикации, оценка качества, исследование, наукометрия, рейтинг, методы

Анотація

ЮРІЙ САВЕЛЬЕВ.

Принципи оцінювання якості наукових публікацій і побудови рейтинґів наукових та науково-педагогічних працівників.

Визначено наявні обмеження підходів до оцінювання результативності наукової роботи і систем побудови рейтингів наукових та науково-педагогічних працівників. На засадах 10 принципів Лейденського маніфесту запропоновано головні правила системи оцінювання якості наукових публікацій. Обґрунтовано, що така система має мотивувати сумлінних та ефективних дослідників в межах окремих дисциплін. Змістовне якісне оцінювання дає змогу уникнути зайвої та оманливої точності вимірювання і включає побудову рейтингу за категоріями ефективності, а не балами, експертне оцінювання та визначення якісних рівнів публікацій за їхнім внеском до відповідної галузі замість формальних ознак. Наголос зроблено на необхідності врахування провідних високоякісних україномовних досліджень та дисциплінарних форматів оприлюднення результатів досліджень як важливих локальних форм знання, розмірів авторських колективів, а також тривалості дослідницького та публікаційного циклу. Запропонований підхід допоможе забезпечити системність та стійкість оцінювання результатів наукової роботи та сприятиме підвищенню її ефективності в Україні.

Ключові слова: наукові публікації, оцінка якості, дослідження, наукометрія, рейтинг, методи

Abstract

YURIY SAVELYEV, Doctor of Sciences in Sociology, Candidate of Sciences in Philosophy, Associate Professor at the Department of Methodology and Methods of Sociological Research, Faculty of Sociology, Taras Shevchenko National University of Kyiv (Volodymyrska St., 60, Kyiv, 01033).

Principles of assessing quality of academic publications and ranking of research and university teaching personnel.

The paper indicates existing limitations of approaches to the evaluation of the effectiveness of research output and current systems for ranking of scientists and university faculty members. Based on the 10 principles of the Leiden Manifesto, the author proposes essential rules of the quality assessment system of academic publications. The paper substantiates that such a system is aimed to motivate conscientious and efficient researchers within the scope of separate fields of study. Meaningful qualitative assessment avoids excessive and false precision of measurement and embraces ranking by performance categories rather than simple scores, peer review and qualitative levels of publications estimated by their contribution to the field instead of formal features. A particular emphasis is given on the need to take into account high quality leading studies published in Ukrainian and specific disciplinary formats for presenting research results as important local forms of knowledge, the size of authorship teams, as well as the duration of the research and publication cycle. The proposed approach may help to ensure the systematic and robust evaluation of research results and would facilitate the academic performance in Ukraine.

Keywords: academic publications, quality assessment, research performance, scientometrics, rankings, methods

Вступление

Украинские исследователи и преподаватели университетов в последние годы стали объектами оценки эффективности их научной работы (а также учебно-методической и иных видов работ, если речь идет о вузах). Результатом такой оценки, как правило, является составление рейтинга работников и подразделений, на основе которого принимаются административные решения. Это глобальная многолетняя тенденция, к которой теперь привыкают украинские ученые. Некоторые заведения в Украине ввели системы оценивания и рейтингов еще в начале 2000-х годов, другие -- только в последнее время.

Основная часть

Трудно отрицать, что системное оценивание эффективности научной работы, прежде всего с целью повышения и контроля качества научных публикаций, является необходимым инструментом развития науки и высшего образования в Украине. Впрочем, основной проблемой остается количественный и, зачастую, формальный характер такой оценки, что позволяет недобросовестным работникам имитировать те или иные показатели. Существующие в Украине подходы сводятся к приписыванию определенного количества баллов разным видам деятельности с дальнейшим взвешиванием и расчетами интегрального числового показателя. Другим, но тоже количественным методом является вычисление коэффициентов выполнения норматива по определенным направлениям работ с учетом нормы времени и суммарного коэффициента как соотношения выполненной нагрузки с запланированной [Мельничук та ін., 2004].

В рамках этих подходов проблема состоит в произвольном определении количества баллов или показателей нормативов, игнорировании дисциплинарных особенностей, формализации и бюрократизации творческой деятельности и т. п. И главное -- по сумме количественных показателей определяется индивидуальный ранг каждого работника. В результате сегодня типичными стали совместные общеуниверситетские рейтинги всех сотрудников и научных тем.

Наукометрические данные помогают быстро и без лишних усилий оценить результативность научной работы. Но валидность такой оценки чаще всего оказывается низкой. Соответственно решения, принимаемые на этом основании, будут неадекватными.

Именно поэтому ведущие мировые специалисты по наукометрии призывают быть осторожными с использованием количественных показателей и не злоупотреблять ими. Свои предостережения и рекомендации они изложили в так называемом Лейденском манифесте в виде 10 принципов [Hicks et al., 2015].

Опираясь на указанные принципы и развивая их, я предлагаю основные правила системы оценивания качества научных публикаций и рейтингования ученых.

1. Информирование и мотивация.

Назначение данной системы оценивания заключается в мотивации добросовестных и эффективных исследователей, а также в выявлении проблемных моментов и помощи тем работникам, которые с ними сталкиваются. В то же время эта система должна информировать ученых и ориентировать их на лучшие научные образцы и практики. Если вместо этого система ошибочно определяет приоритеты, дезориентирует и поощряет сомнительные или откровенно недобросовестные приемы, то это будет приводить лишь к ухудшению академической репутации украинских ученых в мире и способствовать дальнейшему отставанию отечественной науки.

2. Адекватность сравнения.

Оценку качества научных публикаций и построение рейтинга ученых нужно осуществлять исключительно в рамках отдельных дисциплин. Не могут быть эффективными и справедливыми сравнения исследователей, работающих в разных областях науки. Это положение созвучно шестому принципу Лейденского манифеста, призывающего к необходимости учитывать вариативность практик публикаций и цитирования в разных областях исследований. Поэтому составление общих рейтингов работников университетов и сравнение результативности исследовательской работы подразделений, относящихся к разным наукам, фундаментально ошибочно.

Если администрация намеревается оценить относительную эффективность подразделения, нужно использовать другие инструменты, в частности сравнивать его результаты с соответствующими показателями подразделений в рамках одной дисциплины, но в других заведениях. Сравнивать научную работу разных подразделений одного университета тоже можно, но для этого количественные данные следует превратить в качественные (см. об этом далее, пп. 3.1, 3.2).

Принцип разделенной и контекстуальной оценки распространяется и на журналы (их можно сравнивать только в пределах отдельных научно-тематических рубрик) и публикации ученых (если, например, рейтинг вычисляют для социологов, то следует учитывать лишь публикации в сфере социологии или содержательно смежных наук, а не химии или молекулярной биологии; с такими публикациями работник может конкурировать отдельно в рамках указанных дисциплин).

3. Содержательное качественное оценивание.

Первым принципом Лейденского манифеста является подчинение количественной (формальной) оценки содержательному качественному, в частности экспертному, оцениванию научной работы. Воплощение этого ключевого принципа сложно в силу высокой стоимости, трудности организации и более продолжительного времени качественного оценивания.

Для Украины также актуально отсутствие доверия к отечественным экспертам по многим наукам, которые в рамках специализированных ученых советов и других органов легитимируют многочисленные исследования с сомнительной новизной и обоснованностью научных результатов.

Поэтому возможное решение предполагает сочетание количественного и качественного подходов с постоянной калибровкой измерения, консультациями с экспертами в каждой отрасли, анализом данных и моделированием. Вместе с тем основанием для принятия решений относительно работников должно быть комплексное содержательное оценивание достижений и ограничений их работы (седьмой принцип Лейденского манифеста).

Какими могут быть практические шаги для реализации этого подхода?

1.1. Рейтинг по категориям, а не баллам. Необходимо трансформировать полученные числовые данные при составлении рейтингов в порядковую шкалу (качественные категории). Существующие практики заключаются в том, что для оценивания работника используются вычисленные числовые показатели и место в рейтинге. Но такие числовые данные создают иллюзию высокой точности оценки. В реальности же столь точная оценка не нужна, а ее валидность является низкой, поскольку содержит шум (стохастическую погрешность) и возможные систематические смещения.

Об этой проблеме речь идет в восьмом принципе Лейденского манифеста, где подчеркивается необходимость избегать излишней обманчивой точности показателей. Если работник А имеет на 2 или 3 позиции высший рейтинг, чем работник Б, то это воспринимается так, будто научная работа первого работника лучше. Впрочем, эта разница может находиться в пределах погрешности измерения. Аналогично это касается и оценивания журналов, если ориентироваться на числовые показатели импакт-фактора, SJR, SNIP и т. п. Будет ошибочным интерпретировать любые количественные различия этих индикаторов как значимую разницу в качестве изданий.

Рецепт решения этой проблемы известен и связан с использованием робастных мер разброса. Для ранжирования академических журналов на наукометрических платформах, как известно, применяется интерквартильный размах.

В случае построения рейтингов научных и научно-педагогических работников я предлагаю превращать числовые показатели их публикаций в качественные категории на основе следующих значений вариационного ряда:

- категория А (a > 90-й процентиль) -- лидеры дисциплины, внедряющие лучшие практики и получающие самые высокие результаты среди научных и научно-педагогических работников заведения определенной специальности (области науки);

- категория B (65-й процентиль < b < 90-й процентиль) -- относительно более успешные исследователи заведения, результативность которых существенно выше медианы показателей количества и качества публикаций сотрудников в рамках определенной дисциплины (области науки);

- категория C (35-й процентиль < c < 65-й процентиль) -- основная часть научных и научно-педагогических работников, эффективность работы которых типична для указанной дисциплины (области науки), то есть близка к медиане показателей количества и качества публикаций;

- категорияD (10-й процентиль < d < 35-й процентиль) -- относительно менее успешные научные и научно-педагогические работники, результативность которых существенно ниже медианы показателей количества и качества публикаций сотрудников в рамках определенной дисциплины (области науки) и которым нужно улучшать свою научную работу;

- категория E (е < 10-й процентиль) -- научные и научно-педагогические работники, имеющие серьезные проблемы с количеством и / или качеством публикаций результатов исследовательской работы и нуждающиеся в системных мерах для их решения.

Таким образом, числовые различия между работниками внутри каждой категории следует считать несущественными, поскольку они могут быть следствием погрешности измерения.

1.2. Обязательные качественные требования и экспертная оценка. Преобразование числовых данных в качественные категории на основе значений вариационного ряда отвечает восьмому принципу Лейденского манифеста (избегание ошибочной детализации и иллюзии точности оценки). Однако такой подход не в полной мере отвечает седьмому принципу в плане содержательного качественного оценивания работы ученого.

Проблему существующих систем рейтингования составляют те ситуации, когда показатели нечувствительны к противоречию между количеством и качеством публикаций. Например, в одном из украинских университетов одну статью в «наукометрических базах данных Scopus, Web of Science» оценивают в 50 баллов, тогда как одну статью «в других наукометрических базах данных» -- в 20 баллов. Таким образом, три статьи последней категории перевесят одну статью первой (замечу, что индексация издания на платформах Scopus или Web of Science не обязательно означает его качество, о чем речь пойдет ниже).

Поэтому разделение научных и научно-педагогических работников по категориям на основе значений вариационного ряда следует дополнять качественными признаками (требованиями).

Прежде всего это касается высших категорий А и В. К этим категориям нельзя относить тех исследователей, которые имеют публикации в так называемых хищнических журналах или изданиях с плохой репутацией. Публикация результатов даже качественного исследования в подобном издании может навредить научной репутации университета или исследовательской организации. Также основанием для отказа во включении в высшие категории могут быть иные случаи грубого нарушения академической добросовестности, в частности плагиат.

Решения по таким случаям должны принимать экспертные группы по каждой области науки. Несмотря на кризис доверия к научной экспертизе в Украине, невозможно изъять этот элемент из системы оценивания качества. Работа экспертных групп должна быть прозрачной, решения -- приниматься по четко определенным и понятным критериям и во взаимодействии с самими исследователями, которые проходят оценивание. То есть -- согласно четвертому и пятому принципам Лейденского манифеста.

В то же время ученые, которые согласно распределению количественных показателей претендуют на получение оценки категорий А и В, также должны опубликовать работы самого высокого и следующего за ним уровня качества, который подтверждается экспертной группой по дисциплине. Уровни качества публикаций должны коррелировать с существующими наукометрическими данными авторитетных международных баз и не противоречить суждению независимых, в том числе зарубежных, экспертов в соответствующей области. Например, для категории А условием качества может быть статья в журналах первого или второго квартиля наукометрических платформ Scopus или Web of Science, а для категории В -- статья в журнале не менее чем третьего квартиля.

1.3. Качественные уровни публикаций, а не формальные признаки. Для содержательного оценивания результатов исследований научных и научно-педагогических работников нужно определение качественных уровней изданий. Это чрезвычайно сложная задача, которую можно решить путем сочетания наукометрических показателей и экспертной оценки.

Ключевым моментом служит осознание того, что формальный статус изданий, который сегодня используется в нормативных документах МОН, а также большинства университетов и научных учреждений, -- включение в перечень «профессиональных», наличие ISSN, «присвоение каждому опубликованному материалу международного цифрового идентификатора DOI», статус «зарубежного издания», публикация в странах ЕС или ОЭСР (OECD), индексация в базах Scopus, Web of Science, Copernicus и других наукометрических или реферативных базах и т. п. -- все это не является признаком научного качества. Наоборот, ориентируясь на эти формальные требования, во многих странах функционируют тысячи подобного рода «хищнических» пузырей, приглашение к публикации в которых ежедневно получает каждый ученый. Поэтому нынешняя система оценивания научной работы в Украине лишь мотивирует ошибочные практики и приводит к еще большей отсталости страны.

Качество научной публикации отражается в ее вкладе (значимости, влиятельности) для соответствующей отрасли. Опосредованным количественным свидетельством этого влияния являются показатели цитирования, которые начали рассчитывать на основе индексации научных работ Институтом научной информации (ISI), известным сегодня как коммерческий сервис Web of Science. Совместно с другим коммерческим сервисом Scopus эти две наукометрические платформы стали наиболее авторитетными базами данных в плане цитирования.

Таким образом, ценной информацией о журнале является не сам факт его индексации в Scopus или Web of Science, а степень его влияния в дисциплине через показатель цитирования. Как отмечено в п. 3.1, для предотвращения ошибочной точности вместо числовых показателей (например, импакт-фактора) нужно использовать квартиль журнала в дисциплинарном рейтинге. Соответственно, квартиль издания в Scopus или Web of Science может быть предварительным ориентиром для определения качественных уровней научных публикаций.

Однако этот показатель не может быть единственным и исчерпывающим критерием качества. Комплекс таких критериев должна прозрачно определять экспертная группа по дисциплине (см. п. 3.2). В зависимости от специфики и задач исследования, целей и приоритетов отдельных научных групп, направлений, подразделений и заведений критерии могут модифицироваться для охвата других типов публикаций и разновидностей результатов научной работы (например, патентов).

Такой гибкий подход отвечает второму принципу Лейденского манифеста, касающемуся измерения результативности исследований в контексте поставленных целей. Однако уровни качества публикаций для разных отраслей науки должны оставаться соизмеримыми под углом зрения их (публикаций) значимости для каждой дисциплины.

4. Учет и справедливая оценка высококачественных публикаций на украинском языке и специфических дисциплинарных форматов.

Третий принцип Лейденского манифеста подчеркивает необходимость поддержки ведущих исследований, имеющих локальное значение или культурное влияние. В первую очередь, речь идет о публикациях на других языках, а не на английском, который доминирует в международных изданиях. Также это касается исследований местной проблематики, характерных для многих гуманитарных и социальных наук, в частности социологии. научная публикация рейтингование педагогический

Без сомнения, украинские социологи (так же, как их коллеги-естествоведы) должны стремиться попасть в самые лучшие в мире англоязычные журналы, которые находятся в первом или втором квартиле баз Scopus и Web of Science. Стратегической целью является международное признание украинских гуманитарных и социальных наук. Но при оценивании научной работы необходимо также учитывать высококачественные публикации в отечественных научных журналах-лидерах, ориентированных на общепринятые мировые стандарты публикаций.

Локальность может быть связана не только с языком, но и со спецификой определенных научных направлений. Например, авторитетный украиноведческий журнал «Harvard Ukrainian Studies», хоть и издается на английском в престижном университете, не индексируется ведущими наукометрическими платформами.

Также существуют специфические дисциплинарные форматы публикации научных результатов, которые трудно или невозможно оценить через упомянутые наукометрические показатели журналов: монографии, переводы, каталоги, отчеты и т. п. Уровни качества таких публикаций должна определять экспертная группа в соответствующей отрасли науки по содержательным, а не формальным признакам. Критерии и процедура должны быть прозрачными и аналогичными указанным в п. 3.3.

5. Системность оценивания.

Девятый принцип Лейденского манифеста привлекает внимание к необходимости учитывать влияние разнообразных факторов на научную работу и предусматривать системные последствия внедрения показателей и условий оценивания.

Это требование касается не только применения комплекса разных индикаторов и их кросс-верификации. По моему убеждению, для минимизации погрешности измерения качества научных публикаций и смещений в построении рейтинга ученых необходимо учитывать продолжительность исследовательского и публикационного цикла.

Время проведения исследований может варьировать и часто зависит от условий финансирования. Процесс публикации результатов исследований в авторитетных международных журналах может длиться 2-3, а иногда и больше лет. Это касается также реализации крупных международных проектов, подготовки монографий и т. п. Поэтому эффективнее выстраивать оценку научной работы на отчете не за 1 год, а за период предыдущих 3-5 лет. Такой подход поможет избежать флуктуаций и обеспечит системность и устойчивость оценивания.

Оценка личного вклада

Современная наука является коллективным трудом. Большинство публикаций готовятся в соавторстве. Специфика разных наук обусловливает иногда необходимость в гигантских исследовательских коллективах. Вместе с тем остаются ученые, работающие единолично. Проводить исследования, писать текст, общаться с редакторами и реагировать на замечания рецензентов легче, если это большая группа авторов, особенно когда среди них есть ведущие ученые мирового уровня, выполняющие роль своеобразных локомотивов. Это дает существенное конкурентное преимущество.

Содержательное оценивание со стороны экспертов личного вклада каждого из соавторов для всех публикаций -- задача нереалистичная. Однако нужно учитывать дополнительные усилия при помощи весового коэффициента единоличного авторства и применять дефляцию в случае больших авторских коллективов. Возможным подходом является использование коэффициента 1 для всех единоличных публикаций с постепенным уменьшением веса в соответствии с количеством соавторов (маленькие коллективы -- 0,9, средние -- 0,8, большие -- 0,7 и очень большие коллективы -- 0,6).

В завершение следует подчеркнуть: какой бы совершенной ни была система оценивания качества научной работы и рейтингования ученых, она всегда будет нуждаться в корректировке. Поэтому десятый принцип Лейденского манифеста указывает на необходимость ее постоянного пересмотра и уточнения. А главное -- эта система не должна навредить творческой научной деятельности.

Источники

1. Мельничук, Д. А., Ибатуллин, И. И., Шостак, А. В. (2004). Рейтинг субъектов деятельности Национального аграрного университета Украины. Университетское управление: практика и анализ, 3, 44-58.

2. Hicks, D. et al. (2015). Bibliometrics: the Leiden Manifesto for research metrics. [Hicks, D., Wouters, P., Waltman, L., De Rijcke, S., Rafols, I.] Nature, 520 (7548), 429-431.

1. Melnichuk, D. A., Ibatullin, I. I., Shostak, A. V. (2004). Rating of subjects of activity of the National Agrarian University of Ukraine. [In Russian]. University Management: Practice and Analysis, 3, 44-58. [=Мельничук 2004]

2. Hicks, D. et al. (2015). Bibliometrics: the Leiden Manifesto for research metrics. [Hicks, D., Wouters, P., Waltman, L., De Rijcke, S., Rafols, I.] Nature, 520 (7548), 429-431.

Размещено на Allbest.ru