Проблемы и перспективы использования индексов научного цитирования в оценке качества и эффективности научно-образовательной деятельности

Размещено на http://www.allbest.ru/

ФГОУ ВПО «Орловский государственный университет»

ПРОБЛЕМЫ И ПЕРСПЕКТИВЫ ИСПОЛЬЗОВАНИЯ ИНДЕКСОВ НАУЧНОГО ЦИТИРОВАНИЯ В ОЦЕНКЕ КАЧЕСТВА И ЭФФЕКТИВНОСТИ НАУЧНО-ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ

Садков В.Г. д.э.н., профессор, лауреат премии Президента РФ в области образования, заслуженный работник высшей школы, научный руководитель кафедры Государственное управление, инвестиции и финансы

Аронов Д.В. д.и.н., профессор, заведующий кафедрой «Теория и история государства и права»

Аронова С.А. д.э.н., доцент декан факультета экономики и управления

Машегов П.Н. д.э.н., профессор профессор кафедры прикладных экономических дисциплин

Аннотация

индексируемый база качество публикация

Проблемы и перспективы использования индексов научного цитирования в оценке качества и эффективности научно-образовательной деятельности

Садков В.Г., Аронов Д.В., Аронова С.А., Машегов П.Н.

Статья рассматривает проблему использования при оценке качества и эффективности труда научных и научно-педагогических работников системы российского высшего образования такого показателя, как количество публикаций, индексируемых в международных базах данных.

Ключевые слова: индексируемые базы данных, Scopus, Web of Science, научные статьи, рейтинг вуза

Annotation

Problems and prospects of science citation index in assessing the quality and efficiency of scientific and educational activities

Sadkov V.G., Aronov D.V., Aronova S.A., Mashegov P.N.

The article deals with the problem of when assessing the quality and efficiency of scientific and scientific-pedagogical employees of Russian higher education such a measure, as the number of publications indexed in the international databases.

Keywords: indexed database, Scopus, Web of Science, research papers, University ranking

К бумаге страстью занедужив,

писатель был мужик ледащий;

стонала тема: глубже, глубже,

а он был в силах только чаще. Губерман И. Гарики на каждый день. Том первый. Глава 9 [Электронный ресурс] // URL: http://guberman.lib.ru/gariki/1KD/01_09.htm Дата обращения: 24.04.2014 г.

Игорь Губерман

Проблема оценки качества и эффективности научно-образовательных сообществ и отдельных исследователей в настоящее время, несмотря на множество проектов ее решения, часть из которых Министерство образования и науки уже внедряет в практику, весьма далека от ее конструктивного разрешения. Известные попытки Министерства образования и науки по составлению рейтингов высших учебных заведений профессиональным сообществом неоднократно и резко критиковались. При этом разработчики спектра оценочных показателей - для рейтингования методологически неверно используют базовое понятие «эффективность», которое, строго говоря, должно являться относительной величиной, сопоставляющей результаты (количество и качество) научно-образовательной деятельности и затраты ресурсов, обеспечивающие достижение соответствующих результатов. В своих предшествующих работах мы неоднократно указывали на эти методологические ошибки, и предлагали свои решения по системному обоснованию спектров оценочных показателей деятельности высших учебных заведений. Садков В.Г., Аронов Д.В., Машегов П.Н. Рейтинг есть - проблемы остаются // Alma mater. 2006. № 9. С. 8-14; Садков В.Г., Голенков В.А., Брехова Т.Н., Вайдерова Т.Г., Степанов Ю.С., Машегов П.Н., Аронов Д.В. Управление качеством образования в регионах России. М.: Прогресс, 2007 и др. В рамках решения указанной общей проблемы отдельной весьма актуальной подпроблемой является предложение по применению индексов цитирования для оценки качества и эффективности работ научно-образовательных коллективов и отдельных представителей вузовских сообществ. Подчеркнем, что внедрение любых оценочных показателей в оценку деятельности подведомственных объектов со стороны вышерасположенной системы управления всегда приводит к тому, что объекты (в нашем случае научные и учебные учреждения) начинают «работать на показатели»! И, если эти показатели необъективно раскрывают деятельность объектов со стороны общества - все объекты подведомственной (или просто курируемой) системы начинают двигаться отнюдь не в позитивном направлении. Вместо прогресса проявляется регресс.

Вопросы оценки качества и эффективности труда ученых и научно-педагогического персонала всегда были в той или иной степени в числе тем, активно обсуждаемых в научной среде наверное с того момента, когда оплату труда ученого привязали к результатам его труда. Первое, что приходит в данном случае на память, так это знаменитая реплика Архимеда «Эврика», с которой он легендарно выскочил из ванной, спеша “повысить свой рейтинг” за выполнение «хоздоговорного» исследования в сфере борьбы с хищением средств в области госзакупок для нужд высшего руководства Сиракуз. Побочным продуктам НИР прикладного характера стала разработка в области фундаментальной науки, известная как закон Архимеда: «Тело впернутое в воду, выпирает на свободу, весом выпертой воды, телом, впернутым туды». Однако, опробованные ранее властью способы повышения качества научных исследований (как и требования по сокращению сроков выдачи на гора очередного научного открытия), вроде запирания алхимиков под крышей высокой башни или конструкторов в пресловутые «шарашки», в силу ряда объективных причин перешли в разряд справедливо критикуемых. Соответственно на повестку дня вышли вопросы поиска иных способов оценки количества, качества и эффективности научного труда. Успешный поиск таковых индикаторов в физиологии ученого достоверно был предпринят в практике НИИЧАВО, в котором «стоило сотруднику предаться хотя бы на час эгоистическим и инстинктивным действиям (а иногда даже просто мыслям), как он со страхом замечал, что пушок на его ушах становится гуще. Это было предупреждение». Впрочем, и с этим средством искали способы борьбы, те, кто ради сохранения известных благ, тщательно выбривал свои уши и зачастую изобретал удивительные средства для уничтожения волосяного покрова. Стругацкий А.Н., Стругацкий Б.Н. Понедельник начинается в субботу. Сказка для научных сотрудников младшего возраста [Электронный ресурс] // URL: http://www.etextlib.ru/Book/Details/909 Дата обращения: 15.05.2014 г.

В связи с известной сменой парадигмы социально-экономического развития российского социума - одним из концептуальных средств стало обращение к западному опыту, исходя из крайне упрощенно понимаемого принципа т.н. «ковбойского капитализма» См.: Герземанн О. Ковбойский капитализм. Европейские мифы и американская реальность. М.: ИРИСЭН, 2006.: «Если ты такой умный, то почему ты такой небогатый?» При этом четко прослеживается тенденция пренебрежения многообразием данного опыта, зачастую он сводится к англо-американской, точнее американо-английской модели, да и то ограниченной временными рамками и некоторыми вузами. Результатом некритической экстраполяции того, как «там у них» (причем, как правило, речь шла не о том, как «у них там на самом деле», а как там об этом говорят) стало заимствование как на макроуровне (пресловутая Болонская система, в которой Россия оказалась впереди планеты всей; грантовая система поддержки науки и т.д.), так и на уровне наукометрического инструментария (рейтинги, индексы цитирования и т.п.). Собственно, в заимствовании нет ничего постыдного, особенно если это отвечает национальным стратегическим целям страны, для которой данное заимствование предназначено. Благо, современная история дает позитивные примеры подражания: Китай, Сингапур, Япония, которая в XIX-ХХ вв. прошла этот путь едва ли не трижды. Другое дело, если речь идет о весьма специфическом характере копирования, которое разрушает имеющееся, не давая взамен ничего.

Каждое из этих заимствований заслуживает отдельного разговора и, само по себе, не является ни абсолютным злом, ни реализацией некоего замысла очередной антироссийской криптократии. Полагаем, что целесообразно, для отделения зерен от плевел, Евангелие от Матфея. Гл. 13. Ст. 24-30. а агнцев от козлищ, Евангелие от Матфея. Гл. 25. Ст. 31-46. проанализировать эффективность того или иного предлагаемого наукометрического инструментария. О недостатках и достоинствах наукометрических измерений за последнее время написано немало и в российской и зарубежной литературе. Достаточно привести пример недавнего скандала, когда в конце 2013 г. свежеиспеченный лауреат Нобелевской премии по медицине Рэнди Шекман, который работает в Калифорнийском университете, обвинил весьма известные журналы (Nature, Science и Cell) в том, что они препятствуют научному прогрессу и заставляют следовать трендам, которые могут привлечь больше цитат, и, следовательно, поднять импакт-фактор журналов. Нобелевский лауреат объявил войну журналам Nature и Science / Газета.ru [Электронный ресурс] // URL: http://www.gazeta.ru/science/2013/12/11_a_5796821.shtml Дата обращения: 7.05.2014 г. Как часто говорят экономисты (и не только): «существует три вида лжи - простая, наглая и статистика». В силу имеющегося опыта подготовки текстов международных грантов мы вынуждены отметить, что ученый прав. Часто финансирование выделяется в том случае, если собираешься писать на так называемую «модную тему» (в качестве таковой в настоящее время в области приоритета финансирования в европейских исследованиях по экономике, например, выделяются экологически чистые технологии производства сельскохозяйственной продукции).

В качестве альтернативы была выдвинута идея журналов открытого доступа, но и она не всегда эффективна. В прессе упоминается расследование биолога и журналиста Джона Боханнона, который отправил в 304 журнала псевдонаучные статьи с очевидными для специалиста грубейшими ошибками, и 157 журналов их приняли к публикации, выставив счёт на оплату. Журнал Science раскрыл теневую империю «мусорных» научных изданий / РИА-Наука [Электронный ресурс] // URL: http://ria.ru/studies/20131004/967734341.html Дата обращения: 7.05.2014 г. В публикациях немало ссылок на скандал 2005 г., связанный с принятием к публикации статьи, созданной компьютерной программой SCIgen.

Активное внедрение индекса цитирования в отечественной науке и в высшей школе как показателя эффективности деятельности ученых и научных и образовательных организаций началось с 2009 г., чему немало поспособствовали следующие документы: Приказ Минобрнауки РФ от 14.10.2009 № 406; Приказ Минздравсоцразвития РФ от 26.08.2010 № 738; Указ президента РФ «О мерах по реализации государственной политики в области образования и науки» от 7.05.2012. В последнем были обозначены следующие задачи: «увеличение к 2015 г. доли публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных «Сеть науки» (WEB of Science), до 2,44 %»; «вхождение к 2020 г. не менее пяти российских университетов в первую сотню ведущих мировых университетов согласно мировому рейтингу университетов». Далее стали активно внедряться мониторинги, дорожные карты и стандарты, в которых обязательно указывалось наличие публикаций у преподавателей высшей школы и научных работников, а в тех стандартах (так называемых ФГОС 3+), которые еще только находятся на этапе приема, еще и наличие числа публикаций в изданиях с цитированием в РИНЦ, Web of Sciense, Scopus.

Создатель первого индекса научного цитирования Ю. Гарфилд еще во время работы в библиотеке медицинского университета, занимаясь проблемой автоматизации в организации и поиске литературы, пришел к мысли, что ссылки можно использовать как дескрипторы, или ключевые, слова для индексирования. Позже он отстаивает эту идею на первом международном симпозиуме по машинным методам обработки научной литературы (Лондон, 1953), выступив со статьей «Подготовка печатных указателей литературы методом использования перфокарт», а в 1955 г. публикует свою первую ключевую работу в этой области «Индексы цитирования в науке» в журнале Science. Таким образом, первоначально задачи Гарфилда состояли в том, чтобы упорядочить массив научной литературы и облегчить ученым поиск релевантных публикаций по своей тематике. Ранее этот поиск осуществлялся по ключевым словам и темам исследований. Гарфилд стал первым, кто придумал использовать язык ссылок как особый информационный язык. Довольно скоро он обнаружил появление эффекта расширения эвристического потенциала созданного им инструмента, который способен открывать смысловую связь между идеями, и посвятил несколько статей этому вопросу. Жукова И.А. Индекс научного цитирования - трансформация практик применения (от инструмента библиографического поиска к инструменту оценивания) [Электронный ресурс] // URL: http://www.hse.ru/data/2013/02/05/1300689432/1Индексы цитирования_Жукова.pdf дата обращения: 7.05.2014 г.

Дотошный исследователь Ю. Гарфильд создал базу Web of Science в 1961 г. в рамках Института научной информации США. Позднее она была приобретена медиакорпорацией Thomson Reuters. Доступ к ней весьма недешев (материалы распространяются по подписке в 2-3 тысячи долларов США в год), как и к более поздней альтернативной базе Scopus (2004 г., издательский дом Elsevier). Вторая охватывает большее количество журналов, но три четверти журналов в данных базах совпадают. Обязательное требование к попаданию в базу - наличие во всех статьях журнала аннотаций и ключевых слов именно на английском языке. В Америке данные базы получили весьма широкое распространение при выдаче грантов, трудоустройстве. Специфичным является то, что создатель Web of Science Ю. Гарфильд сегодня активно протестует против использования его изобретения для управленческих целей. Но в борьбе с чиновниками от образования и науки, которым проще быстро ввести формальные показатели, чем понять содержание процесса, протесты ученых часто оказываются бесплодными.

Абсурдность ситуации заключается в том, что финансирование подобных затрат не предусмотрено сметными нормативами в вузах. Исключение составляют федеральные университеты и вузы, получившие статус научно-исследовательских. Однако общие требования к публикациям и индексу цитирования касаются всех научных работников и профессорско-преподавательского состава всех вузов Российской Федерации. Во многих европейских странах принято различать статус преподавателя, ведущего преимущественно учебную работу и исследователя. В нашей стране такое разграничение скорее исключение, чем правило (МГУ, СПбГУ, НГУ), но любая публикация - это не только затраты средств, но и затраты времени. При средней нагрузке в 800-900 часов в год, интенсивная научная деятельность, сопровождающаяся публикационной активностью, скорее нонсенс. Однако, если посмотреть на отчеты, то у нас не так уж мало работников вузов, которые за 10 и менее лет успевают опубликовать 300-400 работ, включая по 10-30 монографий по самым многообразным проблемам. Куда уж там лауреатам Нобелевских премий. Проблема часто в том, что большая часть «трудов» идет в соавторстве. Практически получается, что реально ни дня без страницы текста, не считая аудиторных занятий, подготовки к ним и прочих дел, без которых преподавательская стезя невозможна. Исследования ведутся, очевидно, в глубокой ночи, время на сон не предусмотрено.

Собственно предметом настоящего текста как раз и является проблема учета публикационной активности отечественных исследователей в индивидуальных и коллективных рейтингах в разрезе гуманитарных наук, к представителям которых в основном и относят себя авторы статьи. Разница по данному критерию хорошо заметна в документах министерств и ведомств, в чью сферу действия входит оценка, как отдельных ученых, так и научных коллективов. Если для представителей естественных и точных наук, техники и технологии, медицинских наук минимальное количество публикаций в индексируемых базах «Web of Sciense», «Scopus», «Europian Reference Index for Humanities» Последний индекс только для гуманитарных и социальных наук. определено в диапазоне от 3 до 5, то для социальных (психология, экономика и бизнес, педагогика, социология, право, политология, социальная и экономическая география, СМИ и массовая коммуникации) и гуманитарных (история и археология, языки и литература, философия, этика, религия, искусствоведение) наук, считается почему то, что достаточно одной публикации.

Подобная градация в рассуждении того кто займет какое место в очереди за грантовой поддержкой, с одной стороны, вроде бы позволяет работникам гуманитарного цеха обеспечить себе этот «прожиточный минимум», несмотря на весьма ограниченное (в масштабе отечественной науки), присутствие в указанных базах данных русскоязычных журналов.

Более детальный анализ показывает всю парадоксальность ситуации. Так, в базе Web of Sciense на философию приходится 156 журналов, две трети из которых издаются в США, Великобритании и Голландии, из российских на данный момент представлен только журнал «Вопросы философии», Аналогичная ситуация с иными гуманитарными и общественными науками. Нетрудно представить, если все философы России, даже овладев в необходимой степени английским языком, встанут в очередь в 156 журналов с отсевом публикаций до 90 %, то к какому сроку опубликуется последний из авторов. Чем-то это напоминает абсурдную ситуацию конца 80-х гг. ХХ в. с очередями за товарами длительного пользования, когда по подсчетам последний человек в очереди за холодильниками, например в городе Орле, должен был получить данное вожделенное благо только через 100 лет.

При этом нельзя не отметить, что в число немногочисленных изданий, тем или иным образом в этих базах присутствующих, вошли отнюдь не всегда самые авторитетные в корпоративном научном сообществе издания.

Следует упомянуть и такой момент, что сами журналы становятся заложниками своего импакт-фактора. Зарубежные исследователи (Д. Арнольд и К. Фаулер) отмечают, что среди проявлений такой болезни, как выращивание своих же авторов, которые цитируют и самоцитируют друг друга; научные редакторы пишут в каждом номере обзоры, ссылаясь на материалы своего журнала; рецензенты и редакторы выдвигают требования ссылок на статьи журнала, в котором желают опубликоваться новые авторы. Арнольд Д., Фаулер К. Гнусные цифры / в сб: Игра в цыфирь или как теперь оценивают труд ученого. (Сборник статей о библиометрике). М.: МЦНМО, 2011. С. 54.

Нельзя пройти мимо и такого аспекта обсуждаемой проблемы, как специфика ряда отраслей гуманитарного знания, которые в силу своей природы, связанной с конкретным социумом (право, история), либо по объективным причинам субъективного характера неизбежно имеют идеологизированный характер. Бусыгина И. Общественные науки: ножницы политолога / Ведомости 22.04.2014. 71 (3575) [Электронный ресурс] // URL: https://e.mail.ru/message/13981250370000000563 Дата обращения: 25.04.2014 г.

В последнее время в России вышло немало рекомендаций на тему «что и как писать, чтобы быть опубликованным в журналах, входящих в системы цитирования Web of Sciense, Scopus». Среди базовых постулатов - выбор тем, интересных мировому научному сообществу. Иными словами - исследование внутренних проблем экономики, истории России, специфика русского языкознания, развитие национальной системы правового регулирования, особенности развития национальных методик преподавания и т.п., - не имеют шанса на освещение и на востребованность в мире. Возникает закономерный вопрос - нужна ли нам такая наука, которая не может выработать рекомендации, связанные с решением национальных проблем, и почему мы должны финансировать только то, что интересно англо-американскому научному сообществу.

Однако, помимо сугубо технических проблем возможности публикаций, у представителей отечественной научной среды, как традиционных научных и университетских центров, так и провинциальной науки в серьезных изданиях, ipso facto не предполагающих коммерческих публикационных схем, существуют определенные соображения по поводу принципиальной возможности вообще использовать публикационную активность (а также индекс цитирования), как наукометрический показатель эффективности ученого. В концентрированном виде эта точка зрения изложена, в частности, в статье С.Д. Хайтуна Хайтун С.Д. Наукометрия: Состояние и перспективы. М.: Наука, 1983; Он же Проблемы количественного анализа науки. М.: Наука, 1989. «Поверхностная имитация западной модели фундаментальной науки губит науку отечественную». Хайтун С. Поверхностная имитация западной модели фундаментальной науки губит науку отечественную // НГ-Наука. 2014. 12 февр. (Интернет-версия http://www.saveras.ru/archives/7257 Дата обращения: 25.04.2014 г.) Одним из базовых тезисов, предложенных в данном подходе, является принципиальный отказ считать наукометрию пригодной для индивидуальной оценки ученых.

В основании подобного подхода положена весьма репрезентативная база хорошо известных в истории науки индивидуальных историй, когда современные методики, а равно квалификационные требования, будучи приложенными к великим ученым, давали вполне предсказуемые абсурдные результаты. Применительно к пониманию сущности научной, научно-педагогической и творческой школы, рейтинга и оценки качества системы образования приложили руку и авторы настоящей статьи, вполне отдающие себе отчет в том, что приводимый далее перечень их статей в журналах, включенных в базу РИНЦ несомненно повысит и их индекс Хирша, и их показатели по разделу самоцтирование, цитирование соавторами, цитирование журналами из перечня ВАК и внесенным в перечень РИНЦ. И тем не менее см.: Аронов Д.В., Садков В.Г. К проблеме определения понятий «научная (научно-педагогическая) школа» // Alma mater. 2003. № 6. С. 8-13; Садков В.Г., Аронов Д.В., Машегов П.Н., Коськин А.В. О модернизации системы аттестации кадров высшей квалификации: 5 Ч 7 ? качество // Высшее образование в России. 2013. № 7. С. 148-152 и др. Однако было бы, как представляется, неверным, при всей наглядности подобных аргументов, допускать хорошо известную методологическую ошибку - распространение результатов частной выборки на генеральную совокупность. Поэтому необходима классификация ученых применительно к заявленному выше тезису о некорректности публикационной активности, а также индекса цитирования, к индивидуальным оценочным характеристикам исследователя.

Здесь, не открывая ничего нового, практически основываясь на типичном ролевом распределении, вполне можно присоединиться к подходу, при котором ученые могут выполнять самые разные функции, заметно влияющие на количественные характеристики их публикационной активности. В этом ряду, как справедливо отмечает С.Д. Хайтун: «Кто-то генерирует идеи, но сам публикуется мало. Кто-то, напротив, специализируется на развитии чужих идей, много при этом публикуясь. Кто-то является записным критиком, не генерируя собственных идей. У кого-то хорошо получаются учебники и работа с молодыми учеными. Кто-то выполняет функции коммуникатора, а кто-то - организатора. Кто-то хорошо работает с коллективными сборниками трудов. И т.д. и т.п.» Хайтун С. Поверхностная имитация западной модели фундаментальной науки губит науку отечественную // НГ-Наука. 2014. 12 февр. (Интернет-версия http://www.saveras.ru/archives/7257 Дата обращения: 25.04.2014 г.). Строго говоря, собственно количественный показатель и не может быть самодовлеющим в силу специфики, измеряемого им показателя. Как сказал по этому поводу поэт:

За мелким вычетом подробностей

невмочь ни связям, ни протекции

помочь ни в области способностей,

ни в отношении … Губерман И. Гарики предпоследние. Пылкое любовное соитие - важное житейское событие [Электронный ресурс] http://guberman.lib.ru/gariki/1KD/01_09.htm Дата обращения: 24.04.2014 г.

Известно, что при чрезмерной абсолютизации формального подхода - любая система начинает «работать на показатели» , которые часто вовсе не являются объективными, ключевыми показателями качества и эффективности деятельности системы. В данном случае системы образования и науки. Альтернативой здесь, конечно, просится оценка корпоративного сообщества. По большому счету в научной среде известно кто и как писал (и писал ли) свои квалификационные работы. Кто-то вообще начал путь с публикации везде, где только можно (а чаще там, где нельзя, да и не надо), рефератов подготовленных студентами, под видом собственных научных опусов, кто-то продолжил сей путь, подставляя свою фамилию (а то и оставляя только свою) на обложки студенческих дипломов и диссертаций, выдавая их, уже за монографические труды. Выше этот феномен уже отмечался, а авторы вынужденно знакомы с подобными примерами как юного «дарования», имеющего к неполным 30 годам несколько сот «статей», так и совсем не юного с несколькими десятками «монографий».

Небезынтересно и указание «на еще более глубинный феномен, установленный за последние полвека науковедами и другими исследователями науки (в разных странах эти исследования называются по-разному): 10% наиболее продуктивных ученых могут работать, только будучи погруженными в море «средних» ученых». Хайтун С. Поверхностная имитация западной функционирования фундаментальной науки губит науку отечественную // НГ-Наука. 2014. 12 февр. (Интернет-версия http://www.saveras.ru/archives/7257 Дата обращения: 25.04.2014 г.).

Однако, обращаясь к прозе текущего исторического момента, нельзя не отметить, что «голь на выдумку хитра» и народ российский в очередной раз доказал, что Минотавра бояться - в Лабиринт не ходить. Заодно подтвердилось, насколько эффективным может быть принцип общинного выживания, передавшийся нам через механизм эндемической памяти от предков, основавших цивилизацию в зоне рискованного земледелия. Существуют как общеизвестные для ученых всех стран, где были применены такие наукометрические показатели, так и специфические способы, которыми стали активно пользоваться представители стран Восточной Европы и Азии, которые только недавно встали на соответствующий путь. Так весьма известен китайский опыт (чаще применяется термин «китайские технологии»), который сопряжен в последнее десятилетие в области наукометрии как с большими успехами, так и с большими скандалами. К китайским технологиям относят: публикации научных обзоров с большим числом ссылок на данный журнал, что обеспечивает рост импакт-фактора журнала; взаимоцитирование по договору, которое часто имеет круговой характер, который нельзя выявить без спецсопоставлений (небезызвестный скандал с китайскими учеными, работающими в Великобритании); увеличение числа статей за счет множественного авторства. Достаточно детально описаны подобные явления в статье зарубежных исследователей Д. Арнольда и К. Фаулер «Гнусные цифры». Игра в цыфирь или как теперь оценивают труд ученого. (Сборник статей о библиометрике). М.: МЦНМО, 2011. С. 54-61. Но описание подобных технологий стало для ряда российских организаций и учёных руководством к действию. Так доктор физико-математических наук С.М. Гусейн-заде из МГУ им. М.Ю. Ломоносова, анализируя исследовательскую активность своих коллег, описывает ситуацию в высокорейтинговом журнале со статьей на 18 страниц, в которой было собственно 4 текста статьи, полстраницы списка литературы и 14 страниц - список авторов из более 2000 человек. Гусейн-Заде С.М. Повесть об ИСТИНЕ/в сб. трудов: Управление большими системами. Специальный выпуск 44 // Наукометрия и экспертиза в управление наукой / Под ред. Д.А. Новикова и др. М.: ИПУ РАН, 2014. С. 426-427.

В конце прошлого года журнал Science выявил еще одну скандальную ситуацию, связанную с Поднебесной, - существование так называемого «черного рынка» публикаций, то есть наличие агентств, которые готовы написать, перевести и разместить в журналах с высоким импакт-фактором, входящих в вышеобозначенные системы цитирования. Расследование имеет под собой причину - китайские ученые в последнее десятилетие стали активно сдвигаться в сторону традиционных англо-американских исследователей. Так, второй известный журнал Nature, указывает, что ещё в 2000 г. на китайские исследовательские структуры приходилось только 6 публикаций, а спустя 12 лет, в 2012 г. было опубликовано 303 статьи, что составляет 8,5% от всех публикаций в данном издании. Прирост по сравнению с 2012 г. составил практически 35 %. Научно-липовый бум. Ученые адаптируются к сегодняшнему торжеству наукометрии, но при этом перед научным сообществом встала проблема поддельных журналов / Газета.ru [Электронный ресурс] // URL: http://www.gazeta.ru/science/2013/12/09_a_5794649.shtml Дата обращения: 05.05.2014 г. Нельзя исключить в данной ситуации фактор создания эффективной системы грантов за публикации, которая была введена в Китайской народной республике и, благодаря которой, китайские исследователи могут получить за одну публикацию в журнале с высоким импакт-фактором до 65000 долларов США.Слава приносит большие деньги в китайской науке / РИА-Наука [Электронный ресурс] // URL: http://ria.ru/science/20131119/977980404.html Дата обращения: 0.05.2014 г. Но этот же стимул порождает и нелегальный рынок публикаций. В России также появились сайты, на которых прямо предлагается услуга по переводу и размещению статей в журналах из баз Web of Sciense и Scopus. Интерес вызывает и вывод А. Крушельницкого, который году проанализировал публикации российских исследователей в зарубежных изданиях за 2007-2009 гг. из упомянутых баз данных, и отметил, что «международная кооперация повышает цитирование публикаций для всех стран, но для России она имеет самый сильный эффект. Из сравнения абсолютных величин… следует, что исследования, выполненные россиянами без сотрудничества с западными коллегами, мало замечаются мировым научным сообществом» Крушельницкий А. Поделить статью на доллар // Троицкий вариант. 2010. 13 апр. (№ 51). С. 1. . Ради корректности следует иметь в виду, что он рассматривал публикации в области физики, химии, биологии, географии, геологии и геофизики. Введение в исследование гуманитарных и общественных наук, как представляется, дало бы еще более удручающие результаты.

Однако сии высокоученые (или не очень) рассуждения как уже печально отмечалось выше, никоим образом плановых показателей не отменяют. А план никто не отменял, совсем как у Е. Евтушенко в поэме «Братская ГЭС»:

«Хряки с голоду выли, как волки,

ну, а в трубку горланили: «План!» Евтушенко Евгений «Братская ГЭС» [Электронный ресурс] // URL: http://e-libra.ru/read/319286-bratskaya-gees.html Дата обращения: 10.05.2014 г.

И тогда за полным отсутствием в текущей реальности возможности нормально опубликоваться в одном из изданий, внесенных в вышеупомянутые базы данных, ученый российский люд обнаружил такую вещь, как конференции, материалы которых входят в заветные системы учета. Дальше дело было за малым, в бригаду входили те, кто пишет, те, кто могут прилично презентовать результат, а также те, кто все может организовать. Количество соавторов см. в книге учета трудодней.

Вот и начнут скоро размножаться КОЛХОЗЫ «SCOPUS» И СОВХОЗЫ «WEB OF SCIENCE».

А вот будет ли при этом обеспечиваться объективно необходимое повышение качества и эффективности научно-образовательной деятельности, увеличится ли количество и качество действительно прорывных научно-технических или социальных результатов - очень большой вопрос. С нашей точки зрения - нет!

Особенно печальной представляется данная практика в краткосрочной перспективе, а именно - на основе анализа цитируемости в течение трех-пяти лет предпринимается попытка определять уровень компетентности членов совета и потенциальных грантополучателей. Однако, даже увеличив время расчета индексов цитирования (что также не очень хорошо, ибо приведет наряду с блокировкой «выскочек графоманов» к перераспределяю преференций от «молодых талантов» в пользу «пишущих динозавров») и решив проблему репрезентативности представления в индексируемых базах научных трудов по разным областям знания (что оставляет открытым вопрос о качестве включаемых в базу изданий), мы по-прежнему пребываем в системном тупике, так как индекс цитирования остается беззащитен от всяческого рода «накруток» различной степени честности (от договоренности между коллегами цитировать друг друга, до профессионально выстроенных коммерческих «каруселей»).

Поиск вариантов решения данной проблемы предлагается искать в ряде методологических и исторических аналогий.

С точки зрения методологии, индексы цитирования научных статей являются разделами наукометрии - дисциплины, изучающей эволюцию науки через многочисленные измерения и статистическую обработку научной информации (количество научных статей, опубликованных в данный период времени, цитируемость и т.д.) Мирский Э.М. Наукометрия // Новая философская энциклопедия / Ин-т философии РАН; Нац. обществ.-науч. Фонд. 2-е изд., испр. и доп. М.: Мысль, 2010.. В свою очередь наукометрия - частный случай инфометрии - научной дисциплины, предметом которой являются количественные измерения хранимой и используемой информации Пронин А.А. Документ. Архив. История. Современность. 11-е изд. Екатеринбург: Изд-во Уральского университета, 2010. С. 225-226.. Именно в рамках инфометрии индексы научного цитирования оказываются «по соседству» с такими дисциплинами как библиометрия (занимающаяся изучением документов на основе количественного анализа) и вебометрика Peter Ingwersen Webometrics Ten Years of Expansion. Nancy (France), 2006. (это раздел информатики, в рамках которого исследуются количественные аспекты конструирования и использования информационных ресурсов, структур и технологий применительно к Всемирной паутине).

Поисковые системы как программно-аппаратный комплекс с веб-интерфейсом, предоставляющий возможность поиска информации в интернете, вполне соответствуют понятию технической системы, обеспечивающей достижение некоей цели некоммерческого характера, так как меновой стоимостью обладает не собственно сама возможность поиска, а та информация, которую можно найти с помощью поисковой системы.

Несколько слов о хронологии развития систем поиска информации.

1960-е г. -- Джерард Сэлтон и его группа в Корнелльском университете разработали «Остроумную систему извлечения информации» (SMART information retrieval system). SMART -- аббревиатура от Salton's Magic Automatic Retriever of Text, то есть «Волшебный автоматический извлекатель текста Сэлтона». Джерард Сэлтон считается отцом современной поисковой технологии.

1987-1989 гг. - разработана Archie -- поисковая система для индексации FTP архивов. Archie представлял из себя сценарий, автоматизирующий внедрение в листинги на ftp-серверах, которые затем переносились в локальные файлы, а уже потом в локальных файлах осуществлялся быстрый поиск необходимой информации. Поиск основывался на стандартной grep-команде Unix, а доступ пользователя к данным осуществлялся на основе telnet.

В 1993 г. была создана первая в мире поисковая система для Всемирной сети Wandex. В её основу был заложен World Wide Web Wanderer бот, разработанный Метью Греем из Массачусетского технологического института.История развития поисковых систем [Электронный ресурс] // URL: http://sirblond.crimea.com/issledovaniya/istoriya-razvitiya-poiskovyx-sistem.html Дата обращения: 7.05.2014 г.

Однако коммерциализировать предоставляемую информации для поисковой системы довольно проблематично, поэтому коммерциализируется не информация (что представляется наиболее естественным), а возможность ее предоставления со стороны заинтересованных лиц. Достигается это за счет ранжирования ссылок на информацию в поисковой выдаче. Как правило, пользователь не рассматривает весь массив ссылок и довольствуется первыми, показавшимися ему наиболее подходящими. Таким образом, происходит инверсия целей технической системы - вместо поиска желаемой информации пользователь рискует получить рейтинг проплаченных ресурсов (напрямую или опосредованно, через использование определенных технологий). Такая инверсия угрожает сути существования системы поиска, так как пользователь, получивший вместо объективной информации порцию рекламы, может отказаться от пользования подобным ресурсом. Компромисс достигается за счет сочетания в рейтинге выдачи запроса коммерциализированой его части (самый распространенный вариант - контекстная реклама - технология которой была разработана на заре основания компании Google, и до сих пор является ее основным источником прибыли 2014 Financial Tables Full year financial tables with quarterly data. Google's Income Statement Information [Электронный ресурс] // URL: http://www.webcitation.org/659XIBlnZ Дата обращения: 7.05.2014 г.) и некоммерциализиованной (собственно поисковый запрос) в которой сохраняется основная цель технической системы в виде предоставления ссылок на информацию максимально соответствующую интересам пользователя. В некоммерциализированной (непосредственно не приносящей дохода компании собственнику поисковой системы) части запроса, напротив, ставится задача максимально исключить саму возможность искусственного повышения рейтинга ресурса. В том числе и за счет применения специальных технологий поисковой оптимизации. Остановимся на них более подробно, так как в своей сути они весьма сходны с индексами научного цитирования.

Изначально при ранжировании ссылок на ресурсы в поисковом запросе поисковые системы придавали большое значение тексту на странице, ключевым словам и прочим внутренним факторам, которыми владельцы сайтов могли легко манипулировать. Это привело к тому, что в выдаче многих поисковых систем первые несколько страниц заняли сайты, которые были полностью посвящены рекламе, что резко снизило качество работы поисковиков. В качестве противодействия этому явлению были разработаны технологии ранжирования ссылок в которых больше веса стало придаваться внешним факторам, затруднив оптимизацию при помощи одного лишь текста на сайте. Такова технология Page Rank компании Google. Суть ее состоит в том, что Page Rank, («рейтинг страницы») определяется количеством и качеством ссылок со страниц внешних ресурсов, которые ссылаются на страницы конкретного сайта Что такое PR? С чем его едят? [Электронный ресурс] // URL: http://tech-bussines.ru/seo-optimizaciya-sajtov/chto-takoe-pr-veshhestvennoe-i-tulbarnoe-znacheniya-pagerank-kak-vliyaet-na-pozicii-v-poiskovoj-vydache-google.html . То есть PR является критерием оценки рейтинга (авторитетности) страницы в сети интернет, при этом определяет ценность не всего сайта, а отдельных его страниц.

Как говорится, попробуйте найти 5 отличий от индекса научного цитирования!

Из-за использования технических деталей поиска может показаться, что мы сосредоточиванием свое внимание на вещах весьма далеких от коммерческого применения, однако, только в российском сегменте интернета по оценке РАЭК рынок поисковой оптимизации (то есть объем денег в борьбе за место в поисковой выдаче) в 2012 г. составил 10,24 млрд. руб. IT и Рунет 2013: итоги года [Электронный ресурс] // URL: http://www.optimism.ru/press/IT_i_Runet-2013-itogi_goda.pdf Дата обращения: 7.05.2014 г.

Перенос приоритетов с оценки внутреннего содержания индексируемых поисковой системой страниц на их «внешнюю популярность» в виде степени цитируемости, породил новые проблемы. Рассмотрим их на примере тематического индекса цитирования (ТИЦ), использующегося компанией Яндекс и являющегося аналогом Page Rank. В первую очередь данный параметр влияет на позицию выдачи сайта в каталоге самого Яндекса. Чем больше этот параметр, тем ближе ваш сайт к первым позициям в выдаче запроса Яндекса. Изначально был только индекс цитирования, который определял количество ссылающихся страниц (сайтов) с внешних ресурсов на ваш сайт. Таким образом, можно было создать огромное количество страниц и сослаться на ту, которой нужно повысит параметр. Такой способ поднятия авторитета своих сайтов очень привлекал спамеров и дабы избежать этого был внедрен параметр, который определял не только количество ссылавшихся на ресурс страниц, но и их качество Что такой ТИЦ сайта и важен ли? [Электронный ресурс] // URL: http://tech-bussines.ru/seo-optimizaciya-sajtov/chto-takoe-tic-sajta-i-na-chto-vliyaet.html Дата обращения: 7.05.2014 г..

В настоящее время, по сути, происходит коммерциализация индексов научного цитирования. Не в прямом смысле, что за достижение определенных значений кто-то дает деньги (за место в выдаче поискового запроса, кстати, тоже никто не платит), а в смысле обеспечения потенциальных возможностей участия в грантах, диссертационных советах и пр. для людей с высоким индексом цитирования. Мы видим прямую аналогию с сайтами, занимающими первые места в поисковых выдачах - это не гарантия, но шанс получить прибыль от рекламируемых товаров.

Подобная коммерциализация неизбежно приведет (и уже приводит) к инверсии целей использования технической системы. Из инструмента поиска информации индекс цитирования превращается в способ заработка с неизбежными оптимизационными инструментами и накрутками разного уровня легальности. Это ярко иллюстрирую появившиеся методички с рекомендациями по повышению индекса цитирования, которые в значительной мере похожи на инструкции по поисковой оптимизации. Для одной из них приведем лишь пункты с восьмого по десятый (из 12): «увеличить обмен ссылками с коллегами; увеличить самоцитируемость (делать ссылки на свои статьи, опубликованные ранее с указанием издания), составлять качественные abstracts с употреблением общепринятой в мировой практике терминологией» Индекс цитирования для оценки результативности научной работы: методические рекомендации / Сост.: М.Е. Стаценко, Г.Л. Снигур, О.Ю. Демидова, В.Н. Пароваева. Волгоград: Изд-во ВолГМУ, 2011. . Если рассматривать цитату вне контекста, то она, вполне, соответствует методичке по SEO (поисковой оптимизации), а не руководству к научной деятельности. И в этом не вина, а заслуга авторов. Они просто сформировали инструкцию по выживанию в условиях инверсии целей индекса научного цитирования как технической системы.

Попытавшись ответить на вопрос, «кто виноват?», вполне логичным представляется, хотя бы попытаться, ответить на вопрос «что делать?».

В данном случае полагаем целесообразным применение при использовании индекса цитирования для оценки качества и эффективности научной деятельности аналогий характерных для эволюции поисковых систем:

1. Отказ от абсолютизации одного показателя и переход к применению спектра показателей, характеризующих различные стороны публикационной активности.

2. Включение в интегральные показатели цитирования (подобно алгоритмам ранжирования страниц в поисковых запросах) качественных показателей. Например, наличие соавторов, наличие кольцевых ссылок, соответствие научных областей статьи и цитируемых в ней трудов, асимметрия веса ссылок (логично, что цитирование неизвестного автора известным и наоборот - это довольно неравнозначное цитирование).

3. Развитие системы отраслевых, страновых и прочих индексов цитирования как дополняющих и конкретизирующих глобальные индикаторы (особо актуально появление таких индексов будет для исследователей, публикующихся по узко специализированной и закрытой тематике).

4. Использование при оценивании персоналий различных индексов цитирования (подобно поисковым системам они используют разные поисковые базы и разные инструменты ранжирования).

5. Сохранение методической прозрачности (в отличие от поисковых систем) расчета конкретных показателей цитирования

6. Обеспечение возможности в процессе решения конкретных задач (выдача грантов и пр.) формировать дополнительные агрегированные показатели на основе общеизвестных индексов, изменяя значимость составных компонентов с целью наилучшего соответствия показателей цитирования решаемой задаче.

7. Создание систем, позволяющих учитывать экспертное мнение отдельных членов научного сообщества относительно качества публикаций их коллег.

8. Проведение публичного мониторинга результатов адекватности применения тех или иных показателей цитирования в процессе решения конкретных задач, связанных с получением денежных средств или предоставлением каких-либо преференций.

Стремясь закончить статью на оптимистической ноте, хотелось бы отметить, что самый надежный инструмент обеспечения качества научных исследований изобретен за много лет до появления каких либо информационных систем для анализа публикаций научных результатов и называется он - научная честность исследователя.

Литература

1. Губерман И. Гарики на каждый день. Том первый. Глава 9 [Электронный ресурс] // URL: http://guberman.lib.ru/gariki/1KD/01_09.htm Дата обращения: 24.04.2014 г.

2. Садков В.Г., Аронов Д.В., Машегов П.Н. Рейтинг есть - проблемы остаются // Alma mater. 2006. № 9. С. 8-14; Садков В.Г., Голенков В.А., Брехова Т.Н., Вайдерова Т.Г., Степанов Ю.С., Машегов П.Н., Аронов Д.В. Управление качеством образования в регионах России. М.: Прогресс, 2007 и др.

3. Стругацкий А.Н., Стругацкий Б.Н. Понедельник начинается в субботу. Сказка для научных сотрудников младшего возраста [Электронный ресурс] // URL: http://www.etextlib.ru/Book/Details/909 Дата обращения: 15.05.2014 г.

4. См.: Герземанн О. Ковбойский капитализм. Европейские мифы и американская реальность. М.: ИРИСЭН, 2006.

5. Нобелевский лауреат объявил войну журналам Nature и Science / Газета.ru [Электронный ресурс] // URL: http://www.gazeta.ru/science/2013/12/11_a_5796821.shtml Дата обращения: 7.05.2014 г.

6. Журнал Science раскрыл теневую империю «мусорных» научных изданий / РИА-Наука [Электронный ресурс] // URL: http://ria.ru/studies/20131004/967734341.html Дата обращения: 7.05.2014 г.

7. Жукова И.А. Индекс научного цитирования - трансформация практик применения (от инструмента библиографического поиска к инструменту оценивания) [Электронный ресурс] // URL: http://www.hse.ru/data/2013/02/05/1300689432/1Индексы цитиро-вания_Жукова.pdf дата обращения: 7.05.2014 г.

8. Арнольд Д., Фаулер К. Гнусные цифры / в сб: Игра в цыфирь или как теперь оценивают труд ученого. (Сборник статей о библиометрике). М.: МЦНМО, 2011. С. 54.

9. Бусыгина И. Общественные науки: ножницы политолога / Ведомости 22.04.2014. 71 (3575) [Электронный ресурс] // URL: https://e.mail.ru/message/13981250370000000563 Дата обращения: 25.04.2014 г.

10. Хайтун С.Д. Наукометрия: Состояние и перспективы. М.: Наука, 1983; Он же Проблемы количественного анализа науки. М.: Наука, 1989.

11. Хайтун С. Поверхностная имитация западной модели фундаментальной науки губит науку отечественную // НГ-Наука. 2014. 12 февр. (Интернет-версия http://www.saveras.ru/archives/7257 Дата обращения: 25.04.2014 г.)

12. Аронов Д.В., Садков В.Г. К проблеме определения понятий «научная (научно-педагогическая) школа» // Alma mater. 2003. № 6. С. 8-13; Садков В.Г., Аронов Д.В., Машегов П.Н., Коськин А.В. О модернизации системы аттестации кадров высшей квалификации: 5 Ч 7 ? качество // Высшее образование в России. 2013. № 7. С. 148-152 и др.

13. Хайтун С. Поверхностная имитация западной модели фундаментальной науки губит науку отечественную // НГ-Наука. 2014. 12 февр. (Интернет-версия http://www.saveras.ru/archives/7257 Дата обращения: 25.04.2014 г.).

14. Губерман И. Гарики предпоследние. Пылкое любовное соитие - важное житейское событие [Электронный ресурс] http://guberman.lib.ru/gariki/1KD/01_09.htm Дата обращения: 24.04.2014 г.

15. Хайтун С. Поверхностная имитация западной функционирования фундамен-тальной науки губит науку отечественную // НГ-Наука. 2014. 12 февр. (Интернет-версия http://www.saveras.ru/archives/7257 Дата обращения: 25.04.2014 г.).

16. Игра в цыфирь или как теперь оценивают труд ученого. (Сборник статей о библиометрике). М.: МЦНМО, 2011. С. 54-61.

17. Гусейн-Заде С.М. Повесть об ИСТИНЕ/в сб. трудов: Управление большими системами. Специальный выпуск 44 // Наукометрия и экспертиза в управление наукой / Под ред. Д.А. Новикова и др. М.: ИПУ РАН, 2014. С. 426-427.

18. Крушельницкий А. Поделить статью на доллар // Троицкий вариант. 2010. 13 апр. (№ 51). С. 1.

19. Евтушенко Евгений «Братская ГЭС» [Электронный ресурс] // URL: http://e-libra.ru/read/319286-bratskaya-gees.html Дата обращения: 10.05.2014 г.

20. Мирский Э.М. Наукометрия // Новая философская энциклопедия / Ин-т философии РАН; Нац. обществ.-науч. Фонд. 2-е изд., испр. и доп. М.: Мысль, 2010.

21. Пронин А.А. Документ. Архив. История. Современность. 11-е изд. Екатерин-бург: Изд-во Уральского университета, 2010. С. 225-226.

22. Peter Ingwersen Webometrics Ten Years of Expansion. Nancy (France), 2006.

23. История развития поисковых систем [Электронный ресурс] // URL: http://sirblond.crimea.com/issledovaniya/istoriya-razvitiya-poiskovyx-sistem.html Дата обращения: 7.05.2014 г.

24. 2014 Financial Tables Full year financial tables with quarterly data. Google's Income Statement Information [Электронный ресурс] // URL: http://www.webcitation.org/659XIBlnZ Дата обращения: 7.05.2014 г.

25. Что такое PR? С чем его едят? [Электронный ресурс] // URL: http://tech-bussines.ru/seo-optimizaciya-sajtov/chto-takoe-pr-veshhestvennoe-i-tulbarnoe-znacheniya-pagerank-kak-vliyaet-na-pozicii-v-poiskovoj-vydache-google.html

26. IT и Рунет 2013: итоги года [Электронный ресурс] // URL: http://www.optimism.ru/press/IT_i_Runet-2013-itogi_goda.pdf Дата обращения: 7.05.2014 г.

27. Что такой ТИЦ сайта и важен ли? [Электронный ресурс] // URL: http://tech-bussines.ru/seo-optimizaciya-sajtov/chto-takoe-tic-sajta-i-na-chto-vliyaet.html Дата обращения: 7.05.2014 г.

28. Индекс цитирования для оценки результативности научной работы: методические рекомендации / Сост.: М.Е. Стаценко, Г.Л. Снигур, О.Ю. Демидова, В.Н. Пароваева. Волгоград: Изд-во ВолГМУ, 2011.

Размещено на Allbest.ru