Проблемы и перспективы оценки эффективности научной деятельности в химико-технологической сфере

Размещено на http://www.allbest.ru/

Статья по теме:

Проблемы и перспективы оценки эффективности научной деятельности в химико-технологической сфере



В современных условиях коренным образом изменился характер научной деятельности в химико-технологической сфере (ХТС). Поэтому особенно актуальна реализации эффективной научно-технической политики в этой сфере для снижения уровня риска негативного воздействия опасных химических факторов на население и окружающую среду. Для более глубокого понимания проблем, связанных с развитием научных исследований и разработок в ХТС, проведена проработка вопросов определения эффективности научной деятельности применительно к оценке фундаментальных и прикладных исследований. Выделены особенности развития науки в ХТС в современных условиях. Представлен обзор методов определения эффективности научных исследований и разработок, проведено обсуждение методологических проблем. Выделена специфика определения эффективности фундаментальных и прикладных научных исследований в ХТС. Исследованы проблемы оперативного и перспективного планирования научных исследований и разработок. Раскрыты особенности расширения фронта исследований в ХТС. Исследованы проблемы повышения ресурсоемкости научных исследований и разработок, кадрового обеспечения и оптимизации механизмов подготовки выпускников редких специальностей в ХТС. Предложены научно-методические подходы для определения эффективности научной деятельности в ХТС. Разработаны критерии оценки эффективности, которые учитывают внутренние эффекты и экстерналии научной деятельности в ХТС. Эффективность предлагается оценивать по трем группам критериев: внутренняя эффективность, внешняя эффективность и структурная эффективность. Поскольку основная часть информации может быть получена только путем экспертизы, выделены проблемы получения и обработки экспертной информации и намечены пути их решения.

Ключевые слова: эффективность научной деятельности, прикладные исследования, системный анализ, химико-технологическая сфера, критерии, финансирование научных исследований, фундаментальные исследования

Введение

химический технологический сфера метод

Место науки в жизни современного общества, влияние ее достижений на темпы научно-технического прогресса обусловили пристальное внимание специалистов по управлению к научным исследованиям. Процессы, происходящие в науке, тенденции развития отдельных ее областей, факторы, влияющие на эффективность научных исследований, социальное значение научных результатов стали предметом глубокого и всестороннего изучения. Целью многочисленных и весьма различных по характеру и методам исследований является разработка как теоретических основ организации, планирования и управления наукой, так и конкретных мер, обеспечивающих рост эффективности научной деятельности, в том числе в ХТС.

Проблемы планирования и управления наукой обсуждаются на многочисленных научных конференциях, этим проблемам посвящается всё возрастающее число публикаций, в дискуссиях принимают участие ведущие учёные.

Целями статьи являются разработка вопросов формализации эффективности научной деятельности в ХТС, анализ специфических особенностей отечественного и зарубежного опыта оценки эффективности и обсуждение методологических проблем. Выбор предметной области обусловлен во многом сохранением существующего уровня отставания сектора наукоемких технологий экономики России и возникновением новых угроз [1-3]. Широкомасштабное использование химических веществ с высокой токсичностью, накопление в окружающей среде опасных химически стойких соединений, разработка и внедрение в производство принципиально новых классов химических веществ с недостаточно изученным воздействием на здоровье человека и окружающую среду - все это усугубляет негативное воздействие на окружающую среду. Отмеченные вызовы могут привести к ослаблению национальной безопасности страны в целом. Поэтому особенно актуальна реализация эффективной научно-технической политики в этой сфере для снижения уровня риска негативного воздействия опасных химических факторов на население и окружающую среду. Эти аспекты крайне актуальны для России, где проведенная реформа структуры управления научно-технологическим комплексом и реорганизация государственных академий наук вызвали широкую общественную дискуссию. Сложившиеся в нашей стране механизмы финансирования науки претерпели существенные изменения. Организация и финансирование научных исследований, эффективность науки, модернизация механизмов поддержки научных исследований, баланс интересов в определении научных приоритетов между государством, научным сообществом и деловыми структурами являются предметом многих дискуссий.



Основная часть

Особенности развития науки в ХТС на современном этапе

Анализ развития науки убедительно показывает, что в современных условиях коренным образом изменился характер научной деятельности. В химико-технологической сфере на современном этапе проявляются многие особенности, присущие часто и другим промышленным сферам, но выраженные более резко.

Неизмеримо расширился фронт исследований. Процессы дифференциации и интеграции привели к появлению целого ряда крупных научных направлений. Курс на модернизацию химического производства на новой научно-технической базе диктует необходимость научных исследований, направленных на совершенствование существующих и разработку принципиально новых технологических процессов, создание новых экологически чистых материалов и т. д.

Кроме того, в последние годы особенно ярко проявляется эффект «положительной обратной связи», заключающийся в том, что полученные научные результаты влекут за собой постановку новых задач, становится возможным изучение новых классов объектов, выявление новых закономерностей и т. д. Таким образом, расширение фронта исследований в ХТС является объективной тенденцией развития науки, обусловленной как запросами практики, так и логикой научного познания.

Наряду с расширением фронта исследований наблюдается резкое увеличение «ресурсоемкости» науки. Для успешного развития научных направлений в ХТС в настоящее время необходимы привлечение больших коллективов высококвалифицированных научных сотрудников, подготовка выпускников «редких» специальностей путем оптимизации механизмов их подготовки, а также повышение привлекательности и престижа таких специальностей, поскольку за последние 10 лет численность аспирантов по направлению подготовки «химические технологии» сократилась на 25 %. Проведение современных исследований в данной области, как правило, требует чрезвычайно дорогостоящего, часто уникального оборудования [4]. Средства, необходимые для осуществления комплексных программ проведения исследований химических веществ и смесей, их оценки и регистрации, составляют ощутимую часть бюджетных средств.

Следствием увеличения стоимости научных исследований следует считать проявляющуюся зависимость вероятности научного успеха от вложенных ресурсов. В ХТС получение новых результатов без значительных капитальных затрат практически невозможно. Проведенные нами исследования результатов федеральной целевой программы «Национальная система химической и биологической безопасности Российской Федерации» показали, что основной проблемой для эффективной реализации научных результатов является недостаток финансирования [5]. Этот фактор отметили 30 % участников программы, далее по важности выделено наличие бюрократических помех и дефицит специалистов - по 20 %, соответственно. Недостаточность научно-производственной базы и низкий спрос на наукоемкую продукцию получили по 15 % соответственно.

Зависимость результатов научных исследований от вложенных ресурсов проявляется настолько ярко, что наиболее распространенным показателем уровня развития науки в целом является объем расходов на исследования и разработки.

Передовые страны тратят на исследования и разработки существенную часть бюджета, причем эти затраты ежегодно растут. Так, например, доля затрат на исследования и разработки в ВВП США в 2017 г. составила 2,8 %, имеет место рост с 2,63 % в 2007 г В то же время в России внутренние затраты на исследования и разработки в процентах к валовому внутреннему продукту за последние 10 лет уменьшились на 0,02 % и в настоящее время составляют 1,1 %.

Основным источником финансирования российской науки является государство, которое выделяет 68,2 % всех средств, оставшуюся треть средств вкладывает частный бизнес. В развитых странах доля частного сектора заметно превышает 50 %.

По объемам финансирования науки Россия уступает не только развитым, но и многим развивающимся странам, например БРИКС. Так, в 2017 г ежегодные затраты России на науку по паритету покупательной способности в млрд долл. составили 39,8, в Китае - 451,2, в Индии - 67,2, в Бразилии - 37,9, в ЮАР - 5,8.

Расходы на НИОКР на душу населения в США, Израиле, Канаде, Японии и Финляндии равняются примерно 1,5 тыс. долл. США, в странах ОЭСР около 800 долл. США, а в России менее 270 долл. США. Даже Китай с его огромным населением уже почти в полтора раза опережает Россию по этому показателю.

За период 2007-2017 гг. общее число организаций научно-технической сферы неуклонно уменьшалось. В России имелось в 2007 г. 2113 научноисследовательских организаций, а в 2017 г. - 1671. Количество проектных и проектно-изыскательных организаций в эти же годы равнялось 206 и 25, соответственно. Число конструкторских бюро сократилось с 542 до 302. Отмеченная динамика является результатом целенаправленной политики по сокращению «неэффективных» научных организаций. Так, в 2018 г. все научные организации, которые подведомственны ФАНО и выполняют научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, классифицированы по категориям «эффективности» по наукометрическим индикаторам. К первой категории относились лидирующие организации, результаты которых соответствуют мировому уровню, ко второй категории - стабильные организации, имеющие удовлетворительные результаты, к третьей категории - организации, не показывающие значимых научных результатов. По итогам проверки 454 организаций в первую категорию попало 142 организации, во вторую - 205, в третью - 107. Например, в «лидирующие» попали хорошо известные в мире Институт органической химии им. Н.Д. Зелинского РАН, Институт общей и неорганической химии им. Н.С. Курнакова РАН, Институт химии растворов им. Г.А. Крестова РАН и др. В категории «стабильные» со сниженным финансированием оказалисьстоль же известные Институт химии высокочистых веществ им. Г.Г. Девятых РАН, Институт химической физики им. Н.Н. Семенова РАН, Институт химии силикатов им. И.В. Гребенщикова РАН и др. В результате такой политики «приоритетные» организации получают поддержку за счет «прочих» не менее успешно работающих организаций, которые проводят качественные исследования в областях науки, важных для российского общества. Подобный формальный подход уже вызвал необратимые изменения. Ряд институтов был закрыт. Помимо этого, во всех организациях было проведено сокращение научного и инженернотехнического персонала.

С 2007 г. численность занятых в сфере исследований и разработок постоянно уменьшается. В 2007 г. она составляла 813 тыс. человек, из них 391 тыс. исследователи, а в 2017 г. соответственно 722 и 370 тыс. человек. Доля исследователей в настоящее время составляет около 50 % и примерно соответствует уровню 2007 г

В мировом рейтинге стран БРИКС по показателям публикационной активности в 2017 г. наблюдалась следующая картина: Китай - 2 место по числу публикаций (17,75 %), Индия - соответственно 6 место (4,63 %), Бразилия - 13 место (3,08 %), Россия - 14 место (2,56 %), ЮАР - 25 место (0,95 %).

Одна из очевидных тенденций развития современной науки состоит в том, что получение новых знаний в большинстве областей исследований становится все более трудной научно-технической задачей и связано со все возрастающими материальными затратами. В настоящее время ресурсные потребности науки настолько велики, что в силу естественных ограничений не представляется возможным одинаково интенсивно развивать все научные направления. Неизбежно возникает проблема сравнительной оценки по эффективности различных направлений исследований, конкретных научных программ, проектов или научных организаций в целом [6, 7]. Эта проблема чрезвычайно сложна в методологическом аспекте. Прежде всего, необходимо определение общего понятия «эффективность» научной деятельности и формирование на его основе критерия (или совокупности критериев) для сравнительной оценки исследований. Кроме того, число возможных путей достижения целей исследования (типов экспериментальных установок, схем эксперимента и т. д.), как правило, достаточно велико, и при анализе каждой альтернативы необходимо учитывать большое число факторов (научных, экономических, организационных, экологических и др.), которые так или иначе могут повлиять на вероятность получения результатов и их характер. Следует также принимать во внимание большую ответственность решений по планированию крупных научных программ в ХТС, т. к. эти решения влекут за собой расходование значительных средств и могут существенно повлиять на развитие междисциплинарных научных направлений.

Хотя сейчас еще не выработан единый подход к сравнительному анализу эффективности научной деятельности и нередко оспаривается принципиальная возможность и правомерность такого анализа [8], на практике сравнение и выбор научных проектов активно осуществляется, например научными фондами которые выделяют финансирование на проведение фундаментальных научных исследований. В институциональном аспекте созданию научных центров и крупных экспериментальных установок предшествует всестороннее обсуждение целесообразности подобных начинаний: изучаются состояние и перспективы развития данной области науки, анализируются имеющиеся ресурсы, сравниваются различные технические варианты. При этом экономические, экологические, производственные и другие «ненаучные» факторы часто оказываются решающими.

Темпы и сущность глобальных перемен, тенденции развития современной науки и потребности практики планирования, организации и прогнозирования в сфере научной деятельности привели к пересмотру традиционного мнения об абсолютной ценности, а следовательно, несравнимости научных результатов друг с другом. Необходимость анализа их относительной важности с учетом экономических, производственных и социальных факторов для решения вопроса о приоритете между различными областями исследований при распределении ресурсов признается в настоящее время многими учеными [9, 10], чьи непосредственные научные интересы не связаны с проблемами экономики и планирования науки в ХТС. Подобный анализ, проводимый в том или ином виде, является неотъемлемым элементом научной деятельности. В настоящее время широке признаются объективная необходимость планирования фундаментальных научных исследований и более строгого обоснования принимаемых решений по распределению ресурсов, направляемых на развитие науки. Это привело к разработке специальных методов планирования научных исследований, применение которых позволило бы обеспечить лиц, принимающих решения, информацией, необходимой для принятия более последовательных и обоснованных управленческих решений [11, 12].

Принято разделять оперативное (или тактическое) и перспективное (или стратегическое) планирование НИР. В рамках оперативного планирования производится разработка последовательности действий, необходимых для реализации выбранного пути достижения цели конкретного научного исследования. Типичной для оперативного планирования является задача распределения во времени ограниченных ресурсов. Под перспективным планированием НИР подразумевается круг задач, связанных с выбором целей исследований, их оценкой и сравнением. На практике это, как правило, задачи выбора научных направлений и научных организаций-исполнителей, а также оценка эффективности.

Хотя проблемы оперативного планирования НИР достаточно сложны, в этой области наблюдается сравнительно большое единство взглядов по основным вопросам в рамках национальных инновационных систем [13].

Напротив, в области перспективного планирования НИР положение гораздо менее определенное. Однако именно эти проблемы являются наиболее важными при разработке и реализации научной политики в ХТС, и существует целый ряд уровней управления, на которых эти проблемы решаются.

Специфика определения эффективности фундаментальных и прикладных научных исследований в ХТС

Для более глубокого понимания проблем, связанных с определением эффективности фундаментальных и прикладных научных исследований в ХТС, целесообразно изучить существующие методы оценки научных исследований и разработок (НИР).

К настоящему времени опубликовано множество различных методов оценки НИР [14-16]. Разработка таких методов стала важным направлением деятельности многих научных организаций в России и за рубежом. Основным содержанием большинства этих методов является определение общего показателя эффективности проектов НИР в зависимости от совокупности количественных оценок этих проектов по многим критериям. Выбор проектов НИР производится в соответствии с величиной общего показателя эффективности.

При таком обилии методов оценки эффективности НИР представляются своевременными и полезными попытки их классификации. Такую классификацию можно производить, используя различные признаки деления. Предлагается классификация по следующим аспектам.

Вид общего показателя эффективности научной деятельности. При этом методы классифицируются в зависимости от того, выражается ли общая эффективность безразмерной величиной, например оценкой в баллах, или определяется выраженная в денежных единицах прибыль от практической реализации результатов научных исследований и разработок.

Окончательный результат применения метода оценки эффективности научной деятельности. При этом методы классифицируются в зависимости от того, является ли результатом их применения распределение проектов по величине эффективности или из множества предложенных проектов должны быть выбраны такие, суммарный эффект от выполнения которых при заданных ограничениях был бы максимальным.

Способ выявления множества проектов НИР. Классификацию по этому признаку следует считать наиболее плодотворной для изучения характерных особенностей методов и возможности их применения в реальных ситуациях оценки эффективности научной деятельности в ХТС. При этом методы делятся на два класса - методы оценки предложений научных исследований и методы определения средств достижения целей в ХТС.

Характерным для методов оценки предложений является то, что в каждом из них проекты НИР считаются заданными, и метод используется для выделения наилучших проектов НИР из общего их числа. В методах определения средств достижения целей эффективность отдельного проекта НИР оценивается по его сравнительной важности по отношению к общей цели, на достижение которой направлен весь комплекс исследований. Оценка начинается с определения этой общей цели, после чего осуществляется переход к полным совокупностям более мелких целей путем построения так называемого «дерева целей». После построения «дерева целей» определяется вся совокупность альтернативных средств достижения целей в виде «дерева вариантов» [17].

Процесс определения эффективности в качестве необходимых этапов включает формирование общей цели, сравнительную оценку и выбор альтернативных путей достижения этой цели и соответствующее распределение ресурсов. Конкретное содержание каждого этапа, соответствующие методы и процедуры определяются характером объектов оценки и внешними факторами.

Фундаментальные исследования занимают особое место в структуре научной деятельности и имеют ряд характерных особенностей, которые должны учитываться при разработке новых и применении существующих методов оценки эффективности. Рассмотрим подробнее особенности фундаментальных исследований в ХТС с точки зрения оценки эффективности.

В фундаментальной науке чрезвычайно сложно определить такое важное для оценки понятие, как цель исследований. Целью государственной политики в области обеспечения химической безопасности является последовательное снижение до приемлемого уровня риска негативного воздействия опасных химических факторов на население и окружающую среду. В то же время фундаментальные исследования направлены на изучение общих закономерностей, свойств и явлений, получение новых знаний о природе, человеке и обществе. Таким образом, цели фундаментальных исследований формулируются в самом общем виде. Это объясняется значительно более высоким по сравнению с прикладными исследованиями уровнем неопределённости относительно результатов и сроков исследований, характерным для фундаментальной науки. И поскольку в настоящее время не разработана единая методика, позволяющая достаточно надежно предсказывать характер конечных результатов на ранних стадиях исследований, понятие цели как конкретного ожидаемого результата неприложимо к задачам оценки эффективности чисто фундаментальных исследований.

По этой причине отсутствует единый подход к оценке эффективности фундаментальных научных исследований. В общем случае результатом фундаментальных исследований является углубление наших знаний об окружающем мире, а поскольку процесс познания бесконечен, фундаментальные исследования имеют непрерывный характер и, как правило, не могут быть разбиты на отдельные этапы, имеющие четко обозначенные границы в рамках отдельных тем, проектов и программ.

Даже в тех случаях, когда удается выделить конкретные результаты уже законченных фундаментальных исследований, очень трудно оценить их значимость. Не существует единого универсального критерия оценки фундаментальных достижений, особенно в междисциплинарных химико-технологических областях. Влияние результатов фундаментальных исследований в таких областях проявляется неявно и часто по прошествии значительного времени.

Перечисленные черты фундаментальных исследований в ХТС определяют следующие особенности процесса их оценки.

Высокий уровень неопределенности в сроках и результатах исследований затрудняет возможность оценки фундаментальных исследований по ожидаемым результатам. Также весьма затруднительна оценка по срокам. Бесполезно, например, планировать проведение фундаментальных исследований по созданию новых химических объектов, снижающих до приемлемого уровня риск негативного воздействия опасных химических факторов на население и окружающую среду к определенному сроку. Следовательно, цель оценки фундаментальных исследований в ХТС может заключаться лишь в стимулировании развития наиболее перспективных направлений.

Отсутствие единого критерия оценки результатов фундаментальных исследований обусловливает трудности оценки последствий управленческих решений и сравнения различных вариантов распределения ресурсов. Таким образом, оценка эффективности фундаментальных исследований в ХТС осуществляется в условиях большей неопределенности, чем в случае прикладных исследований.

Фундаментальные научные результаты в ХТС, как правило, достигаются в уже сложившихся коллективах - лабораториях и научных организациях. Каждый такой коллектив проходит сложный путь развития, причем эффективность его работы зависит от совокупности различных факторов [18]. Состав и квалификация участников научных коллективов в значительной степени предопределяют характер возможных результатов. Хотя руководитель коллектива может менять направление работы в пределах определенной области, диапазон изменений довольно ограничен. Иными словами, в данном случае средства определяют набор возможных целей.

Грантовый механизм финансирования фундаментальных исследований обладает большей гибкостью, в том числе для поддержки молодых ученых. Во всех странах, которые нацелены на укрепление своего интеллектуального суверенитета, осуществляется грантовая поддержка молодых ученых. Это специальные стипендии, исследовательские гранты для молодых ученых, которые могут реализовывать свой проект в любой организации. Гранты могут быть групповыми и индивидуальными. Возможно как полное покрытие расходов по проекту, так и частичное, субсидиарное. Обеспечивается поддержка создания новых лабораторий, возглавляемых молодыми учеными. Осуществляется поддержка организации конференций. Для отбора проектов традиционно используется экспертиза, которая обладает некоторыми особенностями.

Эксперт, рецензируя заявку, обязан давать оценку не по всем критериям, а лишь по тем, о которых он может судить достаточно квалифицированно. Таким образом, эксперты дополняют друг друга.

Отсутствие публикаций в определенных базах данных не является основанием для недопуска проекта к конкурсу.

Вербальные оценки заявок переводятся в баллы с последующим усреднением.

Зарубежные научные фонды [18], обладая уникальной информацией о проводимых научных исследованиях, активно реализуют свои аналитические функции в виде: оценки эффективности поддержки научных исследований, обоснования и выбора приоритетов научной политики, оценки влияния науки на социально-экономическое развитие.

В фундаментальной науке не существует объективных показателей, характеризующих состояние и перспективы развития отдельных научных направлений, количественных зависимостей, связывающих важные для планирования характеристики научных исследований. Следовательно, основная часть информации, необходимой для оценки эффективности, может быть получена только путем опроса экспертов, т. е. является субъективной. Поэтому результаты применения методов оценки в значительной мере определяются компетенцией выбранных экспертов и способами обработки экспертных оценок.

Таким образом, оценка эффективности фундаментальных исследований связана с исключительно большими трудностями. Однако оценка фундаментальных исследований и распределение ресурсов на их проведение практически осуществляются. Задача состоит в совершенствовании существующих методов оценки.

Оценка прикладных научных исследований также обладает своей спецификой. В существующих работах [19, 20] по программно-целевому планированию НИР довольно часто встречаются упоминания о методах оценки эффективности, созданных специально для прикладных НИР, или о широком использовании в этой области существующих методов. Накопленный опыт оценки эффективности прикладных исследований дает основания для некоторых выводов о возможности применения методов оценки и средств достижения целей в рамках прикладных НИР в ХТС.

При применении методов оценки эффективности для прикладных исследований очень большое значение придается степени выполнения задач, сформулированных в техническом задании научного проекта. Критерии востребованности и реализуемости при этом не рассматриваются. При распределении ресурсов в рамках государственного задания1 на прикладные исследования заказчик работ ориентируется главным образом на количественные показатели потребности в соответствующих услугах и работах, профиль и авторитет организации-исполнителя, а также прошлые научные успехи руководителя исследований.

Применение программно-целевых методов сталкивается с определенными трудностями, т к. в рамках программно-целевого подхода необходимо выявление конкретных целей в ХТС в терминах результатов, причем путь достижения этих результатов должен быть достаточно ясным для того, чтобы построить дерево целей [21]. Кроме того, программно-целевой подход основан на возможности широкого выбора средств достижения целей. Наиболее распространенными методами распределения средств на прикладные исследования являются методы аналитической иерархии [22]. Идея этих методов состоит в том, что сначала эксперты определяют в количественной форме степень влияния отдельных видов ресурсов на задачи прикладных исследований. Далее аналогичном способом строится матрица «задачи - цели исследования» и в ее клетках также проставляются количественные оценки влияния задач на достижение целей прикладных исследований. Влияние необходимых ресурсов на достижение целей прикладной НИР определяется путем вычисления собственного вектора построенных матриц. Коэффициенты вклада отдельных ресурсов рассматриваются как показатели, пропорционально которым распределяются средства.

Следует отметить, что матричные методы анализа иерархий основаны на весьма неопределенном в данном случае понятии вклада ресурсов в результаты прикладных исследований. Такой вклад сравнительно нетрудно оценить путем ретроспективного анализа после достижения конечных результатов разработок, но не в момент планирования. В данном случае целесообразно использовать методы оценки сценариев [23], хотя они не всегда позволяют определить соответствие рассматриваемых предложений политике заказчика исследований и оценить влияние ограниченности ресурсов на возможный характер ожидаемых прикладных научных результатов.

Научно-методические подходы к определению эффективности научной деятельности в ХТС

В наибольшей степени характеру эффективности научной деятельности в ХТС соответствует метод оценки научных исследований по многим критериям. Эффективность предлагается оценивать по трем группам критериев: внутренняя эффективность, внешняя эффективность и структурная эффективность. Внутренняя эффективность определяется вероятностью обнаружения принципиально новых закономерностей, потенциальной возможностью для широких обобщений, подготовленностью научного направления к его детальной разработке.

Внешняя эффективность определяется по следующим критериям: влияние на развитие других научных направлений, вклад в решение практических задач, обеспечение химической безопасности, возможность быстрого внедрения результатов.

Структурная эффективность определяется по таким критериям, как эффективность использования имеющихся ресурсов и потребность в ресурсах.

Эффективность научной деятельности предлагается оценивать по каждому из критериев, используя вербальные шкалы. Эти оценки затем объединяются на основе решающих правил в общий показатель эффективности, в соответствии с величиной которого в дальнейшем возможно провести упорядочение или выбор лучшего варианта.

Критерии оценки эффективности научной деятельности должны иметь такие шкалы оценок, которые, с одной стороны, отражают качества объекта оценки, а с другой стороны, понятны для лица, принимающего решения. Предлагается использовать три качественные градации эффективности (низкая - Н, средняя - С, высокая - В), что позволяет упростить объяснение и понимание полученных результатов за счет унификации, а также упростить процедуру формирования шкал составных критериев. Построение шкал критериев эффективности рассматривается как задача порядковой классификации, где в качестве классифицируемых объектов выступают комбинации градаций оценок исходных показателей, а классами решений являются градации оценок составного критерия эффективности. Таким образом, каждой градации оценок на шкале составного критерия эффективности соответствует некоторая комбинация градаций оценок исходных показателей. Предлагается алгоритм, который позволяет построить полную и непротиворечивую классификацию комбинаций градаций качественных оценок эффективности. Алгоритм состоит из следующих основных шагов.

Сформировать множество исходных признаков эффективности X1, ..., Xm и их порядковых шкал Xi = {х,1, ...,xg}, i = 1, ..., m.

Построить иерархическую систему критериев эффективности и сформировать составные критерии V1, ..., Yn, которые агрегируют группы исходных признаков эффективности, задать их порядковые шкалы Y. = {y., ..., y^J}, j = 1, .... n, n<m.

Построить индивидуальную классификацию в блоке i-го уровня иерархии: объекты классификации - комбинации градаций оценок на шкалах исходных признаков, классы - градации оценок на шкале составного критерия /-го уровня.

Представить индивидуальные решающие правила в виде мультимножества ug vg wg д'-

Построить классификацию в блоке (i + 1)-го уровня иерархии: объекты классификации - комбинации градаций оценок на шкалах составных критериев i-го уровня, классы - градации оценок на шкале составного критерия (i + 1)-го уровня.

Повторить процедуру, пока не останется единственный составной критерий верхнего уровня.

Используя разработанный алгоритм, выполнено последовательное иерархическое агрегирование признаков эффективности в небольшое число вербальных порядковых шкал составных критериев.

Например, решающие правила классификации для критерия эффективности научной деятельности, который состоит из трех подкритериев верхнего уровня (внутренняя, внешняя и структурная эффективность), имеют следующий вид:



IF <(ННН), (ННС), (НСН), (СНН)>, THEN («Низкий уровень эффективности» (градация у11 = Н)>,

IF <(НСС), (НВС), (СНС), (ССС), (ВНС), (ССН), (ВНН), (НВН), (ВСН), (СВН)>, THEN («Средний уровень эффективности» (градация у12 = С)>,

IF ((СВС), (ВСС), (ВВС), (ВВН)>, THEN («Высокий уровень эффективности» (градация у13 = В)>.

Наиболее существенные с точки зрения методологии особенности процесса оценки эффективности научной деятельности в ХТС состоят в следующем:

значительная по объему и наиболее важная информация может быть получена лишь путем опроса экспертов;

оценка осуществляется при значительной неопределенности относительно сроков и результатов исследований.

Поскольку основная часть информации может быть получена только путем экспертного опроса, особое значение приобретает проблема получения и обработки такой информации.

Достоверность информации зависит не только от компетенции эксперта, но также от того, какая информация и в каком виде от него требуется. Опыт практической работы с экспертами и специальные психологические исследования показали [24], что выдача экспертами числовых оценок (в виде баллов, весов и т. д.) качественных факторов связана с большими затруднениями и достоверность полученной информации вызывает сомнение. Например, если требуется оценить в баллах вклад в решение практических задач в ХТС, то представляется весьма рискованным и методологически неверным использование подобных числовых оценок во всевозможных математических преобразованиях. Человек оперирует качественными оценками в порядковых шкалах, т. е. сравнивая два объекта по какому-либо качественному признаку, эксперт может относительно легко в пределах своей компетентности указать, что один из объектов лучше другого по данному критерию, объекты примерно равны или он затрудняется их сравнить. Если же эксперт оценивает объекты по качественному критерию и проставляет для них числовые оценки в баллах, то следует с большой осторожностью делать вывод, что расстояние по шкале данного критерия между двумя объектами, например, вдвое меньше, чем между другими объектами. Вид информации, получаемой от эксперта, должен соответствовать характеру оцениваемых объектов и критериев, по которым эта оценка производится.

Это обстоятельство крайне редко учитывается в существующих методах оценки эффективности научных исследований. Как правило, при сборе информации используются интервальные шкалы или шкалы отношений [25, 26]. В ряде случаев используются шкалы качественных оценок, но им сразу же ставятся в однозначное соответствие балльные эквиваленты. Затем оценки умножаются на веса, нормируются и т. д. Таким образом, проблеме измерения уделяется весьма малое внимание, хотя в задачах оценки научных исследований она является одной из самых важных. Обычно делаются определенные допущения о научных результатах и формулируются соответствующие количественные зависимости. Возникает как бы объективная и универсальная количественная модель. При этом упускается из виду, что ситуация, в которой осуществляется анализ эффективности, часто уникальна. Многие из зависимостей далеко не бесспорны, и вместо них с равным основанием могут быть сформулированы другие. Ясное понимание недостатков существующих методов оценки эффективности научной деятельности необходимо при построения новых методов, в которых эти недостатки могли бы быть частично или полностью преодолены.



Заключение

Анализ развития науки убедительно показывает, что в современных условиях коренным образом изменился характер научной деятельности в ХТС. Процессы, происходящие в науке, тенденции развития отдельных ее областей, факторы, влияющие на эффективность научных исследований, социальное значение научных результатов стали предметом глубокого и всестороннего изучения. Для более глубокого понимания проблем, связанных с развитием научных исследований и разработок в ХТС, изучен опыт оценки эффективности, накопленный в области фундаментальных и прикладных исследований. Проведенное исследование позволило выявить, что в настоящее время отсутствует единый подход к оценке эффективности научной деятельности. Показано, что высокий уровень неопределенности в сроках и результатах исследований затрудняет возможность оценки фундаментальных исследований по ожидаемым результатам. При применении методов оценки эффективности прикладных исследований очень большое значение придается степени выполнения поставленных задач. В то же время критерии востребованности и реализуемости не рассматриваются. Предложены новые научно-методические подходы для оценки эффективности научной деятельности в ХТС. Эффективность предлагается оценивать по трем группам критериев: внутренняя эффективность, внешняя эффективность и структурная эффективность. Поскольку основная часть информации может быть получена только путем экспертного опроса, выделены проблемы получения и обработки экспертной информации и намечены пути их решения.



Библиографический список

1. Варшавский А.Е. Наукоемкие отрасли и высокие технологии: определение, показатели, техническая политика, удельный вес в структуре экономики России // Экономическая наука современной России. 2000. № 2. С. 61-83.

2. Елисеев Ю.С., Саушкин Б.П. Состояние и перспективы развития наукоемких технологий машиностроительного производства // Металлообработка. 2010. № 2(56). С. 9-17.

3. Степанова Е.Ю. Наукоемкие отрасли и высокие технологии - основа технологической безопасности и независимости страны // Фундаментальные и прикладные проблемы техники и технологии. 2014. № 2(304). С. 122-132.

4. Барабонова И.М., Кошкина М.Г., Савицкая Т.В., Егоров А.Ф. Основные этапы анализа и оценки риска вуза химико-технологического профиля // Успехи в химии и химической технологии. 2007. Т. 21. № 1(69). С. 92-95.

5. Проничкин С.В., Раевская Е.Г., Тихонов И.П. Опыт организации и проведения комплексной экспертизы результатов научно-технической програм- мы // Химическая безопасность. 2017. Т 1. № 2(1). С. 147-157.

6. Проничкин С.В., ТихоновИ.П. Разработка системы критериев и методических подходов к экспертной оценке эффективности деятельности научных организаций // Национальные интересы: приоритеты и безопасность. 2013. Т. 9. № 37(226). С. 13-19.

7. Проничкин С.В., Тихонов И.П. Оценка результативности деятельности научных организаций // Экономический анализ: теория и практика. 2014. № 3(354). С. 27-32.

8. Варшавский А.Е. О стратегии научно-технологического развития российской экономики // Общество и экономика. 2017. № 6. С. 5-27.

9. Лукашов В.Н., Лукашов Н.В., Слепинина А.К. Анализ подходов к экономической оценке фундаментальных исследований в рамках полных инновационных проектов // Инновации. 2016. № 9(215). С. 55-61.

10. Миндели Л.Э., Черных С.И. Финансирование фундаментальных исследований в России: современные реалии и формирование прогнозных оценок // Проблемы прогнозирования. 2016. № 3 (156). С. 111-122.

11. Леонов А.В., Пронин А.Ю. Определение приоритетных направлений фундаментальных научных исследований для создания высокотехнологичной продукции // Национальные интересы: приоритеты и безопасность. 2017. Т. 13. № 6 (351). С. 1004-1017.

12. Demiric M, Audretsch D. Conditions for innovation in public sector organizations // Research Policy. 2017. V. 46. N 9. P 1681-1691.

13. Bryan K., Lemus J. The direction of innovation // Journal of Economic Theory. 2017. V. 172. P. 247-272.

14. Havas A., Weber K. The fit between forwardlooking activities and the innovation policy governance sub-system // Technological Forecasting and Social Change. 2017. V 115. P 327-337.

15. Пантелеева К.О. Ключевые подходы и методы планирования нового продукта на стадии НИОКР // European Social Science Journal. 2013. № 10-2(37). С. 442-450.

16. Zehavi A., Brenit D. Distribution sensitive innovation policies // Research Policy. 2017. V. 46. N 1. P 327336.

17. Проничкин С.В., Тихонов И.П., Сахарова Н.А, Рощин А.В. Разработка критериальной модели оценки инновационного потенциала результатов современных научно-технических программ // Химическая безопасность. 2017. № 1 (1). С. 256-265.

18. Проничкин С.В. Накопленный потенциал и перспективы развития грантовой формы поддержки науки // Материалы Всероссийской научно-практической конференции «Совершенствование системы взаимодействия Российского фонда фундаментальных исследований и субъектов Российской Федерации в вопросах проведения региональных и молодежных конкурсов». М.: Изд-во РФФИ, 2016. С. 140-143.

19. ЧичеринЛ.П., Щепин В.О. К модернизации программно-целевого планирования научных исследований в России // Бюллетень Национального научноисследовательского института общественного здоровья имени Н.А. Семашко. 2014. № 2. С. 154-158.

20. Гудкова А.А. Развитие программно-целевого метода планирования исследований и разработок // Инноватика и экспертиза: научные труды. 2014. № 1(12). С. 121-130.

21. Семирханова О.Н. «Дерево целей» как способ разработки целевых программ в АПК // Вестник Алтайского государственного аграрного университета. 2010. № 1(63). С. 106-109.

22. 22.Saaty T.L. Time dependent decision-making; dynamic priorities in the AHP/ANP: Generalizing from points to functions and from real to complex variables // Mathematical and Computer Modelling. 2007. Vol. 46. Iss. 7-8. P 860-891.

23. Smedt P, Borch K, Fuller T. Future scenarios to inspire innovation // Technological Forecasting and Social Change. 2013. V. 80. N 3. P 432-443.

24. Ларичев О.И. Вербальный анализ решений. М.: Наука, 2006. 181 с.

25. Варшавский А.Е. Основные проблемы оценки результативности и эффективности деятельности научных организаций // Концепции. 2015. № 1(33). С. 3-8.

26. Зибарева И.В. Оценка научной результативности организации библиометрическими методами: проблемы и решения // Территория новых возможностей. Вестник Владивостокского государственного университета экономики и сервиса. 2012. № 4(17). С. 148-156.

27. Varshavsky A.E. Science-intensive Sector and High Technologies in Russian Economy. Ekonomicheskaya nauka sovremennoi Rossii = Economics of Contemporary Russia. 2000. No. 2. Pp. 61-83. (In Russ.)

28. Eliseev Yu.S., Saushkin B.P. The state and prospects of development of high technologies of machine-building production. Metalloobrabotka = Metalworking, 2010. No. 2(56). Pp. 9-17. (In Russ.)

29. Stepanova E.Yu. The high technology branches and high technologies are the basis of technological security and independence of the country. Fundamental'nye i prikladnye problemy tekhniki i tekhnologii = Fundamental and applied problems of engineering and technology.2014. No. 2(304). Pp. 122-132. (In Russ.)

30. Barabonova I.M., Koshkina M.G., Savitskaya T.V, Egorov A.F Main stages of analysis and risk assessment of a university chemical-technological. Uspekhi v khimii i khimicheskoi tekhnologii = JournalAdnvances in Chemistry and Chemical Technology.2007. Vol. 21. No. 1(69). Pp. 92-95. (In Russ.)

31. Pronichkin S.V., Raevskaya E.G., Tikhonov I.P. Experience in organizing and guiding comprehensive expertise of results of scientific and technical program. Khimicheskaya bezopasnost' = Chemical Safety Science. 2017. Vol. 1. No. 2(1), Pp. 147-157. (In Russ.)

32. Pronichkin S.V., Tikhonov I.P. Development of criteria and methodological approaches to assessment of effectiveness of expert scientific organizations. Natsional'nye interesy: prioritety i bezopasnost' = National interests: priorities and security.2013. Vol. 9. No. 37(226). Pp. 13-19. (In Russ.)

33. Pronichkin S.V., Tikhonov I.P. Assessment of productivity of activity of the scientific organizations. Ekonomicheskij analiz: teoriya i praktika = Economic analysis: theory and practice.2014. No. 3(354). Pp. 27-32. (In Russ.)

34. Varshavsky A.E. On the strategy of scientific and technological development of the Russian economy. Obshchestvo i ekonomika = Society and Economics. 2017. No. 6. Pp. 5-27. (In Russ.)

35. Lukashov V.N., Lukashov N.V., Slepinina A.K. Analysis of the major trends in the economic evaluation of basic research. Innovatsii = Innovations. 2016. No. 9(215). Pp. 55-61. (In Russ.)

36. Mindeli L.E., Chernykh S.I. Funding of basic research in Russia: Modern realities and forecasts. Problemy prognozirovaniya = Problems of Forecasting.2016. No. 3(156). Pp. 111-122. (In Russ.)

37. Leonov A.V., Pronin A.Yu. Prioritizing the areas of basic research for the creation of high-technological products. Natsional'nye interesy: prioritety i bezopasnost' = National interests: priorities and security.2017. Vol. 13. No. 6(351). Pp. 1004-1017. (In Russ.)

38. Demiric M., Audretsch D. Conditions for innovation in public sector organizations. Research Policy, 2017. Vol. 46. No. 9. Pp. 1681-1691. DOI: 10.1016/j. respol.2017.08.004

39. Bryan K., Lemus J. The direction of innovation. Journal of Economic Theory. 2017. Vol. 172. Pp. 247-272.

40. Havas A., Weber K. The fit between forwardlooking activities and the innovation policy governance sub-system. Technological Forecasting and Social Change. 2017. Vol. 115. Pp. 327-337.

41. Panteleeva K.O. Key approaches and methods for planning new product at the stage of research and experimental-design developments. European Social Science Journal. 2013. No. 10-2(37). Pp. 442-450. (In Russ.)

42. Zehavi A., Brenit D. Distribution sensitive innovation policies. Research Policy, 2017. Vol. 46. No. 1. Pp. 327-336.

43. Pronichkin S.V., Tikhonov I.P., Sakharova N.A., Roshhin A.V Development of criterial model for evaluation of innovative potential of results of modern scientific and technical programs. Khimicheskaya bezopasnost' = Chemical Safety Science. 2017. No. 1(1). Pp. 256-265. (In Russ.)

44. Pronichkin S.V Nakoplennyj potencial i per- spektivy razvitiya grantovoj formy podderzhki nauki [Accumulated potential and prospects for the development of a grant form of science support]. Processing of the All-Russian scientific-practical conference «Improving the system of interaction between the Russian Foundation for Basic Research and the subjects of the Russian Federation in matters of regional and youth competitions».Moscow: Izdatel'stvo RFFI, 2016. Pp. 140-143. (In Russ.)

45. Chicherin L.P, Shepin V.O. Towards the modernization of program-target planning of research in Russia. Byulleten' Natsional'nogo nauchno-issledovatel'skogo instituta obshchestvennogo zdorov'ya imeni N.J Semashko = Bulletin of the National Research Institute of Public Health named after N.A. Semashko.2014. No. 2. Pp. 154-158. (In Russ.)

46. Gudkova A.A. Development of the programtarget method of research and development planning. Innovatika i ehkspertiza: nauchnye trudy = Innovation and Expertise: Scientific Works.2014. No. 1(12). Pp. 121-130. (In Russ.)

47. Semirkhanova O.N. «Tree of goals» as a way to develop targeted programs in the agro-industrial complex. Vestnik Аltajskogo gosudarstvennogo agrarnogo universiteta = Bulletin of the Altai State Agrarian University. 2010. No. 1(63). Pp. 106-109.

48. Saaty T.L. Time dependent decision-making dynamic priorities in the AHP/ANP: Generalizing from points to functions and from real to complex variables. Mathematical and Computer Modelling. 2007. Vol. 46. No. 7-8. Pp. 860-891.

49. Smedt P., Borch K., Fuller T. Future scenarios to inspire innovation. Technological Forecasting and Social Change. 2013. Vol. 80. No. 3. Pp. 432-443.

50. Larichev O.I. Verbal'nyj analiz reshenij [Verbal analysis of decisions]. Moscow: Nauka, 2006. 181 p. (In Russ.)

51. Varshavsky A.E. The main problems of assessing the resultativeness and effectiveness of scientific organizations. Kontseptsii = Concepcii. 2015. No. 1(33). Pp. 3-8. (In Russ.)

52. Zibareva I.V Bibliometric evaluation of organization scientific output: problems and their solutions. Territoriya novykh vozmozhnostei. Vestnik Vladivostokskogo gosudarstvennogo universiteta ekonomiki i servisa = Territory of new opportunities. Bulletin of the Vladivostok State University of Economics and Service.2012. No. 4(17). Pp. 148-156. (In Russ.)



Abstract

Problems and prospects for evaluating the effectiveness of scientific activity in the chemical-technological field

S.V. Pronichkin, Federal Research Center «Computer Science and Control» of Russian Academy of Sciences, 44/2 Vavilova, Moscow 119333, Russia

B. Mamay, National University of Science and Technology «MISiS», 4 Leninskiy Prospekt, Moscow 119049, Russia R.N. Bafoev - Graduate Student Institute of Physics and Technology, 9 Institutskii Per., Dolgoprudny 141701, Russia

In modern conditions, the nature of scientific activity in the chemical and technological field is changed radically. Therefore, it is particularly relevant to implement an effective scientific and technical policy in this area in order to reduce the level of risk of the negative impact of hazardous chemical factors on the population and the environment. For a deeper understanding of the problems associated with the evolution of research and development in the chemical-technological field, the development of the issues of determining the effectiveness of scientific activity was applied in relation to the assessment of basic and applied research. The features of the development of science in the chemical- technological field in modern conditions are highlighted. A review of methods for determining the effectiveness of research and development is presented, and methodological problems are discussed. The specificity of determining the effectiveness of fundamental and applied scientific research in the chemical and technological field is highlighted. The problems of operational and long-term planning of research and development are investigated. The features of the expansion of research in the field of chemical technology are revealed. The problems of increasing the resource- intensiveness of research and development, staffing and optimization of training mechanisms for graduates of rare specialties in the chemical-technological field are investigated. Scientific and methodological approaches are proposed for determining the effectiveness of scientific activity in the chemical and technological field. Efficiency evaluation criteria are developed, which take into account the internal effects and externalities of scientific activities in the chemical and technological field. Efficiency is proposed to be evaluated according to three groups of criteria, internal efficiency, external efficiency and structural efficiency. Since the main part of the information can only be obtained through examination, the problems of obtaining and processing expert information are highlighted and ways of solving them are outlined.

...