Особенности экспертной оценки инвестиционных проектов на примере медицинской отрасли

Размещено на http://www.allbest.ru/

Российская академия народного хозяйства и государственной службы при Президенте РФ

Особенности экспертной оценки инвестиционных проектов на примере медицинской отрасли

С.П. Ковалев, Е.Р. Яшина, П.С. Турзин, К.Е. Лукичев

Москва, Российская Федерация



Аннотация

Выполнен анализ нормативной правовой документации, регламентирующей процедуру проведения конкурсов на лучший проект. Рассмотрены современная методология и технология отбора и экспертной оценки инвестиционных проектов в государственном и коммерческом секторах экономики. Определены виды рисков неэффективных управленческих решений на основе анализа результатов выполненной экспертной оценки этих инвестиционных проектов, в том числе в области медицины.

Ключевые слова: инвестиционные проекты, государственные фонды, коммерческие организации, экспертная оценка, риски, медицина



Abstract

FEATURES OF EXPERT EVALUATION OF INVESTMENT PROJECTS ON THE EXAMPLE OF THE MEDICAL INDUSTRY

The analysis of the normative legal documentation regulating the procedure for holding competitions for the best project is performed. The modern methodology and technology of selection and expert evaluation of investment projects in the state and commercial sectors of the economy are considered. The types of risks of ineffective management decisions are determined based on the analysis of the results of expert evaluation of these investment projects, including in the field of medicine.

Keywords: investment projects, state funds, commercial organizations, expert assessment, risks, medicine Acknowledgements: The study was carried out within the framework of the state assignment of the RANEPA "Analysis of modern organizational and information technologies in the management of professional health and professional longevity".



Введение

Проблема инвесторов при выборе наиболее перспективных инновационных проектов состоит в сложности их отбора по достаточно неопределенным на ранних этапах их разработки характеристикам: коммерческого потенциала, степени готовности к созданию и освоению, востребованности на рынке, сроках окупаемости, рентабельности, уровням различных рисков и т.д.

В настоящее время разработка и внедрение инновационных разработок как в нашей стране, так и за рубежом осуществляется за счет государственных или частных инвестиций.

Представляет определенный интерес сравнительный анализ критериев отбора подобных инновационных разработок, системы их экспертиз и возможных рисков в этих двух случаях.

Цель работы - формирование современного подхода к повышению успешности принятия управленческих решений при инвестировании в инновационные разработки в коммерческой организации.

Задачами исследования являлись: поиск актуальной нормативной правовой документации по рассматриваемой проблеме, сравнительный анализ существующих систем отбора инновационных разработок на примере проектов в медицинской отрасли и формирование Порядка проведения оценки инвестиционного проекта в медицинской отрасли коммерческой организацией.

Перечень актуальной нормативной правовой документации

по рассматриваемой проблеме

Вопросы выявления и отбора наиболее приоритетных проектов нашли свое отражение в следующих нормативных правовых актах:

Указы Президента Российской Федерации

* Указ Президента Российской Федерации от 01.12.2016 г. № 642 «О Стратегии научно-технологического развития Российской Федерации»;

* Указ Президента Российской Федерации от 07.07.201 1 г. № 899 «Об утверждении приоритетных направлений развития науки, технологий и техники в Российской Федерации и перечня критических технологий Российской Федерации»;

* Указ Президента Российской Федерации от 28.07.2012 г. № 1059 «О Совете при Президенте Российской Федерации по науке и образованию».

Федеральное законодательство

* Гражданский кодекс Российской Федерации (часть вторая) от 26.01.1996 г. № 14-ФЗ (Глава 57);

* Федеральный закон от 23.08.1996 г. № 127-ФЗ «О науке и государственной научно-технической политике»;

* Федеральный закон от 28.09.2010 г. № 244-ФЗ «Об инновационном центре «Сколково».

Критерии отбора инновационных разработок для инвестирования в государственных фондах

Основные критерии отбора инновационных разработок для инвестирования в государственных фондах представлены в таблице 1. Анализ таблицы показал, что критерии, относящиеся к реализуемости проекта, возможности практического использования результатов проектов во всех рассматриваемых государственных фондах, находятся, как правило, в конце перечней этих показателей.

Так, при организации проведения Российским фондом фундаментальных исследований (РФФИ) конкурсов:

- «Проектов фундаментальных научных исследований» критерий «реализуемость проекта» находится на 6 месте из 7 критериев,

- «Комплексных междисциплинарных исследований» критерий «реализуемость Комплексного проекта» на 5 месте из 6 критериев,

- «Молодежных конкурсов» критерий «возможность практического использования результатов исследования» находится на 5 месте из 12 критериев.

Также при организации проведения Российским научным фондом (РНФ) конкурсов используется критерий «Значимость результатов выполнения проекта».

Проводится экспертная оценка как научной, так и, в целом, общественной значимости заявляемых результатов выполняемого проекта, в число которых входят: получение результатов сопоставимых с мировыми требованиями. Практическая направленность использования получаемых результатов как в экономической, так и в социальной сферах -- находится на 4 месте из 5 критериев.

Кроме этого, при организации проведения Фондом перспективных исследований конкурсов критерий «... и техническая реализуемость проекта» находится на 5 месте из 6.

Однако наряду с этим следует отметить, что при организации проведения Фондом содействия инновациям конкурса по Программе «Коммерциализация» «по заявке должно быть сделано не менее двух независимых экспертиз по оценке научно-технического уровня разработки по оценке перспективности внедрения, коммерческой реализации создаваемого продукта» [4].

Критерии отбора инновационных разработок для инвестирования государственными фондами

Критерии конкурсного отбора заявок (оценки заявок на участие в конкурсах)
Российский фонд фундаментальных исследований	Российский научный фонд	Фонд перспективных исследований
Конкурсы проектов фундаментальных научных иссле	- Направление исследований,	- Актуальность пробле
дований.	предусматриваемых проектом,	мы, решаемой в рамках
- фундаментальность исследований;	соответствует научным областям,	проекта.
- актуальность исследования;	которые поддерживает Фонд.	- Достижение качественно
- научная значимость ожидаемых результатов;	- Степень профессиональной под	новых научно-технических
- научный задел и квалификация членов коллектива;	готовленности как руководителя	результатов и прорыв
- новизна ожидаемых результатов исследования;	проекта, так и подчиненного ему	ной характер технологий,
- представление современного состояния проблемы;	научного коллектива.	создаваемых в рамках
- реализуемость проекта;	- Обоснованность проекта (и на	проекта.
- соответствие ожидаемых результатов мировому уровню.	правления исследования) с науч	- Наличие у потенциального
	ной точки зрения.	исполнителя коллектива,
Комплексные междисциплинарные исследования.	- Высокая значимость и соот	способного выполнить про
- значимость предложенного исследования для достижения	ветствие требованиям Фонда	ект, а также научно-техни
целей Комплексного проекта;	результатов выполнения проекта.	ческого и технологического
- комплексность исследования;	Проводится экспертная оценка	заделов по заявленной
- междисциплинарность Комплексного проекта;	как научной, так и, в целом, об	теме.
- обоснованность предложенных способов достижения	щественной значимости заявля	- Направленность и степень
целей Комплексного проекта;	емых результатов выполняемого	влияния реализации проек
- реализуемость Комплексного проекта;	проекта, в число которых входят:	та на парирование угроз
- фундаментальность Комплексного проекта и др.	получение результатов сопоста	обороноспособности и
Молодежные конкурсы:	вимых с мировыми требованиями,	безопасности государства.
	практическая направленность ис	- Научная состоятельность и
- значимость проекта для получения результатов, необхо	пользования получаемых резуль	техническая реализуемость
димых для завершения диссертации на соискание ученой	татов как в экономической, так и	проекта.
степени РЬО или кандидата наук;	в социальной сферах, публикации	- Соответствие проекта
- обоснованность выбора руководителя коллектива;	и иные способы обнародования	основным направлениям



Экспертиза проектов с участием экспертов в государственных фондах

В материалах конкурсной документации вышеуказанных фондов отмечено, что решения по проектам, вынесенным на рассмотрение, принимаются только по результатам проведенной экспертизы, в том числе, на основе привлечения экспертов, в обязанности которых включается подготовка заключений о, собственно, целесообразности проведения исследований или разработок.

Известно, что экспертные оценки являются достаточно значимой качественной информацией, которая может быть применена при формировании организационных и управленческих решений в условиях невозможности получения объективных количественных значений. Отмечается, что довольно часто результаты экспертной оценки используются при принятии решений в области организации здравоохранения, оценке общественного, профессионального и индивидуального здоровья, качества оказания медицинской помощи и т.д. [5-8]. При этом показана определенная эффективность использования такого метода как «экспертная оценка» при разрешении проблемы управленческой деятельности и показаны перспективные направления развития данного метода с целью повышения качества принимаемых управленческих решений.

Разработан ряд универсальных и специальных методик проведения экспертных исследований и экспертных оценок применительно к различным сферам деятельности [9-11].

Для подбора экспертов сформировано несколько подходов.

Выбор экспертов для участия в отборе инновационных разработок для инвестирования в государственных фондах

Подходы к организации и проведению экспертиз в РФФИ основаны на содержании коллективного заявления, принятие которого

290 состоялось в рамках Глобальной встречи руководителей фондов из более чем 50 стран, состоявшейся 2012 г., и включает в себя следующие основополагающие принципы:

* компетентность экспертов,

* прозрачность экспертизы,

* объективность экспертизы,

* профильность экспертизы,

* конфиденциальность экспертизы,

* добросовестность и соответствие этическим нормам [12].

В РНФ к эксперту предъявляются следующие требования [13] «активный и результативный ученый -- доктор философии (РЬЭ) или аналогичной), компетентный в той области науки, исследования в которой поддерживаются РНФ». Требования, предъявляемые к кандидатам в эксперты, а также процедурная составляющая подачи ими заявлений, регламентируются соответствующими распорядительными документами директора Фонда.

Предполагается, что эксперт должен быть компетентен в соответствующей области науки и практики, а также иметь достаточные знания и опыт для выполнения экспертной оценки (экспертизы) на высоком уровне. экспертный инвестиционный коммерческий управленческий

В целом выделяют следующие виды методов оценки качества экспертов:

* документальные -- значения оценок качества экспертов формируются с учетом документальной информации, содержащей соответствующие данные о них;

* статистические -- объективная составляющая качества экспертиз, проводимых привлекаемыми специалистами. Определяется путем обработки мнений, получаемых по результатам экспертизы, с последующим статистическим анализом;

* тестовые -- эксперт проходит тестирование, результаты которого анализируются;

* эвристические -- качество деятельности эксперта оценивается внешним специалистом;

* комбинированные -- значения оценок качества эксперта формируется путем использования вышеперечисленных методов путем их комбинации и др.

Каждый из этих видов методов может включать в себя ряд типов оценок и методик их получения.

Представляется возможным используемые государственными фондами подходы и методы отбора экспертов и проведения экспертизы предлагаемых проектов применять и коммерческими организациями. Однако при этом следует учитывать и ряд существующих специфических особенностей.

Особенности проведения экспертной оценки проектов коммерческими организациями

Вполне закономерно и естественно, что при отборе проектов коммерческими организациями на одном из первых мест в перечне критериев их отбора находится инвестиционная привлекательность рассматриваемых проектов.

Кроме этого, используются следующие критерии оценки инвестиционных проектов коммерческими организациями:

-- статус организации, представившей инвестиционный проект, наличие у нее лицензий, сертификатов, разрешений, свидетельств, прав на результаты интеллектуальной деятельности и т.д.;

-- наличие официальных отзывов на разработки и результаты их внедрения;

-- экономическое состояние организации (материальные и нематериальные активы на балансе, инвесторы, текущие финансовые показатели);

-- квалификация и компетентность сотрудников;

-- оценка бизнес-плана;

-- оценка инвестиционного плана;

-- оценка финансовой модели;

-- оценка дорожной карты;

-- оценка вариантов форм взаимодействия;

-- оценка ожидаемого экономического эффекта и т.д.

Проблема риска при выполнении экспертизы проектов

В последе время активно обсуждается проблема риска при принятии различных управленческих решений во многих областях экономической жизни страны. Под риском в общем смысле подразумевают вероятность

возникновения какого-то события или явления и нанесенного при этом ущерба в социальной, экономической, экологической или иной сферах. Риски классифицируют по их причинам, особенностям выполняемой при этом деятельности, объектам, на которые они направлены, и т.д.

Под рискометрией в медицинской отрасли подразумевается «количественная оценка вероятности риска наиболее распространенных патологических процессов, осуществляемая на основе анализа формализованного комплекса анамнестических, генетических, медицинских и психологических данных, особенностей производственной и окружающей среды, питания и основных объективных характеристик функционального состояния организма, подвергнутых математической процедуре интегрирования с учетом их диагностического весового вклада в заключение о прогнозе» [14]. Например, риск для здоровья -- это вероятность развития неблагоприятного эффекта для здоровья у индивидуума или группы людей при воздействии предельной дозы, концентрации, количества опасного агента (бактерии, вируса, стресса и т.д.) в определенных обстоятельствах.

Проблема рисков рассматривается применительно ко многим видам деятельности: прогнозированию, проектированию, медицине, экологии и другим.

В области медицины часто выделяют факторы риска развития наиболее распространенных неинфекционных заболеваний, а также факторы риска заболеваний применительно к прогнозированию индивидуального здоровья и долголетия [15].

Особо это актуально при принятии решений коммерческими организациями в случаях определения инвестиционной привлекательности предлагаемых для совместной разработки проектов или для участия во внедрении их результатов. Наиболее этот риск выражен при проведении экспертных оценок инвестиционных проектов.

При этом следует учитывать, что оценка риска, вызванного комплексным воздействием различных факторов, требует анализа вклада каждого из них в конечный эффект.

Тем не менее, всегда существует значительный риск недостаточно квалифицированной экспертизы инвестиционных проектов.

При выполнении экспертизы инвестиционных проектов экспертами может быть допущен недостаточно глубокий и детальный анализ предлагаемых инвестиционных проектов в области медицинских программ (медицинских изделий, лекарственных препаратов, биологически активных добавок к пище и др.), в частности:

-- новизны и практической реализуемости предлагаемых инвестиционных проектов;

-- прав на интеллектуальную собственность авторов предлагаемых инвестиционных проектов;

-- дорожных карт и бизнес-планов предлагаемых инвестиционных проектов;

-- конкурентной среды производителей и рынков реализации продукции в сфере предлагаемых инвестиционных проектов;

-- инновационной, акселерационной и инвестиционной привлекаемости предлагаемых инвестиционных проектов для коммерческой организации-инвестора.

Основными причины возникновения этих ошибочных экспертных заключений могут быть:

1. Ограниченность, недостоверность, неубедительность или рекламный характер представленной информации по предлагаемому инвестиционному проекту.

2. Недоступность необходимой и объективной информации по предлагаемому инвестиционному проекту.

3. Недостаточная компетентность экспер- та(ов) в сфере предлагаемого инвестиционного проекта.

К основным мероприятиям, направленным на снижение уровня риска неквалифицированной экспертизы, следует отнести:

1. Усиление и дифференциация требований к информации, представляемой по предлагаемым инвестиционным проектам.

2. Системный междисциплинарный анализ информации, представляемой по предлагаемым инвестиционным проектам

3. Развитие системы отбора и подготовки экспертов.

Основное отличие рисков при инвестировании в проекты коммерческой организацией от государственного фонда состоит, если не рассматривать непосредственно медицинские аспекты, видимо, в большей личной ответственности за вложенные средства и их меньшей социально-экономической значимости.

Порядок проведения оценки инвестиционного проекта коммерческой организацией

1. Определение цели и задач экспертной оценки.

2. Установление сроков проведения экспертной оценки.

3. Определение прав, полномочий и меры ответственности экспертов.

4. Исключение конфликта интересов экспертов.

5. Подбор экспертов из числа высококвалифицированных специалистов с большим опытом работы проводится по результатам оценки обозначенной проблемы, предъявляемой достоверности сделанных оценок, уровня экспертов и использованных для получения результата ресурсов. При этом исходят из определения целого ряда субъективных особенностей экспертов, таких как: уровень компетенций, наличие креативного подхода, проявленное отношения к процессу проведения экспертизы, реализация в рамках проведения экспертизы самокритичности, проявленная конструктивность мышления, возможность работы в команде экспертов и т.д.

В целях формирования подходов к оцениванию степени компетентности эксперта через количественный показатель, вводится «коэффициент компетентности», который позволяет взвешивать мнение эксперта. Данный коэффициент формируется по априорным (до проведения экспертизы на основе самооценки эксперта и взаимной оценки со стороны других экспертов) и апостериорным (производится на основе обработки результатов экспертизы) показателям.

Основной этап экспертной оценки состоит в выполнении экспертизы материалов предлагаемого инвестиционного проекта. Методология и технология проведения экспертной оценки, выбор совокупности используемой методологии оценивания напрямую вытекают из особенностей проводимой экспертизы. Экспертная оценка представляется собой совокупный результат интеллектуальной деятельности и основана на умении переработки информации с системных позиций, прогнозировать и принимать нестандартные решения.

Имеет место проведение ряда сопутствующих процедур: организационное и методическое сопровождение экспертной оценки; формулировка задач и передача вопросников экспертам; информационная поддержка проводимой экспертами работы. Основными методами экспертной оценки выступают: как крайне распространенные анкетирование и интервьюирование, так и проведение дискуссий, мозговых штурмов и т.д.

Завершающий этап экспертной оценки предлагаемого инвестиционного проекта -- обобщение, систематизация и анализ мнений экспертов, принятие экспертного заключения и оформление результатов экспертной оценки в виде требуемого документа - основы для компетентного управленческого решения, которое также может стать предметом оценки эффективности руководителей в системе управления общественным здравоохранением [16]. При этом в зависимости от целей экспертной оценки при обработке ее результатов решают следующие задачи: определение согласованности мнений экспертов; определение зависимости между суждениями экспертов; построение обобщенной экспертной оценки; оценка надежности результатов экспертизы.



Заключение

Вложение инвестиций в разработку инновационного проекта всегда требует серьезного экспертного и экономического обоснования.

Так, коммерческая организация - инвестор примет решение о финансировании разработки инновационного проекта лишь при полной уверенности в реальном и долгосрочном конкурентном преимуществе данной инновационной разработки.

Поэтому принятие управленческих решений в коммерческой организации по инвестированию в инновационные разработки при условии определенной гарантии возврата вкладываемых

инвестиций весьма ответственная составляющая деятельности ее владельца и/или руководителя.

В качестве привлекаемых для этого экспертов принимают участие, как работники данной организации, так и внешние компетентные в данной практической области специалисты. Однако в настоящее время отсутствует необходимый достаточно объективный критериальный аппарат экспертной оценки инвестиционного проекта, что вызывает определенные затруднения, как у экспертов, так и у лиц, принимающих окончательные решения.

В связи с этим:

1. В целях повышения эффективности экспертных оценок инвестиционных проектов на примере медицинской отрасли, выполняемых по заданию коммерческих организаций, проведен анализ:

-- нормативной правовой документации, регламентирующей процесс конкурсов на лучший проект;

-- критериев отбора инновационных разработок для инвестирования в государственных фондах;

-- особенностей экспертизы проектов с участием экспертов в государственных фондах;

-- особенностей проведения экспертной оценки проектов коммерческими организациями;

-- проблемы риска при выполнении экспертизы проектов.

2. Исходя из выполненного аналитического исследования был предложен Порядок проведения оценки инвестиционного проекта коммерческой организацией.

Полученные материалы могут быть использованы при обосновании инвестирования в инновационные разработки в медицинской и других отраслях как владельцами и/или руководителями коммерческих организаций, так и привлекаемыми ими для этого экспертами.

Это позволит с одной стороны снизить риски в результативности принимаемых управленческих решений в области инвестирования и повысить их экономическую рентабельность, а с другой стороны -- получить конкурентные преимущества и создать, а в последующем и внедрить на рынок новые продукты и технологии.



Литература

1. Критерии оценки заявок на участие в конкурсах РФФИ (2018) Решение Совета РФФИ от 27.06.2018 г. 3 с.

2. Критерии конкурсного отбора научных, научно-технических программ и проектов, представленных на конкурс Российского научного фонда (2017) / РФФИ. 2 с.

3. Основные критерии отбора проектов (2020) / Фонд перспективных исследований.

4. Положение о конкурсе «Коммерциализация-2020 (очередь XII) » (Комм 2020.2) (2020) / Фонд содействия развитию малых форм предприятий в научно-технической сфере. С. 10.

5. Артюхов И.П., Горбач Н.А., Горбач Н.А., Бак- шеева С.Л., Большакова И. А., Жарова А. В., Ли- сняк М.А., Шерстяных Д.М. (2012) Экспертные оценки: методология и практика применения // Фундаментальные исследования. 10-1:11-15.

6. Применение методов экспертных оценок в научных исследованиях и в практической деятельности: учебное пособие для системы послевузовского образования врачей (2009) Сост. И.П. Аpтюхов, Н.А. Горбач, С.Л. Бакшеева, И.А. Большакова, А.В. Жарова, М.А. Лисняк, А.В. Кашпаров. Красноярск: КрасГМУ. 105 с.

7. Финченко Е.А., Цыцорина И. А., Шалыгина Л. С., Иванинский О. И., Шарапов И. В. (2014) Информационно-аналитическое обеспечение управления региональным здравоохранением на основе экспертных оценок // Проблемы социальной гигиены, здравоохранения и истории медицины. 6:45-48.

8. Чаплыгина В. Ю., Цыцорина И. А., Хмельницкая Я. В. (2019) Результаты экспертной оценки психотерапевтической помощи взрослому населению новосибирской области // Сибирский научный медицинский журнал. 39(2):130--133.

9. Анненков А.М., Волков А. В, Грибков О. И., Пономарев В.М. (2009) Экспертное исследование условий труда на железнодорожном транспорте: Методические указания. МИИТ. 84 с.

10. Городецкий И. Г., Турзин П. С., Найченко М.В. (2001) Эргономические основы создания человеко-машинных систем: Учебник / Под ред. А.П. Петрова. М.: ИЦ МАТИ. 567 с.

11. Орлов А.И. (2011) Организационно-экономическое моделирование. В 3 ч. Ч. 2: Экспертные оценки. М.: МГТУ им. Баумана. 486 с.

12. Экспертиза в РФФИ (2020) / РФФИ.

13. Рекомендации эксперту Российского научного фонда (2020) / рФФи.

14. Ушаков И. Б., Давыдов Б. И., Турзин П. С.(2001) Основные дефиниции рискометрии в медико-биологических исследованиях // Материалы Пленума МНС по экологии человека и гигиене окружающей среды РФ «Оценка риска влияния факторов окружающей среды на здоровье: проблемы и пути их решения». Москва. С. 150--153.

15. Миронов С.П., Арутюнов А.Т., Турзин П.С. (2008) Факторы риска заболеваний и их профилактика. М.: ЗАО «Принт-Ателье». 272 с.

16. Dudareva A. A., Aksenova E. I., Khodyreva L.A., Turzin P. S., Bogdan I. V., Lukichev K.E. (2019) Problems of social hygiene, public health and history of medicine. 2019; 27 (Special issue):578--586. doi: 10.32687/0869--866X-2019--27-si1-578-586.

References

2. Criteria for the competitive selection of scientific, scientific and technical programs and projects submitted to the competition of the Russian Science Foundation (2017) / RSCF. 2 p.

3. Main criteria for the selection of projects (2020) / FPI.

4. Reg ulations on the competition "Commercialization-2020 (phase XII)" (Comm 2020.2) (2020) / Fund for Assistance to Small Innovative Enterprises in Science and Technology. P. 10. http://fasie.ru. (In Russ.)

5. Artyukhov I. P., Gorbach N. AGorbach N. A., Baksheeva S. L, Bolshakova I. A., Zharov N. V., Lisnyak M.A., Sherstyanykh D.M. (2012) Expert assessments: methodology and practice of application // Fundamental research. 10-1:11-15. (In Russ.)

6. Application of expert assessment methods in scientific research and in practice: a textbook for the system of postgraduate education of doctors (2009) Comp. I.P. Artyukhov, N.A. Gorbach, S.L. Baksheeva, I.A. Bolshakova, A.V. Zharova, M.A. Lisnyak, A.V. Kashparov. Krasnoyarsk: The Krasnoyarsk State Medical University. 105 p. (In Russ.)

7. Finchenko E.A., Tsitsorina I.A., Shalygina L.S., Iva- ninsky O.I., Sharapov I.V. (2014) Information and analytical support for regional health management based on expert assessments // Problems of social hygiene, health care, and the history of medicine. 6:45-48. (In Russ.)

8. Chaplygina V.Yu., Tsitsorina I. A., Khmelnitskaya Ya.V. (2019) Results of expert evaluation of psychotherapeutic assistance to the adult population of the Novosibirsk region // Siberian scientific medical journal. 39(2):130-133. (In Russ.)

9. Annenkov A.M, Volkov A.V, Gribkov O. I., Ponomarev V.M. (2009) Expert study of working conditions in railway transport: Guidelines. MIIT. 84 p. (In Russ.)

10. Gorodetsky I. G., Turzin P. S., Naichenko M. V. (2001) Ergonomic basis for the creation of human- machine systems: the Textbook / Under the editorship of A.P. Petrov. Moscow: IC MOTHER. 567 P. (In Russ.)

11. Orlov A.I. (2011) Organizational and economic modeling. In 3 h. 2: Expert assessments. Moscow: MSTU named after Bauman. 486 p. (In Russ.)

12. Expertise in RFBR (2020) / RFBR.

13. Recommendations to the expert of the Russian Science Foundation (2020) / RfBR.

14. Ushakov I.B., Davydov B. I., Turzin P.S. (2001) Basic definitions of riskometry in biomedical research // Materials of the MNS Plenum on human ecology and environmental hygiene of the Russian Federation "Assessment of the risk of environmental factors on health: problems and ways to solve them". Moscow, P. 150-153. (In Russ.)

15. Mironov S.P., Arutyunov A.T., Turzin P.S. (2008) Disease risk factors and their prevention. Moscow: print-Atelier CJSC. 272 P. (In Russ.)

16. Dudareva A. A., Aksenova E. I., Khodyreva L.A., Turzin P.S, Bogdan I. V, Lukichev K.E. (2019) Problems of social hygiene, public health and history of medicine. 2019; 27 (special issue):578-586. DOI: 10.32687/0869-866X-2019-27-SI1-578-586.

Размещено на Allbest.ru

...