О девальвации экспертного мнения, или зачем нам закон об основах экспертной деятельности

Размещено на http://www.allbest.ru/

АнО «Институт цифровой трансформации образования»

Российская академия наук

О ДЕВАЛЬВАЦИИ ЭКСПЕРТНОГО МНЕНИЯ, или зачем нам закон об основах экспертной деятельности

МАРАТ РАМИЛЕВИЧ БИКТИМИРОВ, кандидат технических наук,

ОЛЬГА ВАСИЛЬЕВНА ПИЛИПЕНКО, доктор технических наук, профессор,

МАКСИМ СЕРГЕЕВИЧ САФОНОВ, доктор экономических наук, профессор

Аннотация

Принятие практических ответственных решений в сфере социального и производственного управления в условиях стремительного развития цифровых технологий эпохи экономики знаний невозможно без опоры на экспертизу. Требуется своего рода организация деятельности по производству «предсказаний», когда не только дается точная оценка воздействия тех или иных факторов и их возможных взаимодействий между собой, но и в результате творческого конструирования сценариев развития процессов и событий приходит понимание, какие именно факторы требуют учета. При этом экспертиза постоянно сталкивается c критикой, называющей выводы экспертов произвольными, ненадежными и субъективными. Часто экспертизу путают с мониторингом, оценкой, диагностикой, инспектированием или консультированием. Авторы статьи провели структурный анализ содержания процессов экспертизы в векторе управления проектами в эпоху цифровизации и пришли к выводу, что действенность экспертизы значительно повышается в случае четкого регламентирования данного вида деятельности, обеспечивающего необходимый статус. Ключевые слова: аналитика, экспертиза, экспертная деятельность, экспертология, цифровые технологии, стратегия, законодательство, закон

Annotation

ON THE DEVALUATION OF EXPERT OPINION OR WHY DO WE NEED A LAW ABOUT THE BASICS OF EXPERT ACTIVITY

MARAT R. BIKTIMIROV, Cand. Sci. (Technics), executive secretary of the Expert Council for de-bureaucratization in the field of science and education of the Committee on Education and Science of the State Duma of the Russian Federation, director Autonomous non-profit organization `Institute of digital transformation of education' (, Mytishchi, Moscowskaya obl., Russian Federation,

OLGA V. PILIPENKO, Dr. Sci. (Technics), Professor, State Duma Deputy Committee on Education and Science of the State Duma of the Russian Federation (, Moscow, Russian Federation,

MAXIM S. SAFONOV, Dr. Sci. (Economics), Professor, Head of the Group of Advisers Russian Academy of Sciences (, Moscow, Russian Federation

Abstract: Taking practical responsible decisions in the field of social and industrial management in the context of rapid development of digital technologies in the era of the knowledge economy is impossible without reliance on expertise. A kind of organization of activities for the production of `predictions' is required, when not only an accurate assessment of the impact of certain factors and their possible interactions with each other is given, but also as a result of creative construction of scenarios for the development of processes and events, an understanding comes which factors need to be taken into account. At the same time, the expertise constantly faces criticism, calling the conclusions of experts arbitrary, unreliable and subjective. Often, expertise is confused with monitoring, evaluation, diagnosis, inspection or counseling. The authors of the article carried out a structural analysis of the content of the expertise processes in the project management vector in the digitalization era and came to the conclusion that the effectiveness of the expertise is significantly increased in case of clear regulation of this type of activity, providing the necessary status. Keywords: analytics, expertise, expert activity, expertology, digital technologies, strategy, legislation, law

Введение

Среди всего разнообразия идей нас больше всего привлекают дешевые и отвратительные.

Чарльз Сандерс Пирс Чарльз Сандерс Пирс -- американский философ, логик, математик, основоположник прагматизма и семиотики: Writings of Charles S. Peirce: A Chronological Edition: Vol. 1-8 / Peirce Edition Project (eds.). - Bloomington: Indiana University Press, 1982-2010.

Мы не случайно начали свою статью эпиграфом - словами основоположника философии практицизма и семиотики, американского математика Чарльза Сандерса Пирса. В эпоху экономики знаний, в условиях стремительного развития цифровых технологий, когда ускоряется само время, требуется исключительно выверенная тактика и стратегия принятия практических решений, опирающаяся и на экспертизу, и на аналитику.

Аналитика относится к области исследования сложных и еще не решенных проблем, когда имеющихся знаний недостаточно. Основная задача любого аналитического исследования состоит в решении стратегических проблем, актуальных в среднесрочном и долгосрочном периодах. А сами эти решения претворяются в жизнь посредством регулярных тактических экспертных решений.

Согласно умозаключениям Ч.С. Пирса, практические действия начинаются с предположений и сомнений, а признание убеждений происходит посредством априорного и научного методов, а также метода власти авторитетов. Критерием познания Чарльз Пирс считал практический успех. В контексте современной теории управления знаниями это и есть лучшие практики. Приемлемость и полезность аккумулированных знаний обосновывается определенными институциями с учетом всесторонних интересов общества [Пирс, 2000].

Для принятия ответственных решений требуются не абстрактные понятия и спекулятивные суждения, а обоснованные умозаключения, которые воспринимаются как некие регуляторы действий и поведения. «Истина есть мнение, с которым суждено в конце концов согласиться всем, кто исследует...», - писал Чарльз Пирс.

Назначение экспертизы и аналитики, их критерии и различия

экспертиза регламентирование аналитика цифровизация

Теперь нам важно формализовать умозаключения, необходимые для эффективного практического действия.

В исторически сложившейся жизнедеятельности различных научно-практических школ назначение экспертизы и аналитики, их критерии и различия были вполне четко определены. Сейчас, к сожалению, и в общественно-политической, и в бизнес-среде, и даже в образовательной и исследовательской сферах, - в этом массиве знаний наблюдается неконтролируемый хаос. Пришла мода на употребление терминов «экспертиза» и «аналитика» без соотнесения их со здравым смыслом и прямым назначением. В среде прикладных специалистов сегодня принято без особого стеснения причислять себя к цеху экспертов и даже аналитиков.

С одной стороны, постоянно используемый коэффициент конкордации Кендала, он же коэффициент множественной ранговой корреляции, необходимый для того, чтобы выявить согласованность мнений экспертов по нескольким факторам, показывает за последнее десятилетие большой разброс в их мнениях и оценках, чего, собственно, практически не было 15-20 лет назад. С другой стороны, сложно себе представить, что в том же недалеком прошлом некоторые досужие рассуждения об изменениях цен на углеводороды или динамике развития вирусной пандемии действительно считались верхом экспертной мысли. Растиражированные средствами массовой информации и социальными медиа умозаключения так называемых экспертов не просто обнажили проблему девальвации экспертного мнения, но и подняли ее на совершенно иной, как писал классик марксизма-ленинизма, «архиважный» уровень: в современную эпоху обоснованное научное мнение поставлено на одну полку с дилетантским, повседневным и спекулятивным.

Бурно начавшееся во второй половине прошлого века развитие информационно-коммуникационных технологий драматично изменило экспертный ландшафт. Если раньше претензии специалиста на экспертный статус должны были быть акцептованы экспертным сообществом с обязательной верификацией опубликованных им работ в авторитетных изданиях, то теперь изобилие веб-платформ дает возможность любому мнящему себя экспертом дилетанту разместить свое «ценное» суждение в сетевом информационном пространстве практически без ограничений.

В результате избыток информации и какофония мнений дезориентируют человека и наносят тем самым непоправимый урон всему обществу. Спекулятивные идеи становятся популярными, а проверенная и часто сложная для восприятия информация, которую предоставляют специалисты, нередко вызывает отторжение и полное неприятие. В качестве своеобразной анти-максимы этого явления в данном контексте можно привести известную фразу бывшего председателя Федеральной резервной системы США Алана Гринспена: «Если вам показалось, что я выразился достаточно ясно, то вы неверно меня поняли».

Поговорим о проблеме доверия к результатам экспертной деятельности, обсуждаемым повсеместно. Считающийся гуру прогнозирования Нассим Талеб, предсказавший несколько лет назад сегодняшнюю пандемию, утверждает, что «... на Западе необычайно силен класс псевдоэкспертов. если вы сравните представления этого класса псевдоэкспертов о реальности с тем, что думает о ней ваша бабушка, которая, скорее всего, не располагает никакими статистическими выкладками, вы увидите, что проблемы она оценивает намного более здраво.» https://hr-portal.ru/article/nassim-taleb-ya-vizhu-ugrozu- sereznee-pandemii.

Очевидно, одного желания причислить себя к лиге экспертов недостаточно, - здесь необходимо внести ясность. Эксперт - это авторитетный квалифицированный специалист, выработавший в процессе исследовательского или практического опыта определенные знания и представления об оцениваемых объектах, явлениях или процессах и руководствующийся ими в своей деятельности. Экспертиза включает четкие правила и принципы, обязательные для выполнения:

- эксперт не подвергает сомнению существующие базовые знания и действует исключительно в их рамках;

- эксперт проводит свою работу в формате заданного регламента;

- эксперт может оценивать объекты экспертизы по заданным шкалам или выбирать из возможных вариантов;

- разные эксперты обладают различным уровнем квалификации и опыта и могут по одному предмету экспертизы давать несовпадающие ответы и оценки, поэтому для получения объективных результатов часто привлекаются несколько экспертов;

- для получения объективных результатов применяются различные методы усреднения оценок или обобщения ответов экспертов;

- работа эксперта похожа на решение типичных задач общепринятыми методами;

- иногда от эксперта требуется найти новый, более эффективный метод решения задачи иными известными средствами.

Процесс экспертизы, по своей сути, очень схож с процедурой оценки. Другое близкое экспертизе понятие - аудит, то есть проверка с соответствующими выводами. В узком смысле слова, в соответствии с законодательством России (Федеральный закон Российской Федерации от 30 декабря 2008 года № 307-ФЗ «Об аудиторской деятельности»), под «аудитом» понимается исключительно деятельность по проведению проверки финансовой (бухгалтерской) отчетности и данных учета и выражение по результатам такой проверки обоснованного независимого мнения аудитора о достоверности такой отчетности в форме письменного аудиторского заключения.

При проведении экспертизы содержание задач и используемых знаний не пересматривается. Экспертиза всегда требует формальных подходов, определенных критериев оценки, описанных правил отчетности - для поддержания стабильности и объективности экспертных решений и заключений. В экспертизе преобладает структурно-функциональный подход к предыдущему состоянию исследуемого объекта для лучшего понимания его текущего состояния. Экспертиза имеет дело с устоявшейся системой парадигм, за рамки которой она, как правило, не выходит. Экспертиза в первую очередь - процедура, и только во вторую - процесс, использующий особые технологии, связанные с операциями анализа и обобщения, диагностики и прогнозирования. «Важнейшая отличительная черта экспертизы как раз и состоит в том, что она необходима именно там, где не срабатывают известные алгоритмы или где их вовсе не существует», - замечает ректор Санкт-Петербургского государственного института психологии и социальной работы, профессор Юрий Платонов. - «Экспертиза может помочь увидеть в, казалось бы, совершенно ясной ситуации новые, более глубокие аспекты». Власть эксперта изначально основана не на демонстрации каких-то знаний, недоступных другим людям, а на умении формировать мнения и таким образом оказывать влияние на принятие публичных решений. «Экспертиза, по сути, есть использование самого человека как «измерительного прибора», который дополняет (или даже полностью заменяет) действие других приборов и технологий. В основе экспертизы лежат субъективные мнения экспертов, их живое, личностное знание, которое ценится не меньше (а зачастую больше) объективных данных» [Платонов, 2010].

Все с возрастающей силой становится очевидным, что экспертная деятельность должна представлять собой некую единую систему, включающую большое количество компонентов (субъекты деятельности, объекты исследования, задачи, методы). Важны закономерности функционирования этой системы, производные от этих закономерностей принципы, правила и понятия, которые призваны обеспечить единство систематизации научных данных об экспертизе. Обобщенная модель практической экспертной деятельности призвана отразить специфику взаимодействий субъектов, уполномоченных на применение специальных знаний в экспертной форме. Как система научных данных, раскрывающих свойства, закономерности развития исследуемого ею объекта, она способствует постоянному приращению нового знания об экспертном деле, экспертном праве и экспертизе. Именно поэтому одним из наших приоритетов становится во втором десятилетии XXI века разработка методологических и регламентирующих документов применения экспертизы и аналитики, а в более широком смысле - создание единой нормативно-правовой базы.

Единая нормативно-правовая база экспертной деятельности

Говоря о современных российских реалиях, следует отметить, что страна сегодня как никогда нуждается в законе об основах экспертной деятельности. Еще в 1993 году было подписано Распоряжение Правительства Российской Федерации о подготовке Закона об основах экспертной деятельности. Распоряжение было, а закона до сих пор нет, - отмечают эксперты, участвовавшие в разработке документа [Сидельников, 2017. С. 18]. Быть может, сейчас самое время его принять? Ведь между 1993 и 2020 годом прошло не только 27 лет и сменилось целое поколение, но появилась и необходимая нормативная элементная база, позволяющая это сделать.

Сегодня действующее законодательство России об экспертном деле условно можно разделить на несколько частей: законодательство, посвященное экспертизе и/или экспертной деятельности; законодательство, в котором имеются нормы, регулирующие экспертизу; законы, в которых экспертиза только упоминается.

К законам, посвященным экспертизе и/или экспертной деятельности, относятся Федеральный закон Российской Федерации № 174-ФЗ «Об экологической экспертизе», принятый в 1995 году и претерпевший многочисленные изменения, Федеральный закон Российской Федерации от 31 мая 2001 года № 73-ФЗ «О государственной судебно-экспертной деятельности в Российской Федерации» и Федеральный закон Российской Федерации «Об антикоррупционной экспертизе нормативных правовых актов и проектов нормативных правовых актов» от 17 июля 2009 года № 172-ФЗ.

Кроме этого, в российском законодательстве есть несколько законов, в которых содержатся нормы, регулирующие экспертизу как вид деятельности. Так, Арбитражный процессуальный кодекс (АПК) Российской Федерации в качестве экспертной структуры рассматривает любое экспертное учреждение, а не только государственное судебно-экспертное учреждение, не определяя к нему законодательные требования³. В большей степени определена экспертиза в таможенном законодательстве, где теме таможенной экспертизы отведена целая глава Таможенный кодекс Российской Федерации. Глава 36. Федеральный закон Российской Федерации от 28 мая 2003 года № 61-ФЗ: принят Государственной Думой Федерального Собрания Российской Федерации 25 апреля 2003 года: одобрен Советом Федерации Федерального Собрания Российской Федерации 14 мая 2003 года: [ред. от 27 ноября 2010 года]. Собрание законодательства Российской Федерации. 2003. № 22. Ст. 2066.. Наконец, в законодательстве России также имеется ряд законов, в которых экспертиза только упоминается для тех случаев, когда предусмотрено ее применение.

К сожалению, принятие законов, регулирующих отдельные виды экспертиз, не связанных ни общей правовой доктриной, ни юридической практикой, в целом привело к фрагментации законодательства об экспертной деятельности. Одной из причин стало недостаточное внимание законодателя к актуальным вопросам системного регулирования экспертной деятельности. Сегодня представляется целесообразным изменить данный подход, и чтобы избежать принятия в дальнейшем отдельных законов и подзаконных актов, регулирующих различные виды и типы экспертизы, нам пора сфокусироваться на подготовке единого Экспертного кодекса Российской Федерации. Кодекс - законодательный акт, содержащий систематизированные нормы какой-либо отрасли или нескольких отраслей. Сама же кодификация - процесс, направленный на сбор разрозненных, фрагментированных норм в единый нормативный комплекс. В нашем случае Экспертный кодекс действует наравне с Гражданским, Уголовным, Трудовым и прочими кодексами Российской Федерации.

В действующем российском законодательстве существует огромное количество противоречий в области определения и использования таких понятий, как «эксперт», «экспертная оценка», «экспертный совет». Первым документом, в котором появилось словосочетание «экспертный совет», было Распоряжение Правительства РСФСР от 12 ноября 1991 года № 49-р «Об утверждении Положения и состава Экспертного совета при Председателе Правительства РСФСР» (документ опубликован не был). В нем экспертный совет являлся совещательным органом при Председателе Правительства для разработки механизма реализации целевых программ, концепций, приоритетных направлений, а также независимой экспертизы в области промышленности, технологий, информатики, ресурсов, экологии, конверсии оборонных отраслей промышленности, защиты информации, фундаментальных и прикладных исследований, финансовой, экономической, социальной, правовой и аграрной политики. Согласно этому распоряжению, на совет возлагалась функция выбора внешних по отношению к целевым программам ученых, привлекаемых в качестве так называемых независимых экспертов.

Наиболее подробную расшифровку деятельности экспертных советов можно найти уже в Постановлении Правительства Российской Федерации от 26 июля 2012 года № 774 «Об Экспертном совете при Правительстве Российской Федерации» http://www.consultant.ru/document/cons_doc_LAW_1333 25/ 92d969e26a4326c5d02fa79b8f9cf4994ee5633b/, где Экспертный совет является совещательным органом и создается с целью организации проведения экспертизы экономических и социально значимых решений федеральных органов исполнительной власти, правительственных, межведомственных комиссий и советов, а также с целью формирования вопросов со стороны институтов гражданского общества для обсуждения с Председателем Правительства Российской Федерации и (по его поручению) с федеральными органами исполнительной власти.

При этом одной из основных задач Экспертного совета является обеспечение участия экспертного сообщества в процессе подготовки и реализации решений Правительства Российской Федерации и федеральных органов исполнительной власти путем экспертной оценки проектов решений Правительства Российской Федерации и федеральных органов исполнительной власти, результатов их исполнения, а также экспертного мнения по вопросам компетенции Экспертного совета.

В Положении об Экспертном совете упоминаются: организация проведения экспертиз; получение экспертных оценок и экспертных мнений по вопросам, входящим в компетенцию Экспертного совета [Мартынов, 2018. С. 10-23]. К работе Экспертного совета могут быть привлечены эксперты, отобранные по результатам первого этапа формирования Совета, но не вошедшие в его состав, а также иные эксперты при наличии соответствующих решений председателя и руководителей рабочих групп. Таким образом, члены Экспертного совета выступают в качестве постоянных экспертов, осуществляющих экспертизу определенных решений Правительства Российской Федерации. В то же время существует институт приглашенных лиц, которые также могут выступать в качестве экспертов. Кроме того, члены Экспертного совета сами должны организовывать экспертизы, которые будут выполнять другие эксперты.

Отметим, что в упомянутом Положении нет формулировки самих понятий «эксперт», «экспертная оценка», «экспертные мнения» и «экспертное сообщество». Считается, что они имеют однозначные научные определения. Однако на самом деле современная наука сегодня не только не имеет единого мнения на этот счет, но и сама имеет абсолютно разные названия: от экспертики [Нестеров, 2014] до экспертологии [Сидельников, 2017. С. 18].

Общее правовое поле экспертизы

В нынешнем российском «околоэкспертном» законодательстве существует множество белых пятен, которые законодателям в ближайшее время еще предстоит выявить, создавая общее правовое поле экспертизы. Предстоит большая работа по разработке универсального подхода к экспертизе и экспертному делу, его законодательному регулированию и регламентированию. Необходимо правовое регулирование базовых понятий экспертного дела, к которым относится не только практическая экспертная деятельность, но и научно-экспертная деятельность и экспертно-образовательная деятельность. Кроме того, к экспертному делу относятся и организация экспертной деятельности, и администрирование экспертной деятельности. Под администрированием экспертной деятельности подразумевается: «аккредитация, уполномочивание и/ или лицензирование исследовательских структур на право выполнения собственно экспертной деятельности, аттестация персонала таких структур на право самостоятельного проведения экспертиз (специальных исследований) по определенной экспертной специальности, сертификация исследовательского инструментария, в том числе методик специального исследования, на соответствие установленным требованиям» [Нестеров, 2011].

В России должно появиться экспертное право - право, на основе которого осуществляется законодательное регулирование экспертного дела и которое представляет собой рекомендательные научно обоснованные требования положений правовой доктрины и наилучшей экспертной практики, закрепленные в экспертных канонах. Представляется логичным легализовать регулирование деятельности по применению и выполнению экспертизы в едином экспертном кодексе, а процессуальные и процедурные особенности применения экспертизы оставить в процессуальных и иных отраслевых законах. Экспертная политика должна подразумевать не только законодательное регулирование экспертного дела, но и его организацию в государственных экспертных структурах, и администрирование экспертного дела.

Наконец, в Российской Федерации должна появиться экспертная политика, которая станет составной частью ее внешней и внутренней политики и представит собой систему мер, применяемых государством с целью законодательного регулирования, регламентирования и/или администрирования экспертного дела в Российской Федерации.

Заключение

Очевидно, что невозможно решить все проблемы, связанные со становлением науки об экспертизе, силами отдельных ученых и исследовательских коллективов, даже если этот коллектив - Российская академия наук. Но также очевидна актуальность задачи систематизации экспертной деятельности в России. И под задачей систематизации мы понимаем необходимость разработки (при активной государственной поддержке) комплексной разработки методологического, методического, организационного, правового, информационного и финансового обеспечения экспертизы.

Необходимо форсировать развитие теоретических и эмпирических исследований в формирующейся науке об экспертизе имеющимися силами и возможностями, скоординированными Министерством образования и науки Российской Федерации и Российской академией наук.

Принятие закона повысит качество экспертной работы, придаст импульс совершенствованию технологии правовой и управленческой деятельности в новых социально-экономических условиях. Наличие высшей формы нормативного регулирования - закона, регламентирующего экспертную деятельность и обеспечивающего ей необходимый статус, - значительно повышает действенность экспертизы. Таким образом, в законе необходимо предусмотреть введение единой системы аттестации экспертов и экспертных организаций, а также должны быть определены права, обязанности и полномочия субъектов экспертизы, основные принципы и понятия, порядок проведения и правовой статус как внутренней, так и международной экспертизы.

Разработка программы государственной поддержки экспертизы - комплексной, межведомственной, целенаправленной - дело, не терпящее отлагательства.

Литература

1. Ашкеров А.Ю. Экспертократия: управление знаниями. Производство и обращение информации в эпоху ультракапитализма. М.: Европа, 2009. 132 с.

2. Белл Д. Грядущее постиндустриальное общество: опыт социального прогнозирования / Пер. с англ. яз. М.: Academia, 2004. 783 с.

3. Мартынов А.В. Туманные перспективы системы «Открытое правительство» в эпоху цифровой экономики России. Законы России: опыт, анализ, практика. 2018. № 11. С. 10-23.

4. Нестеров А.В. Теоретические и прагматические проблемы экс- пертики. Эксперт-криминалист. 2011. № 2. C. 33-36.

5. Нестеров А.В. Экспертика: общая теория экспертизы. М.: Типография НИУ ВШЭ, 2014. 262 с.

6. Нестеров А.В., Андреева Е.И. Регламенты: теория и практика: монография. М.: Российская таможенная академия, 2008. 138 с.

7. Пирс Ч.С. Избранные философские произведения / Пер. с англ. яз. М.: Логос, 2000. 411 с.

8. Платонов Ю.П. Технология власти: В 2-х т. СПб.: Речь, 2010. 576 с.

9. Рыжов В.А. Аналитика и экспертиза в информационном обществе. Экономические стратегии. 2018. Т 20. № 2(152). С. 140-155.

10. Селезнев Н.Ф. Создание института независимых технических экспертов - необходимый этап развития государственного управления. Вестник МГСУ 2017. Т 12. № 8(107). С. 931-933. Сидельников Ю.В. Формирование понятийно-терминологического аппарата экспертологии. Проблемы управления. 2017. № 5. С. 18-30.

11. Сидельников Ю.В. Экспертология - новая научная дисциплина.

12. Автоматика и телемеханика. 2000. № 2. С. 107-126.

13. Maruev S, Stefanovskiy D., Troussov A. Semantics of TechnoSocial Spaces. In: Modern Computational Models of Semantic Discovery in Natural Language. Hershey, Pennsylvania, USA: IGI Global. 2015. P. 204-234.

References

1. Ashkerov A.Y Expertocracy: knowledge management. Production and circulation of information in the era of ultra-capitalism. M.: Yevropa, 2009. 132 p. In Russian

2. Bell D. The coming post-industrial society: the experience of social forecasting / trans. from English M.: Academia, 2004. 783 p. In Russian

3. Martynov A.V The foggy prospects of the Open Government system in the era of the digital economy of Russia. Zakony Rossii: opyt, analiz, praktika. 2018. № 11. P. 10-23. In Russian

4. Maruev S., Stefanovskiy D., Troussov A. Semantics of TechnoSocial Spaces. In: Modern Computational Models of Semantic Discovery in Natural Language. Hershey, Pennsylvania, USA: IGI Global. 2015. P. 204-234. In English

5. Nesterov A.V Expertise: general theory of expertise. M.: HSE Printing House, 2014. 262 p. In Russian

6. Nesterov A.V Theoretical and pragmatic problems of expert analysis. Expert-criminalist. 2011. № 2. P. 33-36. In Russian

7. Nesterov A.V, Andreeva E.I. Regulations: theory and practice: monograph. M.: Rossiyskaya tamozhennaya akademiya. 2008. 138 p. In Russian

8. Peirce C.S. Selected philosophical works / trans. from English. M.: Logos, 2000. 411 p. In Russian

9. Platonov Y.P. Technology of power: in 2 vol. SPb.: Rech, 2010. 576 p. In Russian

10. Ryzhov V.A. Analytics and expertise in the information society. Eko- nomicheskiye strategii. 2018. V. 20. № 2(152). P. 140-155. In Russian

11. Seleznev N.F. Creation of an institute of independent technical experts is a necessary stage in the development of public administration. Vestnik MGSU. 2017. Vol. 12. № 8(107). P. 931-933. In Russian

12. Sidelnikov Y.V. Expertology is a new scientific discipline. Avtomatika i telemekhanika. 2000. № 2. P. 107-126. In Russian

13. Sidelnikov Y.V. Formation of the conceptual and terminological apparatus of expertology. Problemy upravleniya. 2017. № 5. P. 18-30. In Russian

Размещено на Allbest.ru