Международный опыт оценки эффективности государственного управления

Размещено на http://www.allbest.ru/

Центр региональной экономики и межбюджетных отношений Финансовый университет при Правительстве Российской Федерации (125993, Россия, г. Москва)

Международный опыт оценки эффективности государственного управления

Пивоварова Ольга Владимировна

научный сотрудник

Аннотация

государственный управление интегральный

В статье проводится анализ существующих в мировой практике подходов и методик к оценке эффективности государственного управления. Проанализирована модель менеджмента качества Common Assessment Framework (CAF) и созданная на ее основе российская система «Эффективная публичная служба» (ЭПУС), выделены преимущества и недостатки, а также предпосылки, необходимые для успешной их реализации в российских реалиях. Рассмотрен интегральный показатель Governance research indicator country snapshot (GRICS) и его составляющие, проведен графический анализ позиций Российской Федерации в данном рейтинге в 2002-2018 гг. Исследованы особенности проведения оценки по индексу непрозрачности и индексу общественной честности. Обоснованы и выделены ключевые недостатки методик оценки эффективности государственного управления: неоднозначный характер и сложность измерения из-за отсутствия информационной базы применяемых индикаторов, внутренняя неготовность системы государственного управления и субъективный подход к проведению оценки.

Ключевые слова: государственное управление, оценка эффективности, международный опыт, методика, показатели, менеджмент качества, CAF, ЭПУС, GRICS, индекс непрозрачности, индекс общественной честности.

Pivovarova Olga Vladimirovna, Researcher of the Center for Regional Economics and Interbudgetary Relations, Financial University under the Government of the Russian Federation (49, Leningradsky Pr., Moscow, 125993, Russian Federation).

International experience of assessing the effectiveness of public management

Abstract

The article analyzes the existing approaches and methods to assess the effectiveness of public management in the world practice. The quality management model Common Assessment Framework (CAF) and the Russian EPUS (Effective Public Service) created on its basis are analyzed, advantages and disadvantages, prerequisites necessary for the successful implementation of these models in Russian realities are highlighted. The integral Governance research indicator country snapshot (GRICS) and its components are considered, the graphical analysis of the Russian Federation's position in this rating in 2002-2018 are conducted. The features of the assessment of the Opacity index and the Public Integrity Index are investigated. The key disadvantages of methods for assessing the effectiveness of public management are justified and highlighted: ambiguous nature and complexity of measurement due to the lack of information base of the indicators used, internal unavailability of the public management system and subjective approach to the assessment.

Keywords: public management, efficiency assessment, international experience, methods, indicators, quality management, CAF, EPUS, GRICS, Opacity index, Public Integrity Index.

Задача повышения эффективности государственного управления является актуальной на протяжении уже не одного десятилетия, и ее значение с каждым годом только возрастает, что находит отражение в достаточно большом количестве принятых нормативно-правовых актов, разработанных методических рекомендаций, научно-исследовательских работ и публикаций по всему миру. Однако, ни одна из существующих моделей и методик не может претендовать на универсальность, так как каждая система управления имеет свои специфические черты, которые необходимо учитывать. В связи с этим представляется целесообразным проанализировать некоторые методики оценки эффективности государственного управления, сложившиеся в мировой практике к настоящему моменту, с тем, чтобы выделить их преимущества и недостатки.

Одной из наиболее признанных моделей менеджмента качества, которая зарекомендовала себя в европейских государствах, начиная с 2000 г., является Common Assessment Framework (CAF) или «Общая структура оценки». Она выступает в роли комплексного инструмента, который позволяет оценивать влияние изменения качества и эффективности на персонал организации, ее клиентов (потребителей услуг] и общество в целом [1, с. 83].

В рамках модели CAF оценка качества менеджмента в органах государственной власти осуществляется двумя способами - посредством самооценки либо с привлечением внешних экспертов. При этом модель CAF выступает в качестве универсальной, позволяя пользователю адаптировать ее согласно своим требованиям. Однако, такого рода изменения не должны нарушать базовой структуры CAF, состоящей из 9 критериев и 28 показателей, разбитых на две группы: «Возможности» и «Результаты». Группа «Возможности» включает в себя пять критериев: лидерство, стратегия и планирование, партнерства и ресурсы, процессы. Группа «Результаты» состоит из четырех критериев: результаты для граждан/потребителей, результаты для персонала, результаты социальной ответственности и ключевые результаты деятельности [2, 3].

Согласно мнению экспертов [4], реализация модели CAF не имеет каких-либо объективных ограничений для применения в силу ее адаптивности и низкого уровня финансовых затрат, однако успех ее использования в значительной степени определяется наличием определенных предпосылок. В первую очередь к ним относится реальная мотивация руководства органа государственной власти или организации к использованию данной модели не только для оценки проблем и потенциала развития, но и для выработки конкретных мер по совершенствованию системы управления. При этом необходимо обеспечить достаточный уровень подготовки руководителей более низкого звена, а также тех сотрудников, которые будут вовлечены в процесс самооценки и реализации запланированных мероприятий по повышению качества управления. Это в свою очередь требует осуществления необходимой организации и обучения кадров, а также поддержания прозрачности и открытости реализации модели CAF. В противном случае, участники процесса не видят реальной пользы от своей деятельности, в результате чего быстро утрачивают к ней интерес.

Также сложности могут быть обусловлены установлением конкретных показателей эффективности количественного и качественного характера, так как необходимость и возможность их достижения не всегда вызывает заинтересованность и готовность со стороны ответственных лиц. Это также предопределяет еще одну необходимую предпосылку, формирование которой в настоящий момент затруднено в российских реалиях, - это добровольное решение о применении модели CAF. Существующая система публичного администрирования предполагает навязывание моделей и методик оценки эффективности «сверху-вниз», что нарушает саму идеологию CAF и является ключевым барьером.

В качестве преимуществ данной модели следует выделить ее всеобъемлющий характер, что позволяет проводить оценку всех структур и процессов в сфере публичного администрирования, а также улучшение внутренней культуры в организации, так как процесс реализации модели CAF предполагает вовлечение персонала в решение проблем, повышение открытости и наличие обратной связи [5, c. 73].

Модель CAF легла в основу российской системы «Эффективная публичная служба» (ЭПУС), представляющей собой комплексный механизм интегрированной оценки государственной и муниципальной службы в Российской Федерации на базе количественных и качественных показателей эффективности деятельности аппаратов органов государственной власти и местного самоуправления [6, c. 2039]. Данная система учитывает национальную специфику и особенности законодательства России.

Ключевым отличием отечественной методики является усовершенствованная система оценки, которая сочетает в себе диагностическую самооценку и экспертную оценку. При этом для проведения экспертной оценки предполагается введение специального института экспертных советов, состав которых утверждается Общественной палатой на соответствующем уровне власти [7]. Однако, учреждение подобных советов требует дополнительных затрат, а также обеспечения публичности и прозрачности процесса их формирования для гарантии их непредвзятого отношения. Кроме того, система ЭПУС подразумевает создание многоуровневой базы данных на основе представительств Президента РФ в федеральных округах [8, c. 80].

Подводя итог анализу представленных схожих методик оценки, необходимо отметить, что главным их достоинством является возможность четкого определения проблем в организации процесса управления, оценки эффективности действий и реализации полномочий конкретными сотрудниками органов власти. При этом к недостаткам следует отнести сложность и трудоемкость получения исходной базы для анализа, а также процесс разработки параметров оценки с учетом специфических особенностей работы каждого органа власти [9]. Вместе с тем в российской практике в должной мере зачастую не обеспечивается проведение оценки в контексте внутренней организации процесса управления посредством выполнения отдельных функций и задач, так как оценка сосредоточена главным образом на общих параметрах, которые обозначены в соответствующих методиках и программах развития [10, c. 46].

Помимо национальных методик оценки существуют индексы и индикаторы, направленные в том числе и на межстрановые сопоставления. Рассмотрим наиболее известные и используемые в мире.

Одной из самых распространенных и универсальных является предложенный Всемирным банком интегральный показатель государственного управления (Governance research indicator country snapshot, GRICS). Он разработан для проведения оценки эффективности государственного управления в межстрановом сравнении на основе более чем 30 источников данных, подготовленных различными исследовательскими институтами, аналитическими центрами, неправительственными и международными организациями, а также фирмами частного сектора. GRICS состоит из 6 индексов, характеризующих соответствующие параметры государственного управления Worldwide Governance Indicators. Официальный сайт The World Bank Group - Режим доступа: URL:// http://info.worldbank.org/governance/wgi/.:

- право голоса и подотчетность государственных органов (Voice and Accountability] - индекс, отражающий уровень развития гражданских и политических прав и свобод граждан, а также возможность их участия в выборах органов власти различных уровней, степень независимости средств массовой информации и других общественных объединений;

политическая стабильность и отсутствие насилия, преступности и терроризма (Political Stability and Absence of Violence/Terrorism] - индекс, измеряющий стабильность государственных институтов, вероятность применения политически мотивированного насилия, включая терроризм;

эффективность государственного управления (Government Effectiveness] - индекс, измеряющий качество государственных услуг, государственной службы и степени ее эффективности, а также независимости от политического давления, качество разработки и осуществления внутренней политики и уровень доверия к ней;

качество законодательства (Regulatory Quality] - индекс, измеряющий способность правительства формировать и реализовывать рациональную политику и принимать нормативноправовые акты, а также уровень административного давления и вмешательства в развитие частного сектора;

верховенство закона (Rule of Law] - индекс, характеризующий степень доверия граждан к действующим законам, готовность к их исполнению, эффективность законодательной, исполнительной и судебной власти, уровень преступности;

контроль коррупции (Control of Corruption] - индекс, характеризующий восприятие коррупции в обществе, уровень применения государственной власти в частных интересах как на высшем, так и на других уровнях власти.

Эти индексы рассчитываются для более, чем 200 стран мира за период 1996-2018 гг., что позволяет проследить изменения как по отдельной стране, так и по нескольким странам в динамике. Каждый индекс оценивается в диапазоне от -2,5 до 2,5, что в итоге интерпретируется в форме ранга от 1 до 100, который характеризует положение государств относительно друг друга. Соответственно, чем выше ранг по каждому из индексов, тем более высокое качество государственного управления в стране.

Рассмотрим, как изменились позиции Российской Федерации в данном рейтинге за период 2002-2018 гг. (рис. 1] Worldwide Governance Indicators. Официальный сайт The World Bank Group - Режим доступа: URL:// http:/ / info.worldbank.org/ governance / wgi /..

Рис. 1. Показатели Российской Федерации по данным GRICS, 2002-2018 гг.

Наилучший результат Российская Федерация показывает по итогам индекса эффективности государственного управления, чье значение является самым высоким в последние годы и находится в середине списка стран (50,96 в 2018 г.), а также, несмотря на некоторое снижение в 2003-2010 гг., демонстрирует положительный прирост относительно 2002 года (+5,55 пунктов). Данная тенденция является положительной и свидетельствует о повышении качества государственных услуг в стране и государственной службы в целом, в чем немаловажную роль сыграл портал государственных услуг Российской Федерации, начавший свою работу в 2009 г. [11]

По остальным индексам динамика менее позитивная. Так, по качеству законодательства, в 2003-2005 гг. Россия занимала место в середине списка, однако к 2018 г. ее место снизилось до 31,73 (падение относительно 2002 г. составило более 27%). Почти в два раза опустилась позиция Российской Федерации и по показателю право голоса и подотчетность государственных органов с 36,32 в 2002 г. до 19,21 в 2018 г. Существенным колебаниям в течение рассматриваемого периода подвергся индекс политической стабильности и отсутствия насилия, преступности и терроризма. Наиболее низкое значение по нему наблюдается в 2004 г. (7,77), что связано с достаточно большим количеством терактов на территории страны. Снижение в 2014-2015 гг. обусловлено непростой внешнеполитической ситуацией, связанной с присоединением Крыма к России, однако к 2018 г. значение данного показателя увеличилось до 29,05.

В последней четверти рейтинга Россия находится по показателям верховенства закона и контролю коррупции. При этом по первому индикатору за период 2002-2018 гг. наблюдается падение на 2,6 п.п., а по второму - рост на 1,45 п.п. Наиболее низкая позиция России по контролю коррупции в 2009 г. Таким образом, практически по всем индексам Российская Федерация находится во второй половине списка и в целом интегральная эффективность государственного управления согласно методике GRICS оценивается как недостаточная.

Лидерами в данном рейтинге по итогам 2018 года стали следующие страны по соответствующим индикаторам:

право голоса и подотчетность государственных органов - Норвегия (100,0), Новая Зеландия, Швейцария (99,0), Финляндия (98,5), Дания (98,0);

политическая стабильность и отсутствие насилия, преступности и терроризма - Гренландия (100,0), Монако (99,5), Новая Зеландия (99,0), Сингапур (98,6), Андорра (97,6);

эффективность государственного управления - Сингапур (100,0), Швейцария (99,5), Финляндия (99,0), Андорра (98,6), Норвегия (97,6);

качество законодательства - САР Гонконг (100,0), Сингапур (99,5), Нидерланды (99,0), Новая Зеландия (98,6), Австралия (98,1);

верховенство закона - Финляндия (100,0), Норвегия (99,5), Швейцария (99,0), Швеция (98,6), Новая Зеландия (98,1);

контроль коррупции - Финляндия (100,0), Новая Зеландия (99,5), Сингапур (99,0), Дания, Швеция (98,1).

Новая Зеландия входит в пятерку лучших по пяти из шести индикаторов, Финляндия и Сингапур - по четырем из шести. Эти страны на протяжении многих лет удерживают лидирующие позиции, что свидетельствует об эффективности их политического управления.

Бесспорным преимуществом методики GRICS является возможность проводить межстрановые сравнения качества государственного управления на основе нескольких сотен переменных, а также оценку системы государственного управления без «привязки» к определенным программным целям реформ. Также необходимо отметить возможность анализировать позиции государства по отдельным компонентам за достаточно длительный период времени, а, следовательно, оценивать различные аспекты государственного управления в зависимости от потребностей и назначения оценки.

Однако, основным недостатком данной методики является ее субъективный характер, так как оценки основываются исключительно на восприятии экспертов, а не на статистических данных, которые подвержены в том числе политическому влиянию. Кроме того, одним из ключевых рисков экспертных оценок в данном случае может быть восприятие стран с более высоким уровнем экономического развития как стран и с более высоким качеством государственного управления, что может приводить к смещению оценок. Еще одним важным недостатком этого подхода является его нацеленность на осуществление межгосударственной оценки, которая характеризует положение страны в сравнении с другими, а не на анализ динамики внутренних изменений в сфере государственного управления.

Еще одним индексом, который характеризует качество государственного управления на межстрановом уровне, является индекс непрозрачности (Opacity index), разработанный компанией «Price waterhouse Coopers». Он позволяет оценивать влияние непрозрачности системы государственного управления в стране на стоимость и эффективность капиталовложений, уровень развития гражданского общества и состояние экономики в целом [12]. Комплексный индекс формируется на основе пяти первичных показателей, которые характеризуют следующие сферы [13]:

коррупция в государственных органах (Corruption);

законы, регулирующие права собственности (Legal);

экономическая политика (Economic);

стандарты финансирования (Accounting);

регулирование коммерческой деятельности (Regulatory).

Первые буквы английских названий соответствующих сфер образуют аббревиатуру «CLEAR», что означает прозрачный, чистый. Худшим показателем является значение индекса, равное 150. Следовательно, чем выше значение, тем более низкий уровень прозрачности государственного управления в стране. По последним данным, Российская Федерация находилась в середине списка со значением больше 80, демонстрируя более низкий показатель уровня прозрачности по сравнению со странами Центральной, Восточной Европы и ОЭСР.

Основным преимуществом данного индекса является возможность оценки реальных издержек, связанных с непрозрачностью системы государственного управления в стране. Недостатком этой методики, как и интегрального показателя GRICS, является межстрановый характер оценки, а для применения данного подхода внутри страны потребуется создание системы независимых от структуры органов государственного управления институтов, осуществляющих эту оценку.

Также интерес в рамках оценки эффективности государственного управления представляет индекс общественной честности (Public Integrity Index], который публикуется Американским центром гражданской ответственности. Оценка производится на основе отчетов стран независимыми рабочими группами исследователей посредством ответов на вопросы двух типов [14, c. 16]:

первые характеризуют законодательную базу (“in law”], то есть дается оценка свода законов, прецедентного права, а также норм и положений;

вторые характеризуют реализацию законодательных принципов на практике (“in practice”], то есть определяют практическую степень реализации правовых норм.

Таким образом, в процессе проведения данной оценки в стране изучаются наличие и функционирование действенных механизмов, которые позволяют препятствовать злоупотреблению властью и стимулируют подотчетность государственных органов, а также степень развития гражданского общества. Основной целью применения индекса общественной честности является обеспечение граждан соответствующей информацией о качестве государственного управления в стране.

Безусловное преимущество данного подхода - это независимый характер проводимой экспертизы, так как рабочая группа состоит из представителей другой страны. Однако, субъективный характер вопросов, представленных в анкетах, а также отсутствие единых правил по их составлению, в результате может существенно исказить результаты исследования.

Проведенный анализ международного опыта оценки эффективности государственного управления позволил выделить принципиальные недостатки, которые требуют учета при создании национальных методик:

Неоднозначный характер применяемых индикаторов оценки эффективности системы государственного управления, которые зачастую характеризуют не непосредственно деятельность органов власти, а результаты, достигнутые за счет других сфер, в том числе уровня экономического развития в целом;

Преимущественно субъективный характер оценки, так как превалирующая часть рассмотренных методик основывается на разного рода экспертных оценках, которые могут подвергаться различным воздействиям (в том числе политическим, что особенно актуально при проведении межстрановых сравнений]. При таком подходе сложно обеспечить независимость и прозрачность данного процесса, возникает необходимость создания отдельных институциональных структур, что требует соответствующих затрат;

Внутренняя неготовность системы государственного управления к проведению действенной оценки эффективности государственного управления, которая проявляется в недостаточном уровне развития профессиональной культуры, мотивации и ответственности, что формализует процедуру оценки и сводит ее реальную результативность к нулю;

Сложно измеримые индикаторы оценки, которые носят преимущественно качественный характер и зачастую непонятны органам власти и служащим, отвечающим за их достижение, отсутствие объективной информационной базы, которая позволяет проводить оценку количественных индикаторов.

Подводя итоги, необходимо отметить, что проблема проведения оценки эффективности государственного управления с течением времени становится все более сложной и многоаспектной, и применение ее в конкретной стране требует индивидуального подхода с учетом специфических особенностей и условий.

Однако критический анализ сформированной международной практики в этой сфере позволяет избежать системных ошибок и выработать методический подход, который позволит не просто проводить мониторинг системы государственного управления, но и будет способствовать ее совершенствованию и реальному повышению эффективности, что в результате найдет отражение в более высоких результатах социально-экономического развития страны.

Литература

1. Винокур З.Е. Мировой опыт оценки эффективности государственного управления // В сб.: Интеграционные возможности современной экономики. Материалы международной научно-практической конференции. Под научной редакцией М.А. Винокурова, И.В. Цвигун. 2012. С. 82-85.

2. Нургатина Л.А, Стаес П., Тийес Н., Маслов Д.В. Модель CAF в сфере государственного управления в Европе // Стандарты и качество. 2014. № 3. С. 72-75.

3. Macur M., Radej B. New model of quality assessment in public administration - upgrading the common assessment framework (CAF] // Innovative Issues and Approaches in Social Sciences. 2017. Vol. 10, no. 1. P. 127 - 151.

4. Маркварт Э., Маслов Д.В. Модель CAF глазами экспертов // Менеджмент качества. 2019. №4 (48). С. 284-289.

5. Торцев А.М. Инструментарий оценки эффективности государственного управления региональным рыбохозяйственным комплексом // Проблемы развития территории. 2018. № 1 (93). С. 71-82.

6. Пивоварова О.В. Анализ существующих подходов к оценке эффективности управления государственным имуществом: преимущества, недостатки, направления совершенствования // Российское предпринимательство. 2017. Т. 18. № 13. С. 2035-2048.

7. Маслов Д.В., Короленко А.Ю., Смирнов В.В. Концепция оценки эффективности в государственном и муниципальном управлении // Поволжский вестник качества. 2006. № 5-6. С. 1-7.

8. Маслов Д.В. Обзор методов оценки эффективности государственного управления // Стандарты и качество. 2007. № 7. С. 76-80.

9. Фаттахов Р.В. Совершенствование государственного управления природными системами на примере Байкальской природной территории // Управленческие науки в современном мире. 2018. Т. 1. № 1. С. 402-406.

10. Кожевников С.А., Ворошилов Н.В. Актуальные вопросы оценки эффективности государственного управления в современной России // Проблемы развития территории. 2017. №6 (92). С. 35-52.

11. Nosova S.S., Norkina A.N., Makar S.V., Arakelova I.V., Medvedeva A.M., Chaplyuk V.Z. The digital economy as a new paradigm for overcoming turbulence in the modern economy of Russia // Espacios. 2018. Т. 39. № 24.

12. Nikonorova A.V., Stroev P.V., Morkovkin D.E., Bykova O.N., Isaichikova N.I., Kvak A.A., Skryabin O.O. Development of innovations monitoring system and its implementation in practice of commercial companies // AD ALTA: Journal of Interdisciplinary Research. 2019. Т. 9. № 2. P. 233-236.

13. Барциц И.Н. Международные методики оценки эффективности государственного управления // Управленческое консультирование. Актуальные проблемы государственного и муниципального управления. 2009. №4 (36). С. 10-26.

14. Ерзнкян Б.А., Иманов Р.А., Овсиенко В.В., Ставников А.И. К построению и использованию индикаторов институциональных сдвигов и длинноволновой динамики // Теория и практика институциональных преобразований в России. Сборник научных трудов под ред. Б.А. Ерзнкяна. Вып. 30. М.: ЦЭМИ РАН. 2014. С. 6-27.

References

1. Vinokur Z.E. Mirovoj opyt ocenki effektivnosti gosudarstvennogo upravleniya // V sb.: Integracionnye vozmozhnosti sovremennoj ekonomiki. Materialy mezhdunarodnoj nauchno-prakticheskoj konferencii. Pod nauchnoj redakciej M.A. Vinokurova, I.V. Cvigun. 2012. P. 82-85.

2. Nurgatina L.A, Staes P., Tijes N., Maslov D.V. Model' CAF v sfere gosudarstvennogo upravleniya v Evrope // Standarty i kachestvo. 2014. № 3. P. 72-75.

3. Macur M., Radej B. New model of quality assessment in public administration - upgrading the common assessment framework (CAF] // Innovative Issues and Approaches in Social Sciences. 2017. Vol. 10, no. 1. P. 127 - 151.

4. Markvart E., Maslov D.V. Model' CAF glazami ekspertov // Menedzhment kachestva. 2019. № 4 (48). P. 284-289.

5. Torcev A.M. Instrumentarij ocenki effektivnosti gosudarstvennogo upravleniya regional'nym rybohozyajstvennym kompleksom // Problemy razvitiya territorii. 2018. №1 (93). P. 71-82.

6. Pivovarova O.V. Analiz sushchestvuyushchih podhodov k ocenke effektivnosti upravleniya gosudarstvennym imushchestvom: preimushchestva, nedostatki, napravleniya sovershenstvovaniya // Ros- sijskoe predprinimatel'stvo. 2017. T. 18. №13. P. 2035-2048.

7. Maslov D.V., Korolenko A.YU., Smirnov V.V. Koncepciya ocenki effektivnosti v gosudarstvennom i municipal'nom upravlenii // Povolzhskij vestnik kachestva. 2006. № 5-6. P. 1-7.

8. Maslov D.V. Obzor metodov ocenki effektivnosti gosudarstvennogo upravleniya // Standarty i kachestvo. 2007. №7. P. 76 - 80.

9. Fattahov R.V. Sovershenstvovanie gosudarstvennogo upravleniya prirodnymi sistemami na primere Bajkal'skoj prirodnoj territorii // Upravlencheskie nauki v sovremennom mire. 2018. T. 1. № 1. P. 402-406.

10. Kozhevnikov S.A., Voroshilov N.V. Aktual'nye voprosy ocenki effektivnosti gosudarstvennogo upravleniya v sovremennoj Rossii // Problemy razvitiya territorii. 2017. №6 (92). P. 35-52.

11. Nosova S.S., Norkina A.N., Makar S.V., Arakelova I.V., Medvedeva A.M., Chaplyuk V.Z. The digital economy as a new paradigm for overcoming turbulence in the modern economy of Russia // Espacios. 2018. T. 39. № 24.

12. Nikonorova A.V., Stroev P.V., Morkovkin D.E., Bykova O.N., Isaichikova N.I., Kvak A.A., Skryabin O.O. Development of innovations monitoring system and its implementation in practice of commercial companies // AD ALTA: Journal of Interdisciplinary Research. 2019. T. 9. № 2. P. 233-236.

13. Barcic I.N. Mezhdunarodnye metodiki ocenki effektivnosti gosudarstvennogo upravleniya // Upravlencheskoe konsul'tirovanie. Aktual'nye problemy gosudarstvennogo i municipal'nogo upravleniya. 2009. №4 (36). P. 10-26.

14. Erznkyan B.A., Imanov R.A., Ovsienko V.V., Stavchikov A.I. K postroeniyu i ispol'zovaniyu indikatorov institucional'nyh sdvigov i dlinnovolnovoj dinamiki // Teoriya i praktika institucional'nyh preobra- zovanij v Rossii. Sbornik nauchnyh trudov pod red. B.A. Erznkyana. Vyp. 30. M.: CEMI RAN. 2014. P. 6-27.

Размещено на Allbest.ru