Методологические положения оценки реализации программных документов в сфере публичного управления

Размещено на http://www.allbest.ru/

Методологические положения оценки реализации программных документов в сфере публичного управления

Нигметов Кайсар Каиркенович, аспирант

Институт экономики Уральского отделения РАН

Начальник управления оценки проектов и программ АО «Институт экономических исследований» Министерства национальной экономики Республики Казахстан

В данной статье рассматриваются различные методики оценки социально-экономической эффективности программных документов. Исследуются показатели, позволяющие измерить результативность реализации программных документов. Выявлены сильные и слабые стороны экспериментального и квазиэкспериментального подходов.

Ключевые слова: оценка, эффективность, государственная программа

This article discusses the various methods for assessing the socio-economic benefits of the program documents. Examines indicators to measure the effectiveness of the implementation of policy documents. Identified strengths and weaknesses of experimental and quasi-experimental approaches.

Keywords: evaluation, efficiency, government programs.

программный документ экспериментальный экономический

Следует отметить, что оценка экономической эффективности государственных программ рассматривается как важнейшая часть механизма обеспечения эффективного размещения ресурсов в большинстве развитых стран.

В теории экономической эффективности на сегодня существует целый ряд проблем. Связаны эти проблемы с тем, что теория экономической эффективности до сих пор, почти за три века своего существования, не дала нам единого и четкого определения самого понятия «экономической эффективности», не назвала её критерия и не разработала единой системы показателей, по которым экономическую эффективность можно было бы оценить. И вследствие этого её часто упрекают в несовершенстве и недостаточной степени разработанности [1].

Единого, универсального определения экономической эффективности нет, что связано со сложностью и специфичностью экономических отношений, возникающих по поводу разработки и реализации программных документов.

Например, часть авторов, под экономической эффективностью понимают сравнение экономического эффекта с расходами на его получение. Под эффектом они понимают результат проведенных хозяйственных мероприятий. Часть авторов считают, что понятие экономической эффективности должно определять степень использования ресурса. Некоторые современные ученые отождествляют экономическую эффективность с производительностью труда.

Классическим определением понятия «экономическая эффективность» является определение, которое дал Карл Маркс. Суть рассуждений Карла Маркса заключается в следующем: экономическая эффективность заключается в том, чтобы при минимуме авансированного капитала производить максимум прибавочной стоимости или прибавочного продукт [2].

Измерение эффективности - инструмент для оценки состояния программы относительно заявленных целей и задач, при условии, что стратегические цели программы известны. Он включает в себя следующие виды деятельности:

* Документирование «производственного процесса», состоящего из трансформации затрат, представляющих собой используемые программой ресурсы, в результаты - продукты и услуги, напрямую произведенные программой;

* Оценка результатов - более обширных экономических или социальных изменений в результате реализации инициативы или программы - и сравнение их с целями программы.

Измерение эффективности в общем случае можно использовать для оценки результатов программы или инициативы - но не для анализа и понимания, почему достигнуты именно такие результаты или какие изменения следует внести в цели программы или в саму программу. По этим причинам, необходимо проводить более глубокую оценку программы. Оценка программ, охватывает область более широкую чем мониторинг и оценка неких контрольных параметров эффективности и переходит на уровень анализа способов которыми затраты трансформируются в результат. В то время как измерение параметров эффективности фокусируется на эффективности программы и ее эффекте, оценка программы дает ответы на вопросы связанные с полезностью программы, ее релевантностью и устойчивостью достигнутых результатов.

Если дать более точное определение, то часто говорят, что измерение эффективности позволяет оценить следующие пять аспектов эффективности:

* Эффективность в смысле соотношения ресурсов и услуг, произведенных программой или инициативой (результаты) и ресурсов затраченных на то что бы их произвести (затраты). Такая эффективность измеряется в затратах на единицу результата. Эффективность следует оценивать по сравнению с какой - либо базой, т.е. стоимостью единицы результата полученной в предыдущий период времени, либо с данными, полученными при реализации схожей программы другой организацией.

* Эффект программы - степень достижения программой ожидаемых целей или результатов. Эффект является наиболее важной мерой ценности денег в общественном секторе. Продукты или услуги могут быть произведены с высокой эффективностью, но при этом не способствовать достижению целей программы и удовлетворению пользователей услуг - ресурсы в таком случае будут в большой степени потрачены впустую.

* Экономичность - можно определить как «приобретение в достаточном количестве удовлетворительных по качеству финансовых, человеческих и физических ресурсов в рамках отведенного промежутка времени и с минимальными возможными затратами». Ее можно оценить при помощи оценки затрат и сравнения их с нормами и стандартами.

* Соответствие требованиям законодательства. Правительственные организации должны отвечать требованиям бюджетных и других законодательных актов в плане управления финансовыми потоками и своевременности выплат своим кредиторам. Например, налоговое ведомство может иметь конкретный целевые параметры (такие как размер собранных налоговых недоимок). Подобные финансовые индикаторы иногда относятся скорее к эффективности.

* Качество услуг. В более широком смысле, качество услуг относится к эффективности. Тем не менее, обычно этим термином пользуются в более узком смысле, характеризуя более непосредственные нужды пользователей - такие как соблюдение временных рамок программы, доступность, надежность и непрерывность услуг. Развитие интерактивной, ориентированной на потребителя культуры в сфере общественных услуг является одной целей реформ большинства стран-членов ОЭСР, равно как и многих других.

«Эффективность» включает в себя все данные измерения. Некоторые индивидуальные параметры могут взаимодействовать и вступать в конфликт с другими. Например, может оказаться невозможным повысить уровень качества услуг без повышения стоимости или снижения эффективности.

Эффективность может быть измерена при помощи мер и индикаторов. Меры соответствуют непосредственной записи затрат и результатов. Индикаторы используются в качестве замены мер, когда непосредственные меры получить представляется либо слишком трудным, либо для этого требуются несообразно большие затраты (например, стоимость наркотиков «на улице» в качестве меры результатов программы по борьбе с наркотиками). На практике, как и в нижеследующем материале, термины «мера» и «индикатор» являются взаимозаменяемыми.

К мерам эффективности, применимым при оценке приведенных выше факторов, можно отнести следующие:

* Затраты. Меры или индикаторы затрат затрагивают использование персонала, оборудования, материалов и так далее. Затраты обычно выражаются в объемах потраченного либо в количестве времени затраченного персоналом. Меры затрат обычно описывают экономичность, с которой ресурсы используются для достижения целей и получения результатов.

* Выраженные в виде соотношения затрат и результатов, индикаторы затрат используются для измерения эффективности и ценовой эффективности. Затраты должны отражать как текущие расходы так и использование основного капитала. Например, по программе ремонта дороги анализ эффективности затрат должен принимать во внимание и амортизацию оборудования, на долю которой приходится значительная часть расходов. Однако, несмотря на то, что операционные расходы не отражают всех расходов на программу, обычно тенденция, присутствующая в данных расходах соответствует и тенденции общих расходов программы.

* Продукты программы. Продукты представляют собой продукты и услуги, произведенные программой или инициативой (например, километры построенных дорог, количество прошедших вакцинацию детей). Индикаторы результатов используются для оценки эффективности. Она может быть измерена отношением затрат и продуктов, часто представленных в виде количества занятых или рабочего времени, затраченного на получение единицы результата. Такой индикатор называют стоимостью единицы результата (количество дней затраченных на ремонт или стоимость восстановления километра дороги до удовлетворительного состояния). Производительность обычно измеряют соотношением количества затрат и продуктов - т.е. например количество перевезенных товаров отнесенное к стоимости транспортировки (тем не менее, в некоторых случаях производительностью могут называть отношение результатов к затратам). Показатели рабочей нагрузки или меры активности часто используются в качестве альтернативы мерам продукта (например - количество проведенных инспекций).

* Результаты. К результатам относят конечные цели инициативы, достигнутые посредством производства продуктов (улучшенный доступ к отдаленным районам, уменьшение случаев появления конкретного заболевания и так далее). Меры результатов относятся к измерению эффективности.

* Промежуточные результаты - предполагают, достижение поставленных целей, но при этом данные цели не являются конечными. Во многих программах наблюдается последовательность промежуточных результатов. Например, в случае программы по улучшению окружающей среды последовательность промежуточных результатов может быть следующая: принятие закона; изменения в деятельности предприятий; снижение показателей загрязнения и вредных отходов. Для того чтобы описать одни и те же особенности применяют разные термины. Например, термин результат может быть использован в том же значении что и промежуточный результат, в то время как влияние может быть использовано для описания как промежуточных, так и конечных результатов одновременно.

Очень широко для оценки экономической эффективности в мировой практике используются такие показатели, как валовой доход, чистый доход, прибыль, себестоимость. Но они не всегда применимы к документам системы государственного планирования, в частности государственным программам разработчиками, которых являются государственные органы. Как правило, экономическая эффективность программных документов подразумевает бюджетную эффективность. При этом зачастую не существует альтернативных способов достижения поставленных целей, и соответственно сравнивать, сопоставлять затраты в рамках программ не с чем, в том числе затруднено применение бенчмаркинга, так как подобные программы ранее просто не разрабатывались.

Важной и часто используемой мерой оценки эффективности является производительность. Первоначальный интерес к вопросам производительности был связан с поиском возможностей повысить уровень управления. Исторически важную роль на первом этапе (1900-1940 гг.) играли специалисты. Их внимание к вопросам эффективности учреждения объяснялось наличием дихотомии «политика-администрирование». Затем, когда на первый план вышли научные принципы администрирования, это внимание лишь усилилось.

В 1940-1970 гг. вопросы эффективности как бы отошли в тень, проявляясь лишь в процессе подготовки, исполнения бюджета и внесения в него различных изменений. В этот период, когда управлением занимались администраторы, государственные служащие концентрировали свое внимание в основном на задачах и целях. Как следствие, интерес к вопросам эффективности несколько снизился.

В 70-е годы производительность оказалась одним из приоритетных направлений деятельности в частном секторе и на всех уровнях государственного управления. Производительность, или эффективность, стала предметом дискуссий между политиками, руководителями государственных учреждений и учеными. У истоков этого движения стояли политики, выступавшие за более эффективное использование ресурсов. По мере приближения к концу десятилетия такой подход с позиций управления менеджерами потерял свою актуальность.

В 80-е годы - период управления государственным сектором методами частного сектора - движение за более высокую эффективность стало снова возрождаться в связи с ростом бюджетного дефицита и давлением со стороны налогоплательщиков. И в этот раз инициаторами выступали граждане и бизнесмены, которые требовали от политиков сокращения государственных расходов и, следовательно, более эффективной работы.

Сегодня помимо производительности очень важное внимание уделяют комплексной оценке. Оценка считается комплексной, если она включает в себя мониторинг, а также оценку процесса, оценку «затраты-выгоды» и оценку воздействия. Однако эти составляющие имеют четкие различия. Мониторинг (monitoring) помогает определить, не отклоняется ли программа от плана. Он обеспечивает постоянную обратную связь, что позволяет выявлять проблемы по мере их возникновения. Оценка процесса (process evaluation) относится к процессам осуществления программы и предоставления соответствующих услуг. Оценка «затраты-выгоды» (cost-benefit) и «затраты-эффективность» (cost-effectiveness) сопоставляет затраты по программе (финансовые и пр.) с альтернативными возможностями использования тех же ресурсов и соответствующими выгодами от программы.

И, наконец, оценка воздействия (impact evaluation) выявляет, оказала ли программа ожидаемое воздействие на людей, домохозяйства или институты, и дало ли это мероприятие необходимый эффект. Оценка воздействия позволяет также анализировать побочные последствия, положительные и отрицательные, для бенефициаров (получателей выгод). Особое значение для данного пособия представляет определение того, в какой степени эти выгоды оказываются достижимыми для бедных и как эти выгоды воздействуют на их благосостояние. Среди вопросов, которые ставит перед собой оценка воздействия, могут быть следующие: как программа повлияла на бенефициаров? Были ли наблюдаемые улучшения прямым результатом программы или они произошли бы в любом случае? Можно ли повысить эффективность программы путем внесения в нее каких-либо изменений? Обоснованы ли затраты?

На эти вопросы нельзя ответить простым измерением итогов программы. Ведь в ситуации могут присутствовать другие факторы или события, коррелирующие с результатом, но не вызванные программой. Для обеспечения методологической строгости оценка воздействия должна охватывать так называемую «гипотетическую альтернативную ситуацию или сценарий», «предположение от обратного» (determining the counterfactual), т.е. «то, что было бы в отсутствие программы». Например, если недавний выпускник программы трудового обучения нашел работу, является ли это результатом программы, или он трудоустроился бы в любом случае? Чтобы получить представление о гипотетическом альтернативном сценарии, необходимо отделить эффект воздействия от других факторов, что представляет собой довольно сложную задачу. Для этого используются контрольные группы (control groups), т.е. группы тех, кто не участвует в программе и не получает помощи. Затем контрольная группа сравнивается с экспериментальной группой (treatment group) (т.е. группой, на которую оказывается воздействие). Контрольная, или сравнительная группа выделяется случайным образом из той же совокупности, что и группа участников программы. В состав такой контрольной группы включаются те, кто не участвуют в программе. Контрольная группа должна соответствовать экспериментальной группе по всем параметрам; единственным отличием является само участие в программе.

В основе оценки лежит выявление гипотетической альтернативной ситуации. Получить о ней представление можно несколькими методами, которые подразделяются на две общие категории - экспериментальные (рандомизированные) и квазиэкспериментальные (нерандомизированные) подходы. Тем не менее, довольно сложно отделить воздействие программы от такой ситуации из-за различий в предыстории, смещений и ошибок выборки. Для оценки воздействия можно также использовать качественные методы, или методы с вовлечением бенефициаров. Они часто дают возможность критически взглянуть на процесс с позиции бенефициаров, увидеть, какова ценность программы для ее участников, какие процессы могут влиять на результат и, таким образом, более корректно интерпретировать данные количественного анализа. Ни один из методов не является идеальным, и потому окончательное решение о выборе наиболее подходящего из них должен принимать специалист по оценке. Однако заблаговременное и тщательное планирование даст больше вариантов при разработке схемы и стратегии оценки.

К основным статистическим методам, используемым при квазиэкспериментальной оценке, относятся:

1. методы сопоставления;

2. метод оценки разностей;

3. метод инструментальных переменных.

В большинстве работ, использующих метод сопоставления (matching) при оценке чистого эффекта проведения программы, проводится контроль естественно проявляющихся систематических различий (смешивающих переменных) в характеристиках сравниваемых объектов контрольной группы и группы воздействия (таких как распределение по полу, возрасту и др.) [3].

Метод оценки разностей (Difference in Difference) применяется, когда есть основания полагать, что существует ряд ненаблюдаемых характеристик, влияющих на участие в программе и результат. При осуществлении данного метода рассчитывается разница в результате между группой воздействия и контрольной группой в периоде до проведения программы и после проведения программы.

В случае, когда данные доступны только после проведения программы, метод инструментальных переменных может быть полезной альтернативой для оценки эффекта программы. Инструментальной переменной является переменная, которая коррелирует (связана) с участием в программе, но не влияет на результат.

Наиболее продвинутыми являются экспериментальные подходы к оценке эффективности. Экспериментальные подходы, также называемые «рандомизацией», обычно считаются наиболее надежной и обоснованной методикой оценки. При случайном распределении помощи среди благополучателей сам процесс создает экспериментальные и контрольные группы, сравнимые и статистически эквивалентные при достаточном объеме выборки. Это очень важный результат, поскольку контрольные группы, составленные с помощью случайной выборки, обеспечивают идеальную «гипотетическую ситуацию», свободную от смещения выборки (эта проблема присутствует во всех оценках). Основное преимущество этой методики заключается в простоте интерпретации данных, так как воздействие программы измеряется разницей между средними показателями в экспериментальной и контрольной группах.

В системе государственного планирования постсоветских стран практически не развита оценка реализуемых или реализованных стратегических инициатив, и не применяются экспериментальные подходы для проведения оценки программных документов. Основные усилия ведомств направлены на реализацию функций контроля и мониторинга исполнения плана мероприятий программы. При этом понятие оценки воспринимается соответствующими органами с точки зрения, прежде всего, обоснованности, целеориентированности и адекватности финансовых расходов, а также достижения и недостижения значений целевых индикаторов. Такой подход привёл к тому, что были утрачены фундаментальные составляющие оценки: определение причин, приведших к текущим результатами, и оценка качества самой программы с точки зрения её конечных результатов.

Одним из институтов, имеющего цель повышения качества государственного менеджмента, является институт оценки политики. Институт оценивания политики в большинстве развитых стран является неотъемлемой составляющей политико-управленческой практики. Государственные структуры в России и странах СНГ пока только начинают осваивать этот инструмент, сталкиваясь с общими проблемами, в том числе, недостаточным пониманием роли оценивания и как управленческого инструмента, и как механизма формирования гражданского общества. Как следствие, низка востребованность оценки со стороны государственных структур; отсутствуют национальные организации по оценке, ощущается недостаток профессиональной подготовки квалифицированных оценщиков, слабо разработана собственная методологическая база, существует информационная изолированность результатов даже проведенных оценочных исследований и т. п. [4].

Наиболее успешные и эффективные системы государственного планирования предполагают проведение оценки стратегических инициатив на трёх уровнях - оценка государственной политики, оценка программ и оценка проектов, отсюда берет свое начало программно-целевой подход в стратегическом планировании и в государственном управлении в целом.

Программно-целевому методу свойственны также некоторые особенности планирования ресурсного обеспечения. Прежде всего, имеется в виду присущий этому методу принцип целевого распределения ресурсов, согласно которому потребности в ресурсах определяются, а сами ресурсы выделяются в соответствии с целереализующими мероприятиями, т.е. в непосредственной увязке с целями. Первичное распределение ресурсов «по целям» в общем случае предпочтительнее распространенного в управлении распределения ресурсов «по исполнителям», т.е. отраслям, регионам, организациям, объектам, которое должно быть вторичным, следовать за целевым распределением [5].

Оценка проектов (прежде всего, инвестиционного характера) обычно проводится с целью принятия решения об их реализации или для оценки степени достижения конечных целей проекта. Такое решение принимается коллегиальным экспертным решением участников системы государственного планирования. Поскольку механизмы приоритезации проектов в рамках бюджетных заявок находятся только на этапе внедрения, и ответственность за риски проекта не персонифицируется, ключевое решение носит преимущественно политизированный характер.

Оценка программ - представлена преимущественно контролем финансовой дисциплины и мониторингом достижения целевых показателей. Оценка их результативности и эффективности отсутствует, либо осуществляется в рамках пилотных проектов.

Оценка государственной политики представляет собой исследования, направленные на комплексное изучение влияния государства, на развитие отрасли или сферы. Такие исследования, как правило, реализуются с целью подготовить информационно-аналитическую базу для принятия решений по направлениям государственного планирования, а также для определения приоритетов.

Для оценки программ и политики в мировой практике существуют три основных вида исследований: предварительная (ex ante), итоговая оценка результативности (ex post) и специальная оценка (ad hoc).

По нашему мнению методика оценки программных документов должна сочетать в себе, как экономические, так и социальные аспекты, что позволит осуществлять всестороннюю, комплексную оценку реализации программных документов.

Процесс оценки должен давать возможность оценить и учесть не только прямые, но и косвенные эффекты реализации программных документов.

Оценка социально-экономической эффективности реализации программных документов позволяет:

- контролировать решение программных задач и достижением основных запланированных результатов реализации;

- проводить оценку эффективности расходования бюджетных средств по программам;

- проводить оценку фактического вклада (эффектов от реализации) программ в социально-экономическое развитие страны;

- повысить эффективность и результативность реализации программ, совершенствования порядка и механизмов их формирования и реализации.

Недостаточная методологическая разработанность процесса оценки реализации программных документов оказывает негативное влияние на документы, находящиеся на стадии реализации и на принимаемые в будущем, и соответственно снижает общую эффективность системы государственного планирования.

Список литературы

1 Зубахин А.М., Ю.А. Симонова, Ресурсный подход как одно из направлений оценки экономической эффективности, Вестник Алтайского государственного аграрного университета №3 (41), 2008.

2 Классика экономической мысли: сочинения / В. Пети, А.Смит, Д. Риккардо и др. М.: ЭКСМО-Пресс, 2000. 895 с.

3 Heckman, James, R. Lalonde, and J. Smith. «The Economics and Econometrics of Active Labor Market Programs» In O. Ashenfelter and D. Card, eds., Handbook of Labor Economics, New York: Elsevier Science Publishing Co. 1999. Vol. III.

4 Шамков Ю.В., Дорошенко С.В. Институт оценки политики в пространстве ШОС // Экономика региона. 2012. № 4. С. 212-217.

5 Абатуров О.И., Программно-целевой метод управления как инструмент рыночной экономики. // Власть и управление на Востоке России. 2007. №4 (41).

Размещено на Allbest.ru