Подходы к оценке программ в российской практике

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Подходы к оценке программ в российской практике

Минченко О.С.

Одной из ключевых задач стоящих перед Российской Федерацией, является выбор модели устойчивого экономического развития и переход к ее реализации. Залогом устойчивого экономического развития страны является повышение эффективности деятельности государственных институтов всех уровней. Одним из системообразующих элементов является повышение эффективности деятельности государственных институтов всех уровней, переход к широкомасштабному применению методов программного управления, стратегического планирования во всех областях деятельности. Для достижения указанных целей во всем мире широко используется программно-целевой метод планирования и управления. Особенностью данного метода является его ориентированность на пошаговое достижение результата: конечные цели проекта декомпозируются на более конкретные, характеризующие реализацию отдельных мероприятий проекта. В рамках программно-целевого метода значительная роль отводится целеполаганию и разработке показателей результативности, увязанных с поставленными целями.

Неотъемлемым элементом программно-целевого метода является проектная форма работы. Такая форма работы обеспечивает возможность концентрации ресурсов на отдельных аспектах определенной области деятельности, позволяет сохранить гибкость механизма управления и реализации программ и проектов, а так же делает возможным тщательный контроль финансирования и полученных в ходе реализации программы результатов. Кроме того проектная форма работы дает возможность эффективно реализовать системные, межведомственные проекты, направленные на решение комплексных вопросов и проблем.

Распоряжением Правительства Российской Федерации от 17 ноября 2008 года №1663-р «Основные направления деятельности Правительства Российской Федерации на период 2012 года» [1] в качестве одного из таких направлений определена задача «выхода страны на уровень экономического и социального развития», чем обуславливается необходимость проведения системного и качественного преобразования социально-экономической системы страны. В качестве средств для решения вопросов системного преобразования обозначен программно-целевой метод и сделан акцент на необходимости применения проектных подходов, ориентированных на управление конечными результатами в рамках государственного управления.

Практическим воплощением применения инструментария проектного подхода, ориентированного на достижение общегосударственных целей, является разработка и реализация целевых программ различного уровня управления и финансирования, направленных на комплексное решение проблем государственного уровня в среднесрочной и долгосрочной перспективе.

Целевые программы в настоящее время реализуются на различных уровнях власти и выступают важным экономическим инструментом, позволяющим осуществить концентрацию ресурсов, в том числе и ресурсов различных ведомств и уровней власти, чтобы комплексно и системно решить наиболее остро стоящие проблемы. Например, целевые программы позволяют обеспечить успешную реализацию крупных социально-экономических проектов по развитию инфраструктуры.

В рамках использования программно-целевого метода важнейшей задачей является построение согласованной системы, целей, задач, мероприятий, ожидаемых результатов и целевых индикаторов и показателей программы.

Эффект от реализации программ может иметь как экономическое, так и общественное (социальное) измерение. Именно в этом во многом и состоит специфика государственного сектора по сравнению с негосударственным сектором экономики. Значимость общественной эффективности характеризуется соответствием реализации программ достижению общественных целей и социально значимых результатов.

В большинстве случаев эффективность реализации программ - категория социально-экономическая, она раскрывает взаимосвязь результатов управленческой деятельности, выраженных экономическим и общественным результатом, с принятием решений о способах достижения целей и выполнения работ, а также расходами на их достижение. Таким образом, можно выделить экономическую и общественную эффективность деятельности государственных служащих.

Эффективность в экономическом смысле - это соотношение полезного результата (эффекта) и объема использованных или затраченных для этого ресурсов (временных, кадровых, финансовых). [2, c.56] В англоязычной терминологии такую эффективность чаще всего обозначают как efficiency (cost-efficiency).

Экономическая эффективность оценивается по уровню и динамике издержек на тот или иной вид управленческой деятельности. Однако сам факт экономии денег, времени или численности кадров органа власти будет показателем эффективности лишь в том случае, если качество управления, по крайней мере, не ухудшится. О действительной экономической эффективности можно говорить тогда, когда затраты не изменились, а качество управления улучшилось, или сохранился предыдущий уровень качества при сокращении затрат, либо затраты на управление увеличились, но еще в большей мере улучшилось качество управления.

За общий критерий экономической эффективности, как правило, принимают максимальный результат на единицу расхода или минимальный расход на единицу результата. Конкретное количественное выражение критерий обретает с помощью системы показателей, посредством которых соизмеряются издержки и полученные в ходе реализации программы результаты. [3, c. 18]

Так как повышение эффективности деятельности органов власти предполагает также нахождение наилучших организационных форм, методов, технологий деятельности непосредственно управляющих и управляемых структур в целях достижения последними оптимальных результатов с заданными показателями, то в качестве таковых могут выступать критерии рациональной и качественной организации системы управления и выполнения работ.

Для измерения эффективности в общественном смысле при сопоставлении достигнутого результата с издержками ставится задача не только показать степень экономичности, а дать ответ на вопрос, за счет каких методов достигнуто данное приближение к цели, возможно ли было принятие более эффективного альтернативного решения. Тогда под эффективностью следует понимать как степень достижения цели, так и степень экономичности расходования ресурсов, выражающуюся в соотношении единицы определенного общественного результата в расчете на единицу затрат. [4, c. 78] В англоязычной терминологии такую эффективность чаще всего обозначают как effectiveness.

В рамках разработки инструментария для оценки эффективности реализации мероприятий Программы особо важно установить соотношение между эффективностью в экономическом и общественном смысле, ближайшими и более отдаленными результатами. Если система оценки направлена на достижение непосредственных результатов в рамках ограниченного во времени периода, то может создаться ситуация, когда субъекты, участвующие в реализации программы не будут заинтересованы в решении стратегических вопросов. [5] В связи с этим необходимо оценивать показатели эффективности реализации Программы с учетом долгосрочных результатов.

С точки зрения бюджетной эффективности следует оценивать денежный эквивалент полученного по итогам реализации проекта результата по отношению к затратам, обеспечившим его получение. Показатели бюджетной эффективности отражают финансовые последствия реализации проекта для бюджетов соответствующих уровней. В государственной сфере Российской Федерации бюджетная эффективность оценивается по требованию органов государственного или регионального управления. Расчет бюджетной эффективности ведется по специальной методологии. Например, по проектам, в рамках которых создаются новые рабочие места, в качестве затрат, сопровождающих его реализацию, учитываются бюджетные средства, затраченные на создание рабочих мест, а в качестве полученного результата - бюджетная экономия на выплате пособий безработным, на оказании им услуг по трудоустройству и на оплату их медицинского страхования. Для крупномасштабных экономических проектов при оценке бюджетной эффективности проекта рассматриваются изменения доходов и расходов бюджетных средств, обусловленные влиянием реализации проекта на субъекты экономической деятельности в сфере реализации проекта.

Возможность оценивать эффективность реализации мероприятий с точки зрения общественных (социальных) факторов объясняется тем, подсистема управления реализацией Программы создается и существует не для себя, а для обеспечения реализации Программы с целью развития системы государственной службы Российской Федерации.

При оценке эффективности с социально-экономической точки зрения производится оценка достижения показателей конечного эффекта. Такие показатели должны отражать изменения состояния целевой группы по итогам реализации проекта. Именно показатели конечного эффекта являются индикаторами эффективности реализации проекта и качества ее воздействия на определенную сферу общественных отношений.

Один из наиболее распространенных подходов к понятию эффективности основывается на анализе процессов, затрачиваемых ресурсов и полученных результатов. Так же широко распространены подходы, представляющие собой комбинацию этих элементов, например, оценку результата, полученного с каждой единицы затраченных ресурсов. Ниже остановимся на особенностях оценки эффективности и некоторых ее видах. Более подробно рассмотрим понятие эффективности с позиций сопоставления целей, результатов и процессов.

С процессной точки зрения в качестве меры эффективности следует оценивать достигнутую степень реализации предполагаемых к реализации в данном периоде мероприятий. В рамках оценки процессной эффективности исследуются процессы управления проектом и измеряется фактически достигнутый результат за определенный промежуток времени. Сравнение запланированных и фактически полученных результатов позволяет оценить уровень реализации проекта и сделать вывод об эффективности процессов по его управлению.

Эффективность можно оценивать так же с финансово-экономической точки зрения. Анализ эффективности проекта с точки зрения процессов имеет тесную связь с анализом финансово-экономической эффективности. С финансово-экономической точки зрения эффективность можно оценить, сопоставляя затраченные средства с полученными результатами. Оценка может производиться в процентом соотношении потраченных средств от запланированного объема и степени реализации проекта с точки зрения запланированных и полученных результатов. В целом оценка финансово-экономической эффективности проекта позволяет ответить на вопросы: выполнен ли предполагаемый объем работ за предполагаемые средства, удалось ли достичь их экономии или, наоборот, был допущен перерасход.

Оценка эффективности производится на основе расчета значений показателей. Существует три основных категории показателей результативности - это показатели конечного эффекта, показатели непосредственного результата и показатели использования ресурсов. Каждая категория показателей позволяет оценить проект с разных точек зрения. Показатели конечного эффекта позволяют оценить социально-экономический эффект от реализации проекта и проследить изменение состояния целевой группы, однако, проведение оценки предполагается в долгосрочной перспективе, так как ощутимый конечный эффект проявляется лишь через значительный промежуток времени после реализации проекта.

Показатели реализации программ могут представлять собой набор индикаторов различного характера. Они могут выражаться как в качественной, так и количественной форме. Использование качественных показателей позволяет получить экспертную оценку характеристик некоторого объекта, в данном случае - эффективности реализации мероприятий Программы. Основным преимуществом качественных показателей является возможность получения более широкой оценки за счет того, что оценка формулируется не в виде одного или нескольких количественных характеристик, а в виде качественного описания эффективности реализации мероприятий Программы.

При применении качественных оценок появляется возможность получения различных взглядов и трактовок эффективности реализации мероприятий программы в случае привлечении нескольких экспертов для качественной оценки. Это позволяет провести анализ эффективности реализации мероприятий с разных сторон, в ряде случаев получить более комплексную и полную оценку. Однако это приводит к зависимости оценки от выбора эксперта (экспертов).Основным недостатком является высокий уровень субъективности оценки.

Включение в программу исключительно качественных или исключительно количественных показателей делает ее оценку не достаточно полной. Для получения достоверных комплексных оценок реализации программ целесообразно производить их оценку как с использованием качественных, так и количественных показателей.

Наиболее перспективной с точки зрения международного опыта является практика, при которой органы власти устанавливают определенные требования к показателям. Во многих практических руководствах по разработке показателей из международной практики отмечается, что они должны удовлетворять следующим наиболее основным критериям «4С»:

- четкость (Clearness),

- полнота (Completeness),

- комплексность (Complexity),

- непротиворечивость (Consistency).

Также показатели должны соответствовать концепции «SMART» и обладать пятью следующими свойствами. Показатели должны быть:

- конкретными (Specific);

- измеримыми (Measurable);

- достижимыми (Achievable);

- релевантными (Relevant);

- связанными с определенным периодом времени (Time-certain).

Одной из самых сложных проблем является квантификация и формализация показателей эффективности. Этот процесс важен как для целеполагания и планирования выполнения мероприятий федеральной программы, так и для проведения оценки эффективности выполнения федеральной программы. Количественные показатели легче оценивать при проведении мониторинга, кроме того, они обеспечивают объективность оценки и не зависят от субъективного отношения руководителей к подчиненным.

Также одним из важных аспектов является разделение результатов и эффектов деятельности на непосредственные (outputs) и конечные (outcomes). Непосредственные результаты и эффекты выражаются, как правило, в количественных характеристиках объема проделанной работы, а конечные - в достижении социально значимых целей и задач органов власти. При этом достижение конечных результатов и эффектов (outcomes) показывает эффективность с точки зрения общества, а достижение непосредственных результатов (outputs) характеризует насколько эффективно и рационально осуществлялась деятельность с точки зрения органа власти.

С точки зрения оценки рациональности использования ресурсов при достижении или не достижении запланированных результатов выделяются показатели, характеризующие затраты на осуществление определенной деятельности (inputs). Кроме того, обычно в особую группу выделяют показатели, характеризующие процесс выполнения отдельных процессов в рамках мероприятий федеральной программы (processes). Обычно такие показатели обусловливают сроки или нормативы осуществления определенного рода действий. И, наконец, последняя группа показателей эффективности - это показатели влияния (impacts), характеризующие эффект воздействия на управляемую подсистему или определенную целевую группу.

Проведенный в рамках данной работы анализ мероприятий федеральной программы показал, что наиболее приемлемыми показателями с точки зрения вышеописанной классификации являются следующие типы показателей эффективности:

- показатели процессов;

- показатели непосредственного результата;

- показатели конечного эффекта.

Показатели процессов - показатели данного типа часто применяются для оценки выполнения мероприятий Программы, когда возникают сложности при формализации результатов деятельности. Показатель процесса может формулироваться как доля выполненных работ, соответствующих стандартам или требованиям, предъявляемым к ним. Фактически, эти показатели нельзя полностью отнести к показателям эффективности. Тем не менее, часто показатели процессов являются единственно возможным подходом к контролю или объективному отражению деятельности. Таким образом, показатели процессов способны характеризовать выполнение работ в ходе реализации мероприятий программы.

Непосредственный результат деятельности выражается в виде и количестве выполненных задач, осуществленных мероприятий федеральной программы и т.д. Степень достижения намеченных на конец определенного периода результатов является основанием оценки эффективности деятельности в течение данного периода. Таким образом, показатели непосредственного результата позволяют оценить фактически полученный результат реализации проекта, иными словами отследить изменение состояния самого субъекта управления. Первый вариант - это показатель, выражающий количество работ, проведенных в рамках мероприятий федеральной программы. Второй вариант - показатель, выражающий непосредственный объем полученных в ходе выполнения мероприятий программы результатов. Для Программы реформирования и развития государственной службы показателем непосредственного результата является, например, показатель «число реализованных инновационных образовательных программ в области государственной службы».

Остановимся более подробно на рассмотрении конкретных примеров показателей различного вида. В качестве предмета рассмотрения были выбраны показатели, закрепленные для оценки результатов выполнения федеральной программы «Реформирование и развитие системы государственной службы Российской Федерации (2009-2013 годы)».

Указом Президента Российской Федерации от 10 марта 2009 г. N 261 "О федеральной программе "Реформирование и развитие системы государственной службы Российской Федерации (2009-2013 годы)" [7] определены основные направления и приоритеты реализации комплекса мероприятий по реформированию и развитию системы государственной службы, выделены ожидаемые результаты их реализации, кроме того определены 11 целевых индикаторов и показателей Программы.

Конечные результаты программы можно оценивать в виде изменения (или отсутствие изменения) в состоянии, функционировании, проблемах целевой группы (государственных служащих, граждан, получающих государственные услуги и др.). Показатель конечного эффекта характеризует степень достижения определенной цели или задачи и представляющий собой количественною оценку состояния целевой группы, на которую направлена эта деятельность. В том случае, если непосредственные результаты деятельности отражают фактический объем работ, результат воздействия данной деятельности на целевую группу обозначается термином конечного эффекта.

Тем не менее, применение показателей конечного эффекта также часто ограничено, так как для некоторых видов деятельности сложно выделить целевую группу, управляемую подсистему, состояние которой изменяется в результате деятельности. Кроме того, при выделении показателей конечного эффекта необходимо учесть влияние внешних факторов, которые оказывают непосредственное воздействие на управляемую систему и, соответственно, на достижение поставленных целей, но находятся вне контроля министерств. Влияние внешних факторов может привести к ситуации недостижения по тем или иным не зависящим от государственных служащих министерств причинам целевого значения показателя конечного эффекта. В данном случае оценка эффективности будет искажена.

Показатели ресурсов отражают объем ресурсов, которыми располагает орган власти для реализации мероприятий: денежные и материальные ресурсы, количество персонала, характеристики оборудования или материальной обеспеченности. Данные показатели не являются в прямом смысле показателями результата, тем не менее, данная группа показателей может использоваться для целей повышения эффективности деятельности реализации мероприятий программы в качестве дополнительных в системе показателей эффективности. Показатели использования ресурсов можно отнести к процессным показателям реализации проекта, так как они, как правило, характеризуют именно процесс реализации проекта. Эти показатели можно использовать на протяжении всей реализации программ и проектов. Показатели непосредственного результата и конечного эффекта взаимосвязаны между собой с точки зрения характеризуемого воздействия, иными словами значения показателей непосредственного результата опосредованным образом оказывают влияние на значение показателей конечного эффекта. Принимая во внимание данный факт, для получения полной информации об эффективности реализации проекта необходимо проведение комплексной оценки показателей.

Для оценки эффективности реализации мероприятий Программы используются различные типы показателей, приведенные выше. Это позволяет обеспечить как большую комплексность оценки, так и отчасти нивелировать недостатки, свойственные различным типам показателей.

Для достижения результатов Программы необходимо обеспечить соблюдение принципов взаимосвязи показателей реализации мероприятий и показателей реализации Программы в целом. Иными словами необходима организация поэтапной оценки реализации всех составляющих элементов Программы, начиная с наиболее низкого уровня - уровня мероприятий - и заканчивая показателями, характеризующими эффективность реализации Программы. Соблюдение этих принципов предполагает, что при реализации масштабного проекта, состоящего из нескольких этапов или мероприятий, система мониторинга должна базироваться на двух уровневой системе показателей - показатели, оценивающие результаты промежуточных этапов (мероприятий), и показатели реализации проекта. При этом показатели реализации промежуточных этапов (мероприятий) обеспечивают контроль за достижением результатов проекта, иными словами показатели реализации промежуточных этапов (мероприятий) агрегируются до показателей проекта в целом.

В существующей практике реализации различных государственных программ в России используемые индикаторы, как правило, не позволяют в полной мере оценить вклад конкретных мероприятий в достижение общей цели программы, что противоречит основополагающему принципу проектного подхода - строго целевом использовании средств и ориентации финансирования на результат.

Среди показателей и индикаторов Программы реформирования и развития государственной службы 2009-2013 гг. представлены как показатели конечного эффекта, так и показатели непосредственного результата, что позволяет произвести комплексную оценку реализации Программы. В качестве примера показателя конечного эффекта можно привести индекс доверия граждан к государственным служащим, показателя непосредственного результата - число реализованных инновационных образовательных программ в области государственной службы.

Следует отметить, что между направлениями и приоритетами реализации Программы существует четкая взаимосвязь, закрепленная Указом. Что же касается ожидаемых результатов и показателей реализации Программы, то их взаимосвязь с остальными элементами Указом не установлена. В условиях отсутствия четко установленных взаимосвязей между направлениями, приоритетами реализации мероприятий Программы и ожидаемыми результатами, а также показателями реализации мероприятий Программы невозможно качественно и адекватно оценить эффективность реализации Программы.

К сожалению, подобные проблемы характерны для многих программ, реализуемых в различных сферах деятельности в Российской Федерации. Зачастую цели, задачи и индикаторы программ формируются на этапе формирования идеологии. На более поздних этапах показатели и индикаторы, как правило, корректируются с учетом того, насколько оперативно и точно могут быть собраны данные для оценки показателей. Зачастую разработчики останавливают свой выбор на тех показателях, которым могут быть рассчитана на основе открытых данных или данных собираемых Федеральной службой государственной статистики. К сожалению, такие показатели часто не отражают эффективности реализации мероприятий, предусмотренных программами.

Взаимосвязь показателей и мероприятий, реализуемых в рамках программы, как правило представляет собой фундаментальную трудность. Это связано с тем, что показатели зачастую закрепляются на весь период реализации программы, а перечень мероприятий разрабатывается и корректируется ежегодно в течение всего срока реализации программы. В результате чего нередко происходит ситуация, в которой реализуемые мероприятий и оцениваемые показатели вообще не связаны между собой.

В рамках исследования Программы реформирования и развития государственной службы 2009-2013 гг попытки экспертными методом сопоставить различные элементы программы привели к выявлению ряда показателей, вообще не имеющих прямой связи с ожидаемыми результатами реализации Программы. Среди них:

· доля государственных служащих, должностные регламенты которых содержат показатели результативности;

· доля специалистов в возрасте до 30 лет, имеющих стаж государственной службы более 3 лет;

· число государственных служащих, уволившихся с государственной службы до достижения ими предельного возраста пребывания на государственной службе.

В ряде случаев невозможно установить четкое соответствие между результатом и целевым индикатором или показателем реализации Программы. Таким образом, можно сделать вывод, что показатели не в полной мере позволяют оценить эффективность реализации Программы и должны быть дополнены рядом дополнительных.

Для обеспечения более полной и качественной оценки программ целесообразно осуществлять формирование перечня показателей с учетом особенностей мероприятий и ожидаемых результатов (конечных эффектов). Предлагаемая схема построения системы показателей и индикаторов оценки Программы представлена на рисунке 1

государственный программный стратегический планирование

Рисунок 1 - Схема построения системы показателей и индикаторов оценки Программы.

Обобщение и агрегирование показателей конечного эффекта позволит получить значения показателей более высокого уровня. Такая система позволит оценить отдельные аспекты реализации программ в отдельности и вместе с тем оценить эффективность ее реализации в целом путем обобщения показателей и переведения их на более высокий уровень оценки.

Подобная система построения показателей эффективности реализации программ, состоящая в оценке результатов реализации мероприятий программы от частного к общему, позволит учесть все аспекты реализации мероприятий и максимально полно отразить их влияние на эффективность реализации.

Литература

1. Основные направления деятельности Правительства Российской Федерации на период 2012 года: Распоряжение Правительства Российской Федерации от 17 ноября 2008 года №1663-р // Собрание законодательства РФ. 26.10.2009. N 43. ст. 5065.

2. Стиглиц Дж. Экономика государственного сектора. М.: Инфра-М, 1997. 231 с.

3. Mascarenhas R.C. Searching for efficiency in the public sector // Public Budgeting and Finance. 16/3. 1996.

4. World Bank. Managing Public Expenditure. A Reference Book for Transition Countries [cайт]. URL: capacity4dev.ec.europa.eu/system/files/file/08/03/2012_-_1717/richard_allen-manual-pfm.pdf (дата обращения 25.12.2012).

5. Geletkanycz A. Marta, Hambrick C. Donald. The external tics of top executives: implications for strategic choice and performance / Administrative Science Quarterly. 1997.

6. О федеральной программе «Реформирование и развитие системы государственной службы Российской Федерации (2009-2013 годы)»: Указ Президента Российской Федерации от 10 марта 2009 г. N 261 // Собрание законодательства РФ. 16.03.2009. N 11. ст. 1277.

Размещено на Allbest.ru