Методика оценки городских межсекторных программ

Размещено на http://www.allbest.ru/

3

Методика оценки городских межсекторных программ

Собчук Н.В.

В статье предлагается авторская методика оценки программ социально-экономического развития муниципального образования, основанных на межсекторном подходе. Приводятся основные уровни, параметры и индикаторы оценки.

Ключевые слова: городские программы, межсекторное партнерство, органы местного самоуправления, оценка.

индикатор оценка развитие муниципальное образование

Последнее десятилетие в муниципальных образованиях насчитывается большое количество инициатив в области проведения городской политики с совместным участием органов власти, бизнес структур и некоммерческих организаций (НКО). Все они во многом отличаются друг от друга, но их объединяет желание всех участвующих сторон знать, когда и почему данную партнерскую инициативу можно считать удачной. Поэтому, с развитием межсекторных взаимодействий на муниципальном уровне, закономерно встает вопрос о существующих методиках оценки межсекторных программ и проектов.

Оценочная деятельность как методический инструмент управления во многих областях начала развиваться в 1960-70-х гг., в первую очередь в экономически развитых странах. В сферу государственного управления, местного самоуправления и региональной политики инструментарий оценки был привнесен из сферы корпоративного управления, где успех любой компании всецело определяется анализом эффективности (прибыльности) ее коммерческих проектов.

В самом общем смысле оценка - способ установления значимости чего-либо для действующего и познающего субъекта. М. Скривен, которого некоторые называют «философом» оценки, говорит о том, что «оценка есть только то, что она есть, и не более - а именно, определение достоинства или ценности. А то, для чего она используется, - это уже совсем другое дело» [1, p. 103]. Фонд «Институт экономики города» рассматривают оценку, как экспертизу программ и проектов, направленную на анализ их качества, произведенного ими эффекта и сравнения этих результатов с запланированными, это анализ по итогом которого выносится суждение о качестве программы и разрабатываются рекомендации на будущее [2, c. 13].

Целью оценки является измерение результатов программы и сопоставление их с задачами, которые эта программа должна решить. Это одно из средств содействия последующему принятию решения относительно программы, а также улучшения процесса разработки программ в будущем. Поэтому, предназначение оценки состоит в том, чтобы выяснить, насколько успешна оцениваемая программа. Но критерии успешности программы могут быть самыми разными. Это зависит от того, кто заинтересован в проведении оценки, какие результаты хочет получить заказчик и как он будет их использовать. Более того, городские программы столь же разнообразны, как и сами муниципальные образования. Следовательно, цели и задачи, которые ставятся перед оценщиками в каждом конкретном случае, тоже разные.

Близким к понятию «оценка» является понятие «мониторинг». Мониторинг - регулярный сбор основных данных по текущим результатам деятельности проекта, затратам и т.д., в течение всего периода осуществления проекта. Главные различия между оценкой и мониторингом - время и частота наблюдений. Однако, когда оценка и мониторинг объединены в стратегию исследования как инструмента проектного управления, линия между ними становиться менее явной.

В практике муниципального управления в силу сложности и многоплановости задач нет единой и общепризнанной методики оценки муниципальных программ. В мировом сообществе оценщиков, принадлежащих к разным управленческим и аналитическим школам, пока не сложилось даже единого терминологического поля в тематике оценки проектов. Поэтому говорить в настоящее время о создании универсальной для любого типа программ методики оценки несколько преждевременно [3, c. 98].

В рамках данного исследования будет выработана методика оценки и мониторинга межсекторных программ развития территории, определющая общие принципы и логику оценочной деятельности. Планировать же проведение оценки, выбирать параметры и способы их измерения необходимо в каждом конкретном случае.

Программы городского развития можно оценить с помощью стандартных методов, основанных на конкретных результатах и статистических данных. В настоящее время в отечественной науке разработано несколько методических подходов к оценке планов, программ, проектов городского развития. В основном это зарубежные методики, которые были адаптированы важнейшими российскими центрами по изучению городов и разработке программ городского развития по инициативе зарубежных организаций. Начали активно работать многие региональные и городские некоммерческие организации, занимающиеся оценкой городских социальных проектов.

Так как большинство методик было разработано по заданию Фонда Евразия специалистами, ведущими длительную работу в области экономики города, городского стратегического планирования, то в них были адаптированы лучшие зарубежные подходы, а также использованы отечественные наработки. В значительной же части можно говорить об общих подходах.

Например, при поддержке Фонда Евразия Фондом «Институт экономики города» в 2002 году был реализован проект «Разработка и внедрение методики оценки в практику управления социально-экономическим развитием городов». Согласно данной методике, структура оценки разрабатывается отдельно для каждой оцениваемой программы и определяется целями и задачами оценки, которые формулируются администрацией города (или другим заказчиком оценки программы) в виде вопросов оценки.

Вопросы оценки определяют параметры оценки -конкретные направления оценочных исследований или те элементы программы, экспертиза которых позволяет судить об успешности программы в соответствии с имеющимся заданием по оценке. В качестве параметров оценки, в частности, могут выделяться результативность программы, эффективность реализационной схемы или ресурсных затрат, социально-экономический эффект программы, качество содержания программы и прочее.

Следующий этап разработки структуры оценки - развертывание параметров оценки в систему индикаторов - количественных показателей, позволяющих «измерить» параметры оценки, количественно оценить их состояние.

Сравнительный анализ фактических значений индикаторов с целевыми критериями успешности программы дает ответы на вопросы оценки в количественном выражении, требующие качественной интерпретации экспертами-оценщиками. Индикаторы оценки являются основным объектом анализа данных для выработки результатов оценки [2].

Многие организации разрабатывают свои механизмы, позволяющие оценивать эффективность межсекторных программ развития и степень их воздействия.

Так, Интер-Американским Фондом для оценки проектов развития была разработана схема GDF(от английского Grassroots Development Framework), которая широко используется при оценке межсекторных программ на местном уровне в Латинской Америке и Карибском регионе.

Схема GDF предполагает использование разнообразных показателей воздействия проектов и три уровня анализа: индивидуальный (или семейный), организационный и общественный (табл. 1). Она позволяет оценить осязаемые и неосязаемые результаты, направленные на продвижение основных аспектов процесса развития на местах:

1. укрепление индивидуального и организационного потенциала;

2. постоянное развитие видения будущего и применение творческого подхода к процессу местного развития;

3. укрепление неправительственных организаций и организаций территориальных сообществ;

4. Вклад и построение полноценного гражданского общества [4, c. 56].

Таблица 1. Схема GDF

Что касается методики оценки программ социально-экономического развития муниципального образования, основанных на принципах межсекторного социального партнерства, то в российской научной литературе специальной методики оценки не существует. Поэтому, принимая во внимание существующие методики оценки городских программ, мы сформировали методику оценки межсекторных программ, состоящую из шести последовательных вопросов (рис. 1). На наш взгляд, взаимосвязанные ответы на эти шесть вопросов позволяют создать план действий по оценке и мониторингу межсекторных социальных программ.

1. Почему? Ответ на этот вопрос позволяет обозначить основные цели проведения оценки, среди которых:

· повышение эффективности и качества программы путем анализа как положительного, так и отрицательного опыта;

· повышение ответственности лиц, разрабатывающих и реализующих программу;

более рациональное использование ограниченных ресурсов.

Рис. 1. Вопросы-оценки межсекторных программ.

Обычно мониторинг и оценка включают в себя комбинацию этих целей, но может понадобиться акцентирование внимания на одной из них, в зависимости от доступных ресурсов, навыков, времени и стадии реализации программы, во время которой будет сделана оценка. Общую же цель проведения оценки программы можно определить как содействие эффективному социально-экономическому развитию муниципального образования через совершенствование процедур планирования и управления процессами социально-экономического развития.

В процессе достижения общей цели оценки решается целый ряд задач, среди которых:

· корректировка содержания программы - уточнение целей и задач, переориентирование программы на достижение реалистичных результатов;

· активизация работы по выполнению программы - экспертиза эффективности организации выполнения программы, вовлечение в работу новых исполнителей, повышение эффективности сбора данных, экспертиза дополнительных потребностей и т.д.;

· анализ причин успехов и неудач выполнения программы;

· учет ошибок и недостатков программы при разработке других программ;

· информирование лиц и организаций, принимающих решения;

· анализ разногласий, возникающих среди исполнителей по ходу реализации программы.

2. Для кого?На данном этапе происходит определение основных заинтересованных лиц оценки. На практике, каждая оценка имеет свою аудиторию, интересующуюся результатами исследования. К числу заинтересованных лиц оценки можно отнести:

· участники проекта (органы местного самоуправления, коммерческие и некоммерческие организации);

· лица, занятые в оперативном управлении проектом;

· непосредственные лица, на которых нацелен проект («благополучатели» проекта);

· «внешняя аудитория», которая, возможно, захочет повторить выполняемую по проекту работу, если проект оказался успешным. К «внешней аудитории» можно отнести внешних доноров, органы власти других территорий, соответствующие региональные и муниципальные некоммерческие организации, СМИ.

Любая из этих групп имеет свои интересы и свои требования к получаемой информации. Например, органам местного самоуправления и бизнес-структурам необходима информация об эффективности вложения их ресурсов. Их, прежде всего, будет интересовать информация о менеджменте проекта, достигнутых результатах и влиянии проекта на группы населения, проживающие на охваченных проектом территориях.

П. Росси и Г. Фримен указывают, что эксперты по оценке должны уметь понимать точки зрения всех заинтересованных сторон и учитывать их при планировании и проведении оценки. «Все точки зрения являются одинаково правомерными. Точка зрения клиента или «целевой аудитории» не может претендовать на большую «правомерность», чем точка зрения руководителей программы или финансирующего ее государственного органа» [5, p. 378]. Ответственность эксперта по оценке заключается не в том, чтобы принимать одну из многих точек зрения в качестве единственно законной, а в том, чтобы ясно сформулировать, с какой именно точки зрения проводится данная конкретная оценка, а также признать существование и других точек зрения.

3. Что? На данном этапе определяется объект мониторинга и оценки, который близко связан с вопросом «для кого?». Мониторинг и оценка должны быть направлены на соблюдение баланса между количественными и качественными индикаторами. То есть партнерские программы должны оцениваться как по количественным результатам (например, число построенных детских садов, спортивных площадок), так и качественным (например, повышение степени сплочения территориального сообщества, улучшение межсекторного сотрудничества).

Как отмечают специалисты в области межсекторного взаимодействия, обычно партнерские отношения и основанные на партнерстве проекты имеют комплексную природу, и их трудно оценивать. Их результаты и побочные эффекты могут быть разнообразными, неосязаемыми и иногда неожиданными [4. c. 53].

Профессор Гарвардского университета Х. Бригс выделяет следующие выгоды от реализации межсекторных программ:

· материальные выгодыв форме лучшего выпуска конечного продукта или услуги («output»), лучшего результата («outcome»), т.е. большего «воздействия», и таким образом лучшей работы на организационной миссии или проектных целях;

· нематериальные выгоды, которые могут быть жизненно важными в краткосрочном и долгосрочном периоде, такие как придание большей легитимности процессу взаимодействия, создание многочисленных отношений (сетей) взаимодействия, изучение и возможности развития партнерства, и увеличение признание в более широком сообществе (региональном, федеральном) [6].

Вместе материальные и нематериальные выгоды могут привести к «инновационным решениям тяжелых проблем» и «мультипликационным эффектам для более широких социальных изменений», так же как к созданию «социального капитала и новых возможностей» для совместных действий.

Данные выгоды могут быть определены набором измеримых величин или индикаторов. Под индикатором понимается измеряемый количественный показатель решения поставленной задачи и хода реализации программы по годам. При этом индикаторы должны быть измеряемыми, обоснованными, однозначными, устойчивыми и доступными. При оценке и мониторинге программ специалистами Фонда «Институт экономики города» предлагается использовать следующие виды индикаторов:

1. индикаторы затрат (ресурсов) (expenses indicators) - измеряющие объем использованных ресурсов;

2. индикаторы продукции (outputindicators) - измеряющие непосредственно продукт программы;

3. индикаторы результата (outcomeindicators) - измеряющие выгоды для соответствующих целевых групп.

Особенностью межсекторных программ является то, что они приводят к мультипликационным эффектам в развитии местного сообщества, поэтому, на наш взгляд, необходимо также выделить индикаторы воздействия (impact indicators) - измеряющие определенные воздействия (долгосрочные последствия) соответствующего действия программы для целевых групп и всего сообщества в целом. Примеры данных индикаторов представлены в таблице 2.

Основная проблема в данной модели оценки социальных программ состоит в том, что временные рамки для измерения всех трех составляющих - продукция, результаты, долгосрочное воздействие - будут различны. Если продукция может быть измерена в течение одного года, то оценка результатов возможна только после завершения программы. В то же время долгосрочное воздействие требует внимательного анализа всех сделанных в программу инвестиций, а также прямых и косвенных результатов, выявляемых в течение ряда лет после ее окончания (рис. 2).

где In- анализируемый индикатор за отчетный период, In-1 - анализируемый индикатор за предыдущий период.

Рис. 2. Индикаторы оценки межсекторных программ.

Исходя из данного набора индикаторов, оценку эффективности межсекторных программ можно произвести по трем направлениям: общественный (communitylevel), уровень сети (networklevel) и организационный уровень (organizationlevel). Эффективность на уровне сообщества - определение реальных затрат и выгод от партнерского подхода, другими словами - оценка социально-экономической эффективности про граммы.

Таблица 2. Примеры индикаторов затрат, продукции, результата и воздействия

Эффективность на уровне сети включает в себя анализ межсекторного партнерства, как инструмента сплочения горожан и достижения общественного согласия, диалога и обеспечения участия в процессе принятия решений, практической реализации процесса локального развития. Организационный уровень эффективности - определение ценности партнерства для каждой партнерской организации [7].

1. Общественный уровень или определение социально-экономической эффективности программы для развития местного сообщества. На данном уровне определяется вклад совместных усилий в развитие территории и выгоды, которые достигаются благодаря скоординированным усилиям по сравнению с автономными. Т.е. речь идет об определении социально-экономической эффективности программы - показателя, дающего представление об экономической эффективности инвестиционных вложений в социальную сферу с учетом достигнутого социального эффекта, в данном случае улучшения качества жизни населения.

В философии категория «эффективность» выступает как выражение рациональных способов достижения цели. Мерой эффективности является степень приближения к достижению всех конечных целей. Для любой программы эффективность выражается отношением полученного результата к произведенным затратам. Расчет показателей эффективности осуществляется исходя из степени достижения намеченных программных целей.

Экономическая эффективность- показатель, отражающий экономическую эффективность программы на основе соотношения результатов к затратам. Экономическая эффективность социальных инвестиций основывается на минимизации затрат по их разработке и осуществлению. Экономическая результативность программы может проявляться в различных сферах ее жизнедеятельности. В области межсекторного взаимодействия ее можно оценить с помощью следующих показателей:

1. объем финансовых средств, выделенных из бюджета города на реализацию программ и проектов в области межсекторного социального партнерства, в т.ч. по конкретным механизмам (например, объем ежегодного муниципального гранта для НКО, ТОС);

2. количество привлеченных внебюджетных средств, в т.ч на 1 руб. бюджетных.

Социальная эффективность- показатель, определяющий повышение уровня жизни людей. Показатели социальной эффективности дают представление о количественной стороне достигнутых социальных целей, ради которых социальная программа разрабатывалась и осуществлялась. Оценка социальной результативности осуществляется с помощью показателей, характеризующих отдельные аспекты улучшения качества жизни населения муниципального образования. В разрезе межсекторной программы речь идет о показателях, с помощью которых определяются позитивные изменения социального характера, например, количество человек, которым предоставлены социальные услуги НКО, степень их удовлетворенности предоставленными услугами.

На данном уровне оценки эффективности межсекторной программы могут использоваться общие показатели экономического, социального развития муниципального образования, характеризующие развитие территории в целом, особенно сфер, непосредственно связанных с реализаций межсекторного партнерства.

2. Уровень сети или определение мультипликационного эффекта в местном сообществе.Оценка эффективности межсекторной программы на данном уровнепроявляетсявкачественных результатах: в увеличении общественного участия в местном управлении; в создании новых партнерств между органами местного самоуправления, бизнес-сообществом и некоммерческими организациями; в усилении способности местных властей и некоммерческих организаций в выполнении совместных проектов.

В данном случае производится оценка влияния межсекторной программы на развитие местного сообщества. При этом под влиянием программы понимаются все позитивные и негативные, главные или второстепенные долгосрочные изменения (эффекты), являющиеся прямыми или косвенными, запланированными или непреднамеренными следствиями выполнения программы.

Следует отметить, что в современной российской и международной практике оценка влияния является одним из самых сложных видов оценки, так как она призвана установить воздействие на сообщество или объект сложных по своей сути и часто неопределенных процессов. По мнению Скривена, оценка влияния - это оценка, сфокусированная на результатах или итогах программы, но не на процессе выполнения программы [8. p. 45]. Она позволяет определить, какие изменения в жизни людей произошли в результате выполнения конкретного проекта, программы или реализации определенной политики. Оценка влияния направлена на обеспечение «обратной связи», помогающей повысить эффективность программ и политик, тем самым представляя собой инструмент для принятия политических решений и усиления ответственности политических лидеров перед обществом.

Оценка влияния межсекторной программы на данном уровне оценивается по трем направлениям:

1. партнерство как инструмент сплочения горожан и достижения общественного согласия. В рамках данного направления используются показатели, характеризующие организационный потенциал территории: количество некоммерческих организаций, органов территориально-общественного самоуправления на территории города.

2. партнерство как инструмент диалога и обеспечения участия в процессе принятия решений. В рамках этого направления предлагается использовать следующие показатели:

· количество НКО, участвующих в решении социальных и общественно значимых проблем города (в % от общего количества НКО);

· количество бизнес-структур, участвующих в решении социальных и общественно значимых проблем города (в % от общего количества);

· количество совместных программ и проектов, реализуемых совместно с бизнесом и НКО.

3. Партнерство как инструмент практической реализации процесса локального развития проявляется в следующем:

· Обеспечение его правомочности в проведении социально-экономической политики муниципального образования, закрепление в нормативно-правовых актах органов местного самоуправления. Показатель, характеризующий данное направление, - количество нормативно-правовых актов, регламентирующий процесс межсекторного партнерства.

· Признание межсекторного партнерства в качестве инструмента локального развития всеми секторами местного сообщества. В данном случае могут использоваться показатели, основанные на социологических исследованиях, опросе общественного мнения, а также показатели, характеризующие количество программ социального инвестирования бизнес-структур, совместных программ органов местного самоуправления с коммерческими и некоммерческими организациями.

Кроме того, на данном уровне может наблюдаться общесистемная результативность программы для развития муниципального образования, которая состоит в формировании благоприятного имиджа города, что является, в частности, важнейшим условием его конкурентоспособности за инвестиционные ресурсы.

Большинство специалистов проводят различие между оценкой результатов партнерского проекта и оценкой значимости партнерства для участвующих в нем партнерских организаций. Поэтому третий уровень оценки - организационный. В данном случае производится оценка для каждого субъекта участвующего в конкретной программе, - органов местного самоуправления, коммерческих и некоммерческих организаций. Организационная эффективность признает, что субъекты мотивированы для участия в межсекторной программе частично личным интересом. Параметры, по которым можно оценить результативность партнерства для каждого их секторов, представлены в таблице 3.

В таблице 3 обобщена информация по уровням оценки межсекторных программ социально-экономического развития муниципального образования, состоящая из параметров и индикаторов, по которым можно производить оценку.

4. Кто ?Ответ на этот вопрос определяет основных исполнителей проведения оценки. Особенностью программ, основанных на межсекторном подходе, является стертость границ между «для кого» и «кто», т.е. основные заинтересованные лица и оценщики представляют собой одних и тех же людей. В данном случае речь идет об использовании метода «проактивной оценки-исследования» (от англ. actionresearch) или, как ее иногда называют, оценка исследование с вовлечением местных организаций и групп населения. Проактивная оценка характеризуется широким вовлечением всех участвующих сторон и затрагиваемых данной партнерской инициативой групп населения. При этом их участие не только обеспечивает прозрачность процедуры оценки, но и ведет к более глубокому осознанию людьми данной проблемы и предпринимаемых действий [4. c. 54].

Основные достоинства оценки, основанной на привлечении широких слоев населения, представлены в таблице 4.

5. Когда? На данном этапе устанавливаются временные границы проведения оценки. В теории и практике оценки городских программ сложились следующие типы оценки в зависимости от временных границ ее проведения:

1. Предварительная оценка- до начала запуска программы для анализа ее качества и соответствия потребностям города;

2. Промежуточная оценка - оценка, проводимая во время работы программы с общей целью оказать содействие в направлении программы к достижению намеченных результатов;

3. Диагностическая оценка - определенный вид промежуточной оценки, проводится, когда при регулярном мониторинге или через какие-либо другие источники информации обнаруживается, что программа испытывает затруднения, а причины этих проблем неясны;

4. Обобщающая или завершающая оценка - оценка, проводимая после завершения программы для анализа ее результатов, учета ее недостатков и преимуществе при разработке будущих проектов и программ.

Следует отметить, что некоторые программы продолжаются после прекращения их финансирования. В таких случаях термин «завершение проекта» нужно понимать как прекращение финансирования со стороны спонсора, а не самой деятельности по проекту. Поэтому на некоторые вопросы нельзя ответить на момент «завершения программы», исходя из этого оценки, проводимые на завершающей стадии финансирования, не всегда являются последними. Для определения оценок, которые проводятся после завершения программы или прекращения финансовой помощи, часто используется также термин «оценка воздействия проекта».

Исходя из этого, оценка и мониторинг межсекторных программ может производиться на различных этапах ее реализации, и различные заинтересованные лица могут быть вовлечены на каждом из них.

Таблица 3. Параметры и показатели оценки межсекторных программ

Таблица 4. Основные достоинства метода «проактивной оценки»

6. Как? Выбор инструментов оценки. В выборе инструментов для оценки межсекторных программ крайне важно размышлять над тем, что оценивается, для кого информация предназначена, рассчитать доступное время и ресурсы, и - последнее по списку, но не по значимости -навыки тех, кто будет использовать инструменты.

Для оценки межсекторных программ могут использоваться традиционные методы сбора данных, используемые в экономических и социологических исследованиях. Экономические данные включают в себя устоявшуюся и принятую в городе систему показателей социально-экономического развития территории. Социологические данные собираются в ходе анкетирования, опроса, проведения фокус-групп, интервью, изучения документации и аналитических материалов.

Следует помнить, что данный этап является самым важным и ответственным этапом проведения оценки программы. Из массива разрозненных данных формируются экспертные выводы, включающие оценку, что и почему произошло в процессе реализации программы, по каким причинам это произошло, что из происходящего имеет положительное или негативное значение и что нужно предпринять для исправления ситуации.

Таким образом, представленная модель оценки городских программ, основанных на межсекторном подходе, позволяет дать общую картину успешности реализации той или иной совместной программы и оценить степень ее влияние на развитие местного сообщества, изменения его организационного потенциала и участия общественности в решении вопросов местного значения.

Литература

1.Scriven M. Evaluation bias and its control. In G. V. Glass (Ed.) // Evaluation studies review annual, 1976. Vol. 1, рр. 101-118.

2.Ветров Г.Ю., Визгалов Д.В., Пинегина М.В., Шевырова Н.И. Оценка муниципальных программ. М.: Фонд«Институт экономики города», 2003. 88 с.

3.Анимица Е.Г., Власова Н.Ю., Силин Я.П. Городская политика: теория, методология и практика / Науч. ред. А.И. Татаркин. Екатеринбург: ИЭ УрО РАН, 2004. 306 с.

4.Крылова Е., Куртсеитов Р. и др. Межсекторное партнерство: государственные структуры, гражданское общество, бизнес [сайт]. Режим доступа: URL: http: //www.basw-ngo-by.net/File/library/basw_library_00035.rar(проверено 06.04.2009 г.).

5.Peter H. Rossi and Howard E. Freeman. Evaluation: A Systematic Approach / SAGE. 2004.

6.Xavier de Souza Briggs. Perfect fit or shotgun marriage?: understanding the power and pitfalls in partnerships. [сайт]. Режимдоступа: URL: http://www.austincc.edu/npo/resources/docs/Harvard_Implementing_Perfect%20Fit.pdf. (проверено06.04.2009 г.).

7.Provan K.G., Milward H.B. Do network really work? A framework for evaluating public-sector organizational analysis // Management Science 29 (3), 2001, pp. 414-424.

8.Scriven M. The methodology of Evaluation // Perspectives of Curriculum Evaluation. Chicago: Rand McNelly and Company, 1969, pp. 39-83.

Размещено на Allbest.ru