Процедуры отбора экспертов

2) Принцип вознаграждения.

3) Принцип персональной ответственности.

4) Принцип соответствия утвержденным стандартам.

3. С учетом специфики проводимых экспертиз в сфере образования целесообразно ввести следующие основные критерии отбора экспертов:

- соответствие профильного образования и должностное положение;

- ученая степень;

- стаж научной или практической работы в определенной сфере;

- количество публикаций по данному направлению;

- количество сформулированных экспертных заключений;

- компетентностный уровень экспертной оценки.

4. Целесообразно к основным критериям отбора экспертов установить еще и такие требования, которые напрямую не могут быть измерены, но косвенно оцениваются в основных критериях:

- наличие опыта в оцениваемой области знаний;

- высокий уровень общей эрудиции;

- способность творчески мыслить;

- принципиальность и объективность.

Глава 2. Процедуры и механизмы отбора экспертов в сфере образования

2.1 Существующие процедуры и механизмы отбора экспертов и экспертных организаций

Выбор экспертов представляет собой весьма непростую проблему. В определенном смысле экспертный способ решения того или иного вопроса опирается не на наиболее распространенные суждения, а на более компетентные. Есть носитель информации, а есть - компетентный специалист. Именно последний может обладать качеством экспертности - способности выполнять функции эксперта. При этом, чтобы претендовать на статус эксперта, специалисту, кроме собственно профессиональной компетентности, необходимы также и другие качества: авторитетность, практический опыт по обсуждаемым вопросам, способность и готовность давать содержательную экспертную информацию и т.д. [18]

Вообще оценка качества эксперта - очень тонкий и сложный вопрос, не имеющий однозначного ответа. Если ответ на вопрос, как подобрать эксперта для проведения той или иной экспертизы, кроется в списке экспертных задач и квалификационных требований к эксперту, то вопрос о качестве выполнения экспертом работ остается на данный момент без ответа. В ситуации квалификационной экспертизы, осуществляемой на основе стандартизированных норм, критерием может являться количественное отношение правильных суждений и ошибок [29].

Поскольку результат экспертизы напрямую зависит от уровня компетентности специалистов, задействованных в ней, необходимо правильно организовать отбор. Таким образом, для проведения экспертизы должны быть отобраны высокопрофессиональные специалисты, хорошо знакомые с соответствующей предметной областью, обладающие достаточным опытом, способные выносить обоснованные объективные суждения и адекватно оценивать значимость множества критериев и показателей используемых оценочных систем [31].

Многие задачи, связанные с поиском экспертов, предполагают нахождение ответов на следующие вопросы [32]:

- кто обладает требуемыми компетенциями для решения данной задачи?

- кто обладает смежными и дополнительными компетенциями по отношению к решению задачи?

- какими компетенциями обладает данный эксперт?

- какой у эксперта эмоциональный и креативный потенциал? и т.д.

Таким образом, поиск экспертов можно рассматривать как комплексную задачу, состоящую из нескольких этапов [45]:

1. формирование запроса (определяется, какие компетенции нужны для решения задачи и стратегия поиска);

2. выявление экспертов, в процессе которого происходит выделение экспертов, ранжирование экспертов;

3. подбор экспертов, в процессе которого определяются те эксперты, которые наилучшим образом отвечают потребностям. Т.е. из списка потенциальных экспертов выбираются с высоким рейтингом, учитывается доступность эксперта, решаемые им текущие задачи.

Например, в работах [22,40] выделены следующие подходы к привлечению экспертов к участию в экспертизе:

1. Метод назначения: минимальные затраты на подбор экспертов, однако нарушается принцип добровольного участия.

2. Социометрический метод: обеспечение потенциальной возможности участия в экспертизе всех по социометрическому критерию отбора, связанному с проблематикой экспертизы.

3. Метод анализа «следов деятельности»: публикации, цитирование, участие в экспертизе.

4. Подбор экспертов для проекта в единой базе данных. Принципы наполнения базы данных: анализ профессионального опыта в рамках биографии; социальный статус; уровень развития компетенций; опыт участия в экспертизе.

Следует отметить, что процедуры отбора экспертов должны основываться на комбинации различных методов.

В зарубежных документах [48,56,57] отмечено, что при проведении процедур отбора экспертов необходимо учитывать следующие условия:

Members must be independent and in a position to make unbiased judgments. Any possible conflict of interest must be disclosed.

The selection criteria for experts must be established and published.

The selection should be made by the relevant authority and not by the group of experts themselves.

Members must be committed to treat all material and findings as strictly confidential.

Таким образом, при отборе экспертов следует обратить внимание на следующее:

1. Критерии отбора экспертов должны быть понятны и доступны;

2. Отбор экспертов должен проводиться не самой группой экспертов, а компетентными людьми, имеющих независимость;

3. Отбор экспертов должен проходит конфиденциально.

Вся процедура отбора экспертов для привлечения к процедурам контроля (надзора) в рамках исполнения переданных полномочий Российской Федерации в области образования состоит из двух этапов [35].

На первом этапе происходит получение и обработка информации об эксперте, позволяющей определить его соответствии критериям отбора: прохождение аттестации экспертом, включение сведений об эксперте в реестр свидетельств.

На втором этапе происходит непосредственный отбор экспертов: принимается решение о необходимости привлечения экспертов к проведению конкретной проверки данного определенного образовательного учреждения; проводится отбор экспертов, соответствующих установленным критериям отбора, с использованием реестра свидетельств об аккредитации путем случайной выборки; уточняется согласие экспертов на привлечение к проверке, наличие/отсутствие обстоятельств, препятствующих привлечению к проверке; заключается с экспертом гражданско-правовой договор; готовится проект приказа о проведении проверки.

По второму параграфу первой главы данной работы можно сделать вывод, что оценка компетентности специалистов центральная задача экспертного отбора, которая вызывает наибольшие разногласия у исследователей. В литературе описываются два подхода к этой задаче.

Первый подход - априорный - состоит в оценке компетентности до начала экспертизы и нацелен, собственно, на выбор экспертов и формирование экспертных групп.

Для измерения компетентности применяются следующие основные методы: самооценка специалистов, их взаимная оценка, судейский метод, документальный метод, тестовый метод. Результаты их использования зависят от личных свойств людей, симпатий и антипатий, скромности и самоуверенности и т. д.

В работах [23,24] указано, что методы отбора экспертов сводятся к двум основным подходам: объективному и субъективному. Первый предполагает использование организаторами исследования специальных методик отбора, второй - привлечение к процедуре отбора самих потенциальных экспертов либо научной общественности, из среды которой они отбираются.

Объективный подход имеет, в свою очередь, два варианта - документальный и экспериментальный. Документальный метод [23,24,31] предусматривает подбор экспертов на основе анкетных и социально-демографических данных (ученая степень, звание, должность, стаж работы по специальности и в области, связанной с предметом исследования и т.д.). В комплектовании групп экспертов могут учитываться также, пол, возраст и другие социально-демографические показатели. «По существу для определения компетентности экспертов только документальный метод может быть использован при разработке методики количественной оценки компетентности экспертов» Найда А.А. Разработка методики количественного опредления уровней компетентности экспертов // Межотраслевая информационная служба. - 2007. - №1 - с. 19-29.

Когда проводят документальный метод оценки компетентности по таким фактическим данным, как число публикаций, участие в конференциях и экспертных комиссиях, рабочий стаж, владение иностранными языками, ученая степень/звание и т.д., то он по существу естественным образом дополняет информацию об эксперте, используемую при самооценке, и как бы обусловливает необходимость «повышения документальности» этой информации. Другими словами, чем большее число ответов эксперта на вопросы анкеты могут быть подтверждены им документально, тем более объективной окажется итоговая оценка его компетентности. Однако применяя документальный метод, нужно иметь в виду следующее: большая часть факторов, влияющих на документальную оценку, в той или иной степени уже учитывается при взаимооценке и других частных оценках; влияние факторов документальности зависит от области работы эксперта.

Экспериментальный метод [23,24,31,36] проводится на основе испытания, тестирования кандидата в эксперты либо по результатам эффективности его прежней экспертной деятельности. Оба методических приема требуют большой деликатности по отношению к будущему эксперту. Так, тестирование не всегда приемлемо с этической точки зрения. Проверка же эффективности рекомендаций кандидата по опыту его прежней работы фактически означает неформальную аттестацию специалиста. Поэтому оба приема должны носить, скорее, вспомогательный характер, применяться в сочетании с документальным подходом и другими приемами.

Тестовый метод заключается в проведении испытаний, в ходе которых оцениваются особенности эксперта, от которых зависит его качество. Обычно тестируются два критерия: владение профессиональной лексикой и уровень информативности по решаемой проблеме.

Таким образом, с помощью тестов оценивают такие свойства экспертов, как квалиметрическую и профессиональную компетентность.

При разработке и применении тестовых заданий следует соблюдать ряд требований:

эксперт должен ясно понимать постановку тестовой задачи и условия, которым должно удовлетворять ее решение;

вероятность случайного угадывания решения задачи должна быть близка к нулю и задача должна иметь точное решение;

должна быть обоснована близость тестовой задачи и тех реальных задач, которые приходится решать эксперту.

Всегда можно поставить под сомнение утверждение типа: «чем старше специалист и чем больше у него публикаций, тем он лучше как эксперт». Зато трудно оспорить то, что тщательно проверенный на какой-то задаче человек будет примерно также решать и аналогичную задачу. Важно только обеспечить тщательность проверки и сходство тестовой и реальной задач [36].

Таким образом, тестовый метод ставит задачу оценки компетентности наиболее верно - для того, чтобы судить о пригодности специалиста, надо его проверить на деле. Однако, данный метод требуют большой деликатности по отношению к будущему эксперту. Так, тестирование не всегда приемлемо с этической точки зрения. Кроме того, валидность и надежность тестов нередко вызывает сомнения.

Субъективный подход также распадается на несколько приемов. Один из них - аттестация [22,30,31], когда подбор экспертов осуществляется с помощью открытого или тайного голосования потенциальных членов будущей экспертной группы с отводом тех из них, кто не набрал определенного минимума голосов. Здесь могут использоваться методики с расширяющимися кругами экспертов в несколько туров. В первом туре круг экспертов составляет списки кандидатов в эксперты. Туры повторяются до тех пор, пока состав кандидатов в эксперты не стабилизируется. Затем проводится расчет коэффициентов компетентности экспертов в зависимости от числа включений в списки.

Другой прием - метод взаимной оценки [22,30,31] будущих экспертов - является по существу разновидностью первого со всеми его особенностями и ограничениями.

Третий прием - метод самооценки [22,30,31] степени компетентности и объективности.

Самооценка субъективно зависит от текущего момента в профессиональной деятельности и заключается в ответах на вопросы:

Насколько вы информированы?;

В решении каких задач Ваша эффективность проявились бы лучше всего?;

Проранжируйте свои сильные и слабые стороны и т.п.

Отвечая на вопросы, кандидаты оценивают свою осведомленность, эрудицию в области предмета исследования, критичность своих оценок по определенной шкале. В последующем может производиться расчет средних значений каждого кандидата и суммарная сфера компетентности экспертов. Здесь, правда, имеется опасность неадекватности данных в виде завышенных самооценок.

Таким образом, ни один из перечисленных методов и приемов не может служить «универсальной отмычкой» в решении вопроса об отборе экспертов и что методика такого отбора должна базироваться на сочетании различных приемов.

Второй подход - апостериорный - заключается в определении компетентности по результатам экспертизы и нацелен на учет компетентности при обработке данных опроса и на отбор экспертов для будущих экспертиз.

Самый простой метод оценки компетенции эксперта - это вычисление среднеарифметического значения компетенции по результатам проведенных экспертиз. Таким образом, накопление всей истории экспертиз, проведенным конкретным экспертом, позволит сформировать объективную оценку его компетенции. Также можно отметить, что показателями компетентности могут служит экспертные заключения эксперта, так как «a well written expert report can enhance the credibility of an expert and shorten trial testimony, as well as being advantageous in efforts to resolve a case prior to trial. …, it is useful if the expert is able to write a good report without a lot of assistance»Robin J. Harper. Selecting your expert: criteria to determine the «right» expert for your case. Legal Education Society of British Columbia, 2009..

Следует отметить, что вопрос об оценке компетентности экспертов сложен, а «успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять»Орлов А.И. Менеджмент. М., 2003. .

Таким образом, отбор экспертов следует проводит с помощью следующих инструментариев:

1. Анкетирование.

Для полноценного определения соответствует ли эксперт установленным критериям или нет недостаточно сведений, содержащихся в заявлении об аккредитации, и копий документов об образовании и стаже работы. Необходимо получить расширенную информацию о профессиональных качествах и достижениях эксперта, которая позволила бы осуществить надлежащий отбор экспертов в соответствии с разработанными критериями. В связи с этим, после прохождения процедуры аккредитации эксперта и вручения свидетельства об аккредитации, эксперту предлагается заполнить анкету. Анкета позволяет собрать информацию об эксперте в соответствии с разработанными критериями отбора. Здесь необходимо учитывать Федеральный закон № 294-ФЗ и основной нормативный правовой акт, регулирующий защиту, сбор и обработку персональных данных Федеральный закон от 27 июля 2006 г. № 152-ФЗ «О персональных данных», также такие нормативные правовые акты, как Постановление Правительства РФ от 16 марта 2011 г. № 174 «Об утверждении Положения о лицензировании образовательной деятельности», где устанавливается специфика привлечения экспертов.

Например, ст. 7 Федерального закона № 152-ФЗ гарантирует конфиденциальность персональных данных. Таким образом, любые сведения об эксперте попадают под эту категорию. Данные обстоятельства следует иметь в виду при разработке процедур привлечении экспертов и их оценке на соответствие предъявляемым требованиям.

Анкета должна предусматривать предоставление экспертом следующей информации:

- о наличии конфликта интересов эксперта с возможными объектами государственного контроля (надзора), лицензионного контроля;

- о прохождении повышения квалификации и (или) профессиональную переподготовку по вопросам осуществления государственного контроля (надзора) в сфере образования;

- об опыте участия в работе экспертных комиссий лицензирующих органов по лицензированию образовательной деятельности, аккредитационных комиссий по проведению аккредитационной экспертизы;

- о признании профессиональным сообществом, в частности, о наличии публикаций за последние пять лет в периодических изданиях по вопросам, относящимся к осуществлению государственного контроля (надзора) в сфере образования, о включение эксперта в действующие экспертные, общественные советы, комиссии, рабочие группы федеральных органов исполнительной власти, органов исполнительной власти субъектов Российской Федерации, осуществляющих управление в сфере образования либо функции по контролю и надзору в сфере образования, об осуществление экспертом преподавательской работы в системе высшего профессионального либо дополнительного профессионального образования по проблемам, относящимся к осуществлению государственного контроля (надзора) в сфере образования;

- о рекомендациях, характеризующих профессиональные компетенции эксперта, от региональных, региональных отраслевых, межрегиональных (отраслевых, межотраслевых), общероссийских (отраслевых, межотраслевых) объединений работодателей, по основному месту работы эксперта.

Содержание вопросов анкеты также должно предоставлять следующую информацию: индивидуальную (пол, возраст); сведения об образовании, профессиональном опыте; сведения о ключевых знаниях, умениях и навыках в сфере образования; сведения о мотивах работы и оценки качества в области образования; сведения о поручителях.

Следует отметить, что формирование анкеты, позволяющей адекватно оценить компетентность эксперта, и как следствие этого, образования группы экспертов с высоким уровнем профессиональной пригодности является целью, стоящей перед организаторами любой экспертизы [16].

2. Тестирование.

Тестирование позволяет выявить уровень свойств кандидата в эксперты. Существуют следующие виды тестов: мотивационные, профессиональные, личностные (социальные навыки, особенности поведения, способность к адаптации к новому виду деятельности).

Тестирование проводится с целью проверки уровня и качества теоретической подготовки эксперта для решения профессиональных задач в рамках проведения государственного надзора за соблюдением законодательства Российской Федерации в области образования, государственного контроля качества образования, лицензионного контроля. Содержание тестирования определяется в зависимости от видов деятельности, по которым эксперт прошел аккредитацию. Таким образом, набор тестовых заданий должен соответствовать виду деятельности, к которому привлекается эксперт.

Таким образом, с помощью тестов необходимо оценить такие свойства экспертов, как уровень информативности по решаемой проблеме и профессиональная компетентность.

3. Собеседование.

Устное собеседование может рассматриваться как единственная либо дополнительная (к тестированию) форма отбора. В последнем случае к устному собеседованию допускаются эксперты, успешно сдавшие тестирование.

В отличие от тестирования для проведения устного собеседования необходимо создать аттестационную комиссию, поскольку в данном случае будет производиться содержательная оценка профессиональных компетенций эксперта. Состав комиссии должен быть не менее трех человек.

Устное собеседование проводится с целью выявления наличия у эксперта практических навыков и умений по проведению мероприятий по соответствующему виду деятельности: государственному надзору за соблюдением законодательства Российской Федерации в области образования, государственному контролю качества образования, лицензионному контролю.

Устное собеседование проводится путем непосредственного общения эксперта и членов комиссии. Устное собеседование должно включать в себя доклад эксперта о его функциональных обязанностях в рамках проведения какой-либо конкретной процедуры в рамках тех или иных мероприятий по государственному контролю (надзору) в сфере образования. Доклад эксперта может сопровождаться соответствующими вопросами членов комиссии, направленными на выявление умения эксперта решать те или иные практические вопросы и ситуации, возникающие в ходе данного мероприятия.

Таким образом, за время собеседования необходимо получить представление о манере поведения, личных качествах, интеллекте, чувстве ответственности, коммуникативных навыках эксперта.

Следует отметить, что вышеизложенные инструментарии практически соответствует процедуре assessment center, который является методом комплексной оценки персонала, основанный на использовании взаимодополняющих методик, ориентированный на оценку реальных качеств сотрудников, их психологических и профессиональных особенностей, соответствия требованиям должностных позиций, а также выявление потенциальных возможностей специалистов [63].

Состав процедур аssessment center может варьироваться. Чаще всего данная процедура состоит из трех основных блоков:

1) Анкетирование и тестирование;

2) Собеседование;

3) Деловые игры (моделирующие упражнения).

Таким образом, при отборе экспертов целесообразно добавить блок «деловые игры».

2.2 Рекомендации по проведению процедур отбора экспертов осуществляющих контрольно-надзорную деятельность

На основе анализа норматиных правовых актов федерального уровня и нормативных правовых актов субъектов РФ, регламентирующие процедуру привлечения экспертов к осуществлению контрольно-надзорной деятельности; анализа российского и международного практического опыта привлечения экспертов; анализа теоретических исследований об экспертах и экспертизе в сфере образования и других областях нами выдвинуты следующие рекомендации по проведению процедур отбора экспертов осуществляющих контрольно-надзорную деятельность:

1. При разработке требований, критериев по отбору эксперту необходимо основное внимание уделить нивелированию возможного негативного влияния на объективность выводов эксперта со стороны объекта проверки комиссии по проверке, в которую входит эксперт.

Члены комиссии могут быть не заинтересованы, чтобы «неудобный» эксперт в последующем привлекался. Являясь должностными лицами органа государственной власти, который занимается, в том числе, отбором и привлечением экспертов, они могут оказывать негативное влияние на отбор экспертов с тем, чтобы отдельные представители последних никогда не привлекались.

Таким образом, председатель комиссии по проверке, а также любой из ее членов не должны участвовать в процедуре отбора экспертов для участия в проверочном мероприятии, для осуществления которого была создана указанная комиссия.

2. Кандидатуры экспертов для проведения какого-либо контрольно-надзорного мероприятия отбираются из реестра экспертов, аккредитованных в соответствии с требованиями, установленными постановлением Правительства РФ от 20 августа 2009 г. № 689 «Об утверждении Правил аккредитации граждан и организаций, привлекаемых органами государственного контроля (надзора) и органами муниципального контроля к проведению мероприятий по контролю». При анализе различных подходов к отбору экспертов, как правило, для определения кандидатур из реестра, которые в последующем будут оцениваться на соответствие предъявляемым требованиям, используется метод случайной выборки.

Случайная выборка хороша тем, что регулирование массива, из которого отбираются кандидатуры экспертов, путем установления определенных фильтров, уже само по себе служит способом, существенно сокращающим возможность существования у отобранных кандидатур определенных обстоятельств, которые могут быть препятствием для их привлечения.

Первый фильтр, который используется при отборе методом случайной выборки, - это перечень видов деятельности (вида экспертизы), на оценку которых аккредитован эксперт. Вторым фильтром зачастую выступает территориальное расположение эксперта и объекта контроля.

Следует подчеркнуть, что количество отобранных кандидатов должно определяться исходя из расчета, что количество кандидатов на одного планируемого к привлечению эксперта должно составлять не менее пяти человек, так как, с одной стороны единственная кандидатура может оказаться несоответствующей предъявляемым требованиям, а с другой стороны, поскольку участие в проверках аккредитованных экспертов является для них добровольным, по разным уважительным и не очень причинам отказаться от участия в контрольно-надзорном мероприятии. Далее из числа отобранных кандидатов, соответствующих установленных требованиям, а также давших свое согласие на участие в контрольно-надзорном мероприятии снова методом случайной выборки отбирается необходимое количество экспертов, которые включатся в состав комиссии по проведению проверки деятельности образовательной организации.

Таким образом, метод случайной выборки исключает субъективность в определении экспертов, обеспечивает привлечение различных экспертов, отсутствие сговоров и иных недобросовестных действий со стороны структурных подразделений, отдельных должностных лиц, осуществляющих мероприятие по государственному надзору (контролю).

3. Наличие дополнительных (кроме аккредитации) критериев и процедур отбора экспертов и экспертных организаций является исключительной особенностью осуществления государственного контроля (надзора) в сфере образования, которая отсутствует в других видах государственного контроля (надзора) [35]. Таким образом, к основным критериям отбора экспертов (таблица 1) рассмотрим своего рода «предварительные требования» (таблица 2) и «дополнительные требования» (таблица 3), которым должен соответствовать эксперт, для того, чтобы быть привлеченным к проверке. Оценка требований построена на основе работ [6,10,30,43].

Таблица 2. Перечень «предварительных требований» при отборе экспертов для проведения экспертизы

Критерий отбора экспертов	Обоснование целесообразности критерия для экспертизы	Источник информации	Шкала оценки (баллы)
Предварительные требования	Наличие у эксперта действующего свидетельства об аккредитации по соответствующему виду деятельности	Позволяет оценить актуальность деятельности эксперта	Реестр свидетельств об аккредитации граждан и организаций, привлекаемых органом исполнительной власти субъекта РФ, осуществляющим переданные полномочия Российской Федерации в области образования, в качестве экспертов и экспертных организаций к проведению мероприятий по контролю	1
	Отсутствие конфликта интересов у эксперта при проведении проверки конкретного образовательного учреждений, иной организации, осуществляющей образовательную деятельность	Позволяет оценить уровень независимости эксперта	Анкета, заполненная экспертом	1
	Успешное прохождение экспертом добровольной аттестации профессиональных компетенций в порядке, установленном органом исполнительной власти субъекта РФ, осуществляющим переданные полномочия Российской Федерации в области образования,	Позволяет оценить квалификацию эксперта	Результаты добровольной аттестации	1
	Наличие согласия эксперта на привлечение к проведению проверки, отсутствие обстоятельств, препятствующих участию в проверки	Позволяет оценить уровень независимости эксперта	Результаты переговоров с экспертом	1

Таблица 3. Перечень «дополнительных требований» при отборе экспертов для проведения экспертизы

Критерий отбора экспертов	Обоснование целесообразности критерия для экспертизы	Источник информации	Шкала оценки (баллы)
Дополнительные требования	Прохождение курсов повышения квалификации и (или) профессиональной переподготовки по вопросам осуществления государственного контроля (надзора) в сфере образования	Позволяет оценить квалификацию эксперта	Анкета, заполненная экспертом, приложение к анкете	2
	Признание профессиональным сообществом	Позволяет оценить актуальность деятельности эксперта	Анкета, заполненная экспертом, приложение к анкете	2
	Наличие рекомендации по основному месту работы эксперта	Позволяет оценить профессиональную компетенцию эксперта	Анкета, заполненная экспертом, приложение к анкете	2
	Наличие рекомендации от региональных, региональных отраслевых, межрегиональных (отраслевых, межотраслевых), общероссийских (отраслевых, межотраслевых) объединений работодателей	Позволяет оценить профессиональную компетенцию эксперта	Анкета, заполненная экспертом, приложение к анкете	2

4Данный метод разработан на основе данных работы [30].. Для учета взвешанного мнения эксперта () при отработке результатов экспертизы мы предлагаем к основным критериям отбора экспертов (таблица 1) включить восьмой критерий отбора «Компетентностный уровень экспертной оценки» и дать значимость «вес» критериям (таблица 4). Значимость «вес» критериям определена на основе работы. Рабочая формула для определения коэффициента имеет вид: Взвешенное мнение эксперта можно считать представительной при условии: .

Таблица 4. Перечень критериев отбора экспертов для проведения экспертизы, диапазон их измерения и значимость «вес» критерия

№/ пп	Критерий отбора экспертов	Обоснование целесообразности критерия для экспертизы	Шкала оценки	Диапазон измерения (баллы)	Значимость «вес» критерия
1	Соответствие профильного образования эксперта тематика проводимых исследований.	Позволяет оценить квалификацию эксперта	несоответствие профессионального образования тематике проводимой экспертизы - 0 баллов соответствие профессионального образования тематике проводимой экспертизы - 1 балл соответствие профильного образования тематике проводимой экспертизы + дополнительное образование - 2 балла	0 … 2	0,08
2	Ученая степень	Позволяет оценить владение предметной областью, способность к анализу и самоорганизации	отсутствие ученой степени - 0 баллов наличие кандидатской степени - 1 балл наличие докторской степени - 2 балла	0 … 2	0,07
3	Должность	Позволяет оценить степень схвата проблем в предметной области, возможность системного подхода к оценке и анализу проблем	учитель высшей категории, доцент - 1 балл зам. директора, директор - 2 балла начальник отдела, заведущий кафедрой - 3 балла ведущий специалист, профессор - 4 балла	1 … 4	0,11
4	Стаж работы	Позволяет оценить опыт работы по данному направлению в сфере образования	от 1 до 5 лет - 1 балл от 5 до 10 лет - 2 балла от 10 до 20 лет - 3 балла более 20 лет - 4 балла	1 … 4	0, 14
5	Количество публикаций по данному направлению	Позволяет оценить актуальность деятельности эксперта	отсутствие публикаций - 0 баллов от 1 до 3 - 1 балл от 3 до 5 - 2 балла от 5 до 7 - 3 балла более 7 - 4 балла	0 … 4	0,06
6	Количество сформированных экспертных заключений	Позволяет оценить опыт экспертной работы, степень вовлеченности эксперта в тематику и проблематику проводимых экспертиз	отсутствие сформированных экспертных заключений - 0 баллов от 1 до 3 - 1 балл от 3 до 5 - 2 балла от 5 до 10 - 3 балла более 10 - 4 балла	0 … 4	0.09
7	Компетент-ностный уровень экспертной оценки	Позволяет оценить уровень компетентности эксперта и достоверность экспертных заключений	Интегральная бальная оценка.	0 … 1	0,10

Компетентность уровень экспертной оценки определяется структурой и весомостью аргументов, послуживших основанием для ответа на поставленные вопросы, а также уровнем осведомленности в рассматриваемой области знаний. Коэффициент компетентностного уровня экспертной оценки () эксперта определяется как произведение коэффициентов аргументации и осведомленности, то есть: . Компетентностный уровень экспертной оценки можно считать представительной при условии:

Структура аргументов учитывается коэффициентом аргументации

(), который соответствует формализованным сведениям о характере источников аргументации и о степени влияния каждого источника на принимаемые экспертом решения. Таким образом, источником информации будет анализ ранее выполненных работ и практические задания выполненные экспертом при отборе.

Численное значение коэффициента определяется по таблице 5 и последующим суммированием соответствующих численных значений. Рабочая формула для определения коэффициента имеет вид:

Таблица 5. Числовые оценки значимости исходной информации, соответсвующие сочетаниям источников аргументации с учетом их влияния на мнение эксперта

№/ пп	Источник аргументации	Степень влияния источников на мнение эксперта
		высокая	средняя	низкая
1	Результаты теоретического анализа	0,3	0,2	0,1
2	Личный опыт	0,5	0,4	0,2
3	Результаты обобщения выполненых работ	0,1	0,1	0,1
4	Интуиция	0,1	0,1	0,1

Степень осведомленности эксперта в экспертируемой области знаний учитывает коэффициент осведомленности (), который соответсвует формализованным сведениям об осведомленности по каждому из обсуждаемых вопросов. Источник информации заполненная экспертом анкета.

Численное значение коэффициента определяется по таблице 6 и последующим суммированием соответствующих численных значений. Рабочая формула для определения коэффициента имеет вид:

Таблица 6. Числовые квалификационные оценки, соответствующие различным степеням осведомленности эксперта

№/ пп	Источник аргументации	Степень осведомленности эксперта
		Высокая	средняя	низкая
1	Участие в конференциях и семинарах по экспертируемой области знаний	Всероссийские конференции и семинары	Межрегиональные конференции и семинары	Региональные конференции и семинары
		0,6	0,5	0,4
2	Наличие публикаций в экспериментируемой области знаний	Методические пособия	Статьи	Алгоритмы, программы
		0,6	0,5	0,4
3	Участие в работах в экспериментируемой области знаний	Руководитель работы	Участник выполнения нескольких работ	Участник выполнения одной работы
		0,5	0,4	0,3
4	Наличие ученого или почетного звания в экспериментируемой области знаний	Заслуженный учитель/ Заслуженный работник высшей школы	Член-корреспондент/ академик	Профессор / Доцент
		0,3	0,2	0,1

Таким образом, определены параметры оценки компетенции деятельности экспертов, а также разработан механизм оценки. Следует отметить, что данный метод является одним из вариантов решения определения источников информации, характеризующие эксперта с той или иной стороны. Кроме этого, данный метод позволяет вести мониторинг профессиональных компетенций привлекаемых экспертов для определения эффективности их работы.

5. Методы оценки индивидуально-психологических и личностных качеств экспертов, отражающие их мотивацию, адаптивность к внешней среде, характеристику эмоционального и интеллектуального потенциала представлены в таблице 7, которая построена на основе работы [41,47].

Таблица 7. Профессионально важные качества и методы их оценки

№/ пп	Оцениваемые качества	Методы оценки	Показатели
1	Мотивационная направленность	тест Р. Кеттера	Значение соответствующих шкал
2	Уровень интеллектуального развития	опросник Г. Айзенка	Значение соответствующих шкал
3	Эмоциональная и психическая устойчивость	тест Люшера	Значение соответствующих шкал
4	Тип мышления	тест Г.В. Резапкиной	Значение соответствующих шкал
5	Стиль межличностного поведения	опросник К. Томаса	Значение соответствующих шкал

Таким образом, можно обеспечит сбор данных по индивидуальным характеристикам экспертов, отражающие их мотивации и потребности.

6. Как отмечалось в первом параграфе второй главы, к процедуре отбора экспертов необходимо добавить блок «деловые игры», которые следует проводит в следующих форматах:

групповая дискуссия (с распределенными или нераспределенными ролями, что соответствует групповым экспертным работам);

парные ролевые игры (беседы с обучающимися организации, их родителями, работниками органа управления или организации по вопросам, подлежащим проверке, что соответствует правам экспертов при осуществлении контрольно-надзорной деятельности на основе пункта 14 Положения о государственном контроле (надзоре) в сфере образования, утвержденным постановлением Правительства РФ от 11 марта 2011 г. № 164);

индивидуальные аналитические презентации (экспертные заключения, которые готовятся экспертом на основании проведенных исследований, анализа документов, объяснений представителей проверяемого органа местного самоуправления, осуществляющего управление в сфере образования, образовательного учреждения, иной организации, осуществляющей образовательную деятельность).

Таким образом, данный блок позволит судить о пригодности эксперта на реальной задаче, которые приходится ему решать.

7. Данные полученные при отборе экспертов позволяют ранжировать их по видам экспертной деятельности (таблица 8).

Таблица 8. Виды экспертной деятельности и требования к компетенции экспертов

Вид экспертной деятельности	Управленческое консультирование	Получение уникальной информации	Диагностика и мониторинг	Прогнозирование
Выполняемая задача	Оптимизация ресурсов для повышения производительности труда	Разработка системы знаний для идентификации ситуации	Оценить предложенную ситуацию и задачу на соответствие модели	Оценить перспективы развития
Требование к компетенции экспертов	- управленческий опыт - высокий уровень эмоциональной и психической устойчивости	- высокий уровень квалификации - высокий уровень интеллектуального развития	- специализация в предметной области - высокий уровень квалификации - навыки коммуникации	- высокий уровень специализации - научно-исследовательский опыт

Данные таблицы, особенно требования к компетенции экспертов, могут быть дополнены и описаны более подробно.

Подводя итог данной главы можно сделать вывод, что предложенная нами процедура отбора экспертов для привлечения к контрольно-надзорной деятельности в сфере образования состоит из нескольких этапов.

1 этап. Отбор осуществляется по соответствующим критериям (вид

деятельности, на оценку которых аккредитован эксперт; территориальное расположение эксперта и объекта контроля) в реестре аккредитованных экспертов методом случайной выборки. Следует подчеркнуть, что количество отобранных кандидатов должно определяться исходя из расчета, что количество кандидатов на одного планируемого к привлечению эксперта должно составлять не менее пяти человек.

2 этап. Определяется соответствие экспертов «предварительным требованиям» (таблица 2).

3 этап. Оценка кандидатур экспертов осуществляется на основе, имеющихся в распоряжении отборочной комиссии документов и сведений (таблица 1). На данном этапе также рассматриваются «дополнительные требования» (таблица 3).

4 этап. Определяется взвешенное мнение эксперта, оценивается индивидуально-психологические и личностные качества экспертов.

5 этап. Отобранные эксперты проходят процедуру «деловая игра», которая позволяет судить о пригодности эксперта на реальных задачах.

6 этап. На основе полученных данных определяется к какому виду экспертной деятельности подходить эксперт и все полученные данные загружаются в реестр экспертов.

Следует отметить, что указанные выше требования, механизмы, способы оценки при использовании отдельно друг от друга будут являться малоэффективными. Для того, чтобы действительно этими средствами обеспечить проведение процедур отбора привлекаемых к контрольно-надзорным мероприятиям экспертов на приемлемом уровне, необходимо комплексное применение данных предложений.

Заключение

Как было показано, существующая система отбора экспертов, привлекаемых к осуществлению контрольно-надзорной деятельности в сфере образования не позволяет в полной мере обеспечить достижение заявленных целей.

На основе анализа существующих подходов отбора экспертов в сфере образования, в других сферах деятельности и зарубежном опыте предложены требования, обеспечивающие компетентность экспертов, привлекаемых к осуществлению контрольно-надзорной деятельности в сфере образования, и процедура проверки соответствия им.

В данной работе на основе существующих подходов предложен новый подход отбора экспертов, основанный на установлении механизмов оценки соответствия кандидата в эксперты установленным требованиям, а также механизмов отбора аккредитованных экспертов для участия в конкретных контрольно-надзорных мероприятиях.

Таким образом, в работе выделены наиболее значимые критерии отбора экспертов в сфере образования и выдвинуты рекомендации по проведению процедур отбора экспертов.

Однако, сделанные выводы и полученные результаты, не следует трактовать широко, поскольку объектом исследования данной работы являлся лишь процесс управления привлечением экспертов к осуществлению контрольно-надзорной деятельности в сфере образования. Распространение выводов на другие сферы деятельности возможно лишь при уточнении особенности функций и задач эксперта в этих сферах, его обобщенных характеристик, особенностей организации органов, осуществляющих эту деятельность и других обстоятельств.

Cписок литературы

Нормативные документы

1. Кодекс РФ об административных правонарушениях от 30.12.2001 №195-ФЗ.

2. Постановление Правительства РФ от 20 августа 2009 г. № 689 «Об утверждении Правил аккредитации граждан и организаций, привлекаемых органами государственного контроля (надзора) и органами муниципального контроля к проведению мероприятий по контролю».

3. Постановление Правительства РФ от 11 марта 2011 г. № 164 «Об осуществлении государственного контроля (надзора) в сфере образования».

4. Постановление Правительства РФ от 16 марта 2011 г. № 174 «Об утверждении Положения о лицензировании образовательной деятельности».

5. Постановление Правительства РФ от 21 марта 2011 г. № 184 «Об утверждении Положения о государственной аккредитации образовательных учреждений и научных организаций».

6. Приказ Департамента образования города Москвы от 08.06.2012 №434 «Об утверждении критериев отбора экспертов, привлекаемых Департаментом образования города Москвы к проведению государственного контроля (надзора) в сфере образования и контроля лицензионных требований и условий».

7. Приказ Департамента Смоленской области по образованию и науке от 03.06.2011 №61-УНК/11 «Об организации работы по аккредитации граждан и организаций, привлекаемых в качестве экспертов и экспертных организаций, к проведению мероприятий по контролю (надзору) в сфере образования».

8. Приказ Министерства образования и науки Российской Федерации от 16 ноября 2011 г. № 2701 «Об утверждении квалификационных требований к экспертам в области проведения государственной аккредитации образовательного учреждения и научной организации».

9. Приказ Минобрнауки России от 05.02.2013 № 65 «Об утверждении требований к экспертам и экспертным организациям, привлекаемым к проведению мероприятий по контролю возможности выполнения соискателем лицензии или лицензиатом лицензионных требований и условий (при предоставлении лицензии и переоформлении документа, подтверждающего наличие лицензии), контролю соблюдения лицензиатом лицензионных требований и условий при осуществлении образовательной деятельности».

10. Приказ Службы по контролю и надзору в сфере образования Иркутской области от 12.10.2012 № 0012-спр. «Об организации работы по аккредитации граждан и организаций, привлекаемых в качестве экспертов и экспертных организаций к проведению мероприятий по контролю (надзору) в сфере образования».

11. Приказ Федеральной службы по надзору в сфере образования и науки от 13 января 2011 г. № 4 «Об организации работ по аккредитации граждан и организаций, привлекаемых Федеральной службой по надзору в сфере образования и науки к проведению мероприятий по контролю».

12. Федеральный закон от 27 июля 2006 г. №152-ФЗ «О персональных данных»

13. Федеральный закон от 26 декабря 2008 г. № 294-ФЗ «О защите прав юридических лиц и индивидуальных предпринимателей при осуществлении государственного контроля (надзора) и муниципального контроля».

14. Федеральный закон от 29 декабря 2012 г. №273-ФЗ «Об образовании в Российской Федерации».

Монографии, статьи, другие источники

15. Азгальдов Г.Г. Теория и практика оценки качества товаров. М.: Экономика, 1982.

16. Аскольская Е.А. «Некоторые аспекты методики отбора экспертов на основе оценки степени доверия к уровню профессионального суждения», Известия Оренбурского государственного аграрного университета, 4(28).2010, с. 170-172.

17. Белокопытов А. Процедура подготовки экспертов по оценки e-learning. М.: Аккорк, 2012.

18. Братченко С.Л. Мир экспертизы и его возможные координаты/Экспертиза образовательных инноваций/Под ред. Г.Н. Прозументовой. Томск, 2007. с. 26-38.

19. Борисовский П., Миркин Б., Черный Л. К анализу экспертных оценок в терминах пространства разбиений//Распознавание образов и регрессионный анализ в экономических исследованиях. - Новосибирск, 1972.

20. Добров Г.М. Прогнозирование науки и техники. М.: Наука, 1977.

21. Доклад «Об осуществлении государственного контроля (надзора) в сфере образования Министерством общего и профессионального образования Свердловской области и об эффективности такого контроля (надзора) в 2011 году»

22. Доклад «Организационно-технические требования к формированию и развертыванию экспертно-анлитической сети, обеспечивающей информационно-аналитическое сопровождение программно-проектной деятельности органов государственной власти» Федерального государственного учреждения «Аналитическтй центр при Правительстве РФ». М., 2009.

23. Дульзон А.А. Разработка управленческих решений. Томск, 2009.

24. Ельмеев В. Я., Овсянников В.Г. Прикладная социология: Очерки методологии. СПб., 1999.

25. Журавская Н. Т. Педагогический мониторинг и диагностика образовательных инноваций в ВУЗе, Вестник Томского государственного педагогического университета, №11, 2009. с. 61-64.

26. Захарова А.А. Нечеткие модели принятия решений о стратегии социально-экономического развития города: дис. … канд. техн. наук: 05.13.10 - Томск. 2006

27. Концепции проведения экспертизы проектов Государственной Корпорации «Российская корпорация нанотехнологий». М., 2007.

28. Матвеев В. Ю. Проблема независимости экспертов при осуществлении контрольно-надзорной деятельности в сфере образования: магситерская диссертация. М., 2013.

29. Мерцалова Т.А., Косарецкий С.Г., Моисеев А.М., Моисеева О.М. Организация профессиональной и общественной экспертизы программ развития и образовательных программ учреждений общего образования. М.: АСОУ, 2006.

30. Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной целевой программы развития образования на 2011-2015 годы с целью оценки соотвествия целям и задачам Программы, возможности и эффективности достижения целевых индикаторов и показателей/ Под рук. Фирова Н.В. М.:АС-Транс, 2012.

31. Найда А.А. Разработка методики количественного опредления уровней компетентности экспертов // Межотраслевая информационная служба. №1, 2007. с. 19-29.

32. Новиков Д.А., Райков А.Н. Сетевая экспертиза. М.: Эгвес, 2010.

33. Новикова Т.Г. Экспертиза инновационной деятельности. Инновации и эксперимент в образовании, 2008.

34. Орлов А.И. Менеджмент. М., 2003.

35. Отчет по результатам сбора и анализа аналитического материала о действующих и разрабатываемых законодательных и нормативно-правовых актов, регулирующих деятельность экспертов и экспертных организаций. ГК от 01.10.11 г. № 03.Р20.11.0057. М., 2011

36. Панкова Л. А., Петровский А. М., Шнейдерман М. В. Организация экспертизы и анализ экспертной информации. М.: Наука, 1984.

37. Положение о порядке формирования Федерального реестра экспертов научно-технической сферы и организации работы экспертного сообщества.

38. Приложение к письму Рособнадзора от 16.07.2012г. № 05-2680.

39. Сафуанов Ф.С. Судебно-психологическая экспертиза в уголовном процессе. М., 1998.

40. Сидельников Ю.В. Системный анализ экспертного прогнозирования. М., 2007.

41. Травин В.В., Дятлов В.А. Менеджмент персонала предприятия. - М.: Дело, 1998.

42. Фрыгина Н.И., Цуканова Е.В. Взаимовлияние специфики общения и межличностных отношений в процессе совместной деятельности // Экспериментальные и теоретические проблемы психологии обучения. Новосибирск, 1979. с. 87-115.

43. Чернышева Т.Ю. Модель многокритериальной оценки экспертов // Альманах современной науки и образования, №9, 2003. с. 242-245.

44. Ярская В. Н. Методология конструирующей экспертизы: опыт работы эксперта // Современное российское общество: власть экспертизы. Саратов, 2003. с. 8.

Размещено на Allbest.ru

...