Научно-методические основы оценивания краткосрочных учебных программ для среднего и малого бизнеса

Таблица 2.

Взаимооценка компетентности потенциальных экспертов

Выборы суммируются по строкам. На основе этих данных можно проранжировать специалистов и выбрать необходимое число людей в группу экспертов. Наиболее компетентным признается эксперт, получивший более высокую оценку.

Иногда для отбора экспертов в группу используют все или несколько из выше перечисленных методов. В этом случае говорят о комбинированном методе отбора. В группу зачисляются лица, набравшие по результатам всех испытаний наилучшие оценки.

Дальнейшие действия по организации экспертного оценивания зависят от численности группы экспертов. В случаях, когда удалось найти не менее 5 экспертов, работа продолжается следующим образом.

Этап проведения опроса экспертов

Основным содержанием этапа проведения опроса экспертов является реализация на практике процедуры опроса и получение исходной информации от специалистов. В соответствии с предлагаемой методикой опрос может проводиться как в индивидуальной, так и в коллективной форме. Индивидуальная форма сбора информации означает, что каждый эксперт работает с материалом самостоятельно, формирует свою частную позицию и фиксирует ее на бланке ответов. Это наиболее часто используемая форма опроса, поскольку она позволяет обеспечить независимость мнений экспертов от влияния авторитетов в данной области, сократить время сбора информации. При такой форме опроса экспертам не обязательно находиться одновременно в одном помещении, достаточно лишь обеспечить получение ими одинаковой информации относительно требуемой работы.

Необходимо обеспечить усвоение всеми экспертами задачи оценивания, критериев оценки, алгоритма процедуры опроса, а также благоприятный психологический и эмоциональный фон для работы. В этих целях участникам сообщаются сущность изучаемой проблемы и мотивы обращения именно к данным лицам в качестве специалистов; сведения, убеждающие в компетентности экспертов; информацию о содержании вопросов; формулировки вопросов; объясняется процедура оценки. Если у экспертов возникают какие-либо вопросы по процедуре оценивания, то необходимо ответить на них до начала работы. Важным моментом при индивидуальной форме работы экспертов становится заранее оговоренный срок ее окончания и возврата оценочных листов организатору. В противном случае экспертиза может затянуться на неопределенное время.

При коллективной форме работы эксперты в совместном обсуждении вырабатывают единую согласованную оценку учебной программы по каждому из критериев. Успех коллективной работы экспертов зависит от умения организатора создать необходимые условия для обмена мнениями. Обычно коллективная форма работы экспертов разворачивается в виде группового обсуждения. Преимущества группового обсуждения состоят в том, что в его ходе легко прояснить собственную позицию, выявить многообразие подходов, точек зрения по определенному вопросу, получить аргументацию позиции, подвести к всестороннему видению предмета. Оно позволяет преодолевать приверженность старым образцам, страх перед ошибкой, недоверие к себе. В то же время, если не отслеживать ход группового обсуждения и своевременно не вносить в него коррективы, некоторые эксперты могут попасть под власть авторитетов, и их мнение может быть утеряно. Поэтому роль организатора при коллективной работе экспертов чрезвычайно важна.

Организация группового обсуждения предполагает обеспечение некоторых внешних условий-предпосылок: численность группы участников (их не должно быть более 15 человек); регламент дискуссии (а именно определение заранее времени ее окончания); пространственная организация участников (лучше, если они образуют круг или подкову для того, чтобы видеть и слышать друг друга); удобное помещение (должно исключать помехи, иметь удобные посадочные места и необходимое техническое оснащение).

Успех группового обсуждения обеспечивается отличается строгим соблюдением содержания и последовательности фаз его протекания: определение целей и темы работы (ориентировка, уяснение проблемы); сбор информации (суждений, мнений, оценок всех участников, выявление позиций); упорядочение, обоснование и совместная оценка, полученной в ходе работы информации (выбор общей оценки по каждому критерию); подведение итогов обсуждения - сопоставление его целей с полученными результатами (завершение). Для того, чтобы обсуждение протекало эффективно, от организатора экспертизы требуется взять на себя роль ведущего и строго придерживаться следующей схемы:

1. Изложить цель обсуждения; заинтересовать участников; ясно изложить, что должно стать результатом обсуждения; убедиться в том, что все участники понимают цель одинаково.

2. Собрать исходную информацию: задать участникам обсуждения вопросы (узнать, что каждый думает по этому поводу); выявить мнения всех участников.

3. Резюмировать полученную информацию. Если имеются далекие друг от друга оценки, попросить экспертов аргументировать свою позицию. Главная задача организаторов при обосновании крайних оценок состоит в создании условий для наименьшего влияния личностных особенностей и авторитета конкретных экспертов на суждения остальных членов группы. Акцент следует сделать на ценности мнения каждого эксперта и необходимости обоснования оценок для повышения достоверности результатов экспертизы. Далее называется одна наиболее крайняя оценка и предлагается аргументировать ее тому, кто ее предложил. При этом внимание группы следует обратить на объективные стороны выступления, а не на личность выступающего. В случаях, когда приведенные аргументы вызывают живой отклик у остальных членов группы, допускается провести короткое обсуждение, неукоснительно соблюдая правила - не высказывать оценочных суждений, пользоваться только объективными контраргументами. После того, как мнения высказаны, переходят к следующей крайней оценке и процедура повторяется. Иногда в ходе таких обсуждений удается достичь согласованного решения группы по конкретной оценке. В противном случае по окончании обоснования оценок следует предложить экспертам повторно оценить предлагаемые объекты.

4. Зафиксировать в оценочном листе единую оценку, данную экспертами, по каждому из критериев.

5. Сформулировать выводы кратко и ясно: достигнута ли цель обсуждения.

6. Обозначить вклад, который внес каждый из участников.

Основные усилия ведущего в процессе обсуждения концентрируются на создании и поддержании общей групповой атмосферы - доверия, открытости, включенности в групповой процесс. Если в роли организатора групповой дискуссии выступает руководитель, то ему необходимо освободиться от отношений принуждения с участниками, принять равенство психологических позиций взаимодействующих сторон, признать активную роль всех задействованных лиц.

Важное значение для успеха группового обсуждения имеет следование всеми участниками определенным правилам поведения, которые объявляются перед началом работы. Самые основные правила состоят в следующем: не говори больше, чем нужно; не говори меньше, чем нужно; не говори неправды; обсуждай содержание позиции, а не личности партнеров; не перебивай выступающего; внимательно слушай указания ведущего по процедуре ведения обсуждения. При необходимости этот список можно дополнить, уточнить в соответствии с конкретной ситуацией. Организатор должен бороться с нарушителями правил ведения обсуждения - останавливать многословных, активизировать молчунов, пресекать выпады против личностей, не разрешать мешать выступлениям, не допускать перескакивания через фазы дискуссии. Для решения этой задачи в арсенале ведущего имеется только право задавать вопросы и отвечать на замечания по ходу обсуждения.

Вопросы могут ставиться по-разному и посредством них могут решаться разные задачи. Задаваемые вопросы могут быть открытыми и закрытыми. Закрытые вопросы предполагают ответы "да" - "нет" и предназначаются для достижения определенности или согласия при обмене мнениями. Вопросы, начинающиеся словами "кто, что, почему и т.п.", требуют объяснений, привлечения новой информации, способствуют выдвижению новых идей, конкретизации причин, мотивов и способов действия. Использование подобных вопросов развивает тему диалога, позволяет проникнуть в содержание точки зрения участника, выводит из состояния замкнутости. Уточняющие вопросы помогут выявить сложности и препятствия на пути достижения согласия партнеров, удержать диалог в рамках заданной темы. Повторение утверждения партнера в вопросительной форме предоставляет собеседнику возможность самому усмотреть в своей позиции ранее не замеченные характеристики, создает условия для изменения точки зрения.

Наряду с постановкой вопросов ведущему нужно уметь правильно реагировать на замечания и высказывания участников дискуссии. Для этого необходимо учитывать психологические причины их возникновения. Например, замечания, высказанные непосредственно перед выработкой согласованной оценки, могут означать не полную ясность позиции для участников. Следует уточнить, что осталось непонятым, и вновь повторить объяснение так, чтобы никаких сомнений не оставалось.

Результат группового обсуждения напрямую зависит от грамотных действий ведущего. Полное владение данным методом приходит постепенно. Необходимо неоднократно его применять и анализировать каждый раз достижения и просчеты. Однако только организация работы по методу группового обсуждения может дать непревзойденный эффект по степени согласованности мнений участников, удовлетворенности от проделанной работы и готовности участвовать в подобной работе в будущем.

Этап обработки и анализа информации

Главная задача этапа анализа и обработки информации - выделить итоговое мнение группы экспертов и тем самым получить результат экспертизы. В этих целях необходимо свести воедино суждения всех респондентов. Мнения участников оценивания зачастую имеют некоторое расхождение между собой. Это может быть обусловлено рядом причин, наиболее важными из которых являются сложность и многоплановость исследуемых объектов, различная степень приобщенности экспертов к проблеме, различия в базовом образовании, а также в социальных и профессиональных установках участников, или индивидуальные особенности респондентов.

В результате проведения процедуры опроса формируется некий спектр ответов экспертов, из которого требуется выбрать "правильное" решение. Обычно групповая оценка определяется методами голосования или усреднения.

Метод "голосования" основывается на мнении, с которым согласно большинство экспертов в группе. Он может быть применен как в отношении общего результата оценивания, так и в отношении мнений экспертов по каждой из рассматриваемых позиций. Особенностью данного метода является игнорирование нетипичных или крайних оценок. Применение метода "голосования" не требует больших затрат на обработку и может быть использовано для оценок, произведенных по качественным шкалам.

Однако применение метода "голосования" может привести к искажению результатов в случаях, когда оценки меньшинства экспертов оказываются более адекватными по сравнению с оценками большинства. Игнорирование крайних суждений в этом случае отдаляет итоговый результат оценивания от истинного.

Для того, чтобы избежать подобных ошибок, при обработке результатов учитывают коэффициент компетентности каждого эксперта, который в этом случае называется «вес эксперта». Каждому мнению одного эксперта присваивается значение 1, а затем оно умножается на его вес, который был определен на этапе формирования группы. В результате получается скорректированное значение индивидуальной оценки, которое подставляют в результаты голосования. Если оказывается, что мнения наиболее компетентных экспертов не совпадают с мнением большинства, то можно попросить их объяснить причины своего выбора. После ознакомления всех экспертов с обоснованием крайних оценок, их мнения также могут измениться в ту или иную сторону. Следовательно, необходимо провести повторное оценивание ранее предлагаемых объектов и повторить процедуру обработки.

Описанную процедуру обработки не сложно провести, если эксперты производили классификацию в небольшое число классов объектов по номинальной шкале.

В случаях, когда производилось ранжирование объектов по порядковой шкале, то для выявления группового мнения подсчитывают сумму рангов для каждого из оцениваемого объектов по всем экспертам (ф 1)

, (ф 1)

где х_ij - ранг, присвоенный i-тому объекту j-тым экспертом; n - число экспертов.

По полученным суммам организаторы производят ранжирование объектов, причем объект с наименьшей суммой получает ранг N1 и далее в порядке возрастания. На основе этого ранжирования определяется итоговое мнение группы. В этом случае принято говорить о подсчете результата по правилу большинства.

Иногда для обработки результатов определяют средний балл по каждому критерию. Если подходить строго с позиций математической статистики, то такое преобразование в порядковой шкале недопустимо. Однако оно может быть информативно в случаях, когда ранжированию подвергается не весь список объектов, а определенная его часть, которая выделяется каждым экспертом индивидуально путем классификации. Например, экспертам выдается задание выбрать из списка, насчитывающего 30 объектов, восемь наиболее важных по заданному критерию и проранжировать их по степени важности. В этом случае списки для ранжирования у различных экспертов могут не совпадать между собой. Для обработки результатов организаторы формируют общий список, в который включаются все объекты, указанные экспертами в качестве важных. Для каждого объекта в новом списке подсчитывается сумма рангов, которая зависит в данном случае не только от присвоенного абсолютного ранга одним конкретным экспертом, но и от числа экспертов, включивших этот объект в число важных. Поэтому в данном случае имеет смысл определить средний ранг объекта, как частное от деления суммы рангов на число экспертов, выбравших этот объект: (ф 2)

, (ф 2)

где х_i - ранг, присвоенный i-тому объекту j-тым экспертом; n - общее число экспертов.

В результате получится скорректированный ранг для каждого объекта, на основе которого производится заключительное ранжирование объектов и выявляется итоговое мнение группы.

При описанном способе обработке результатов трудно бывает определить, насколько согласованны мнения экспертов. В целях первичной оценки согласованности мнений организаторы могут представить полученные результаты в виде таблицы (см. табл.3 ):

Таблица 3.

Частота начисления баллов по критериям

В вертикальном столбце таблицы выписываются все критерии, по которым оценивается программа. Горизонтальный ряд представляет собой баллы, которые были начислены по этим критериям. В таблицу заносится число экспертов, присвоивших по данному критерию определенный балл. Например, объекту по критерию «Актуальности учебной программы» один человек присвоил балл 1, четыре человека - балл 2, один человек - балл 4 и т.д. Если никто не присвоил какой-либо балл по данному критерию, то в таблице ставится прочерк.

Когда вся таблица заполнена, по количеству прочерков можно судить о степени согласованности мнений экспертов. Например, если прочерков много, а максимальные значения чисел в графах превышают половину от числа участников, то можно оценить степень согласованности как высокую. Если же все клетки таблицы заполнены числами и разница между их значениями невелика, то это - крайний случай несогласованности мнений. В случаях, когда обнаруживается два или несколько существенно отличающихся от единицы значений в горизонтальной графе при остальных прочерках, говорят о том, что мнения экспертов по данному критерию разделились.

Подобную "визуальную" оценку степени согласованности мнений экспертов можно применять по отношению к отдельным критериям и к общей оценке. Конечно, это весьма приблизительная нестрогая оценка, однако она может оказаться полезной для анализа качественной информации, когда нет возможности применить для обработки математический аппарат.

Коррекцию несогласованности мнений, выявленную из таблицы, можно провести при помощи учета весов экспертов, как это было описано выше, или же посредством обоснования крайних оценок. Прием обоснования крайних оценок может быть эффективен при выборе итогового результата в случаях, если в группе мнения экспертов разделились.

Главная задача при обосновании крайних оценок состоит в создании условий для наименьшего влияния личностных особенностей и авторитета конкретных экспертов на суждения остальных членов группы. Если процедура оценивания не предполагает одновременную работу экспертов в одном месте, то эта задача решается достаточно просто - сообщается респондентам наиболее часто встречаемая оценка, крайние оценки и просят письменно обосновать последние. Анонимные обоснования сообщаются всем экспертам с задачей ознакомиться и повторно оценить предлагаемый список объектов.

Метод усреднения. Выбор группового результата экспертизы методом усреднения предполагает применение более строгого математического аппарата, чем при использовании метода "голосования". Он основывается на вычислении среднего значения оценки, которое представляет собой абстрактную типическую характеристику всей совокупности, уничтожающую, погашающую, сглаживающую случайные и неслучайные колебания, влияния индивидуальных особенностей и позволяющую представить в одной величине некую общую характеристику реальной совокупности оценок. Главное условие использования средних величин состоит в том, что совокупность должна быть в отношении осредняемых признаков качественно однородной. Применение метода усреднения дает существенные преимущества при обработке результатов экспертизы, если получена количественная информация, поскольку лежит в основе математических способов выявления группового мнения.

Наиболее часто используются следующие виды средних величин: среднее арифметическое, медиана, мода. Среднее арифметическое рассчитывается как частное от деления суммы оценок, данных экспертами одному объекту, на число оценивавших.(ф 3)

,

где х_ij - оценка i-того объекта j-тым экспертом, (ф 3)

n - число экспертов.

Операция определения среднего арифметического не может быть использована для обработки результатов оценивания, полученных в порядковой шкале. Для ряда с открытыми конечными интервалами (если крайние интервалы не имеют четкой границы с одной стороны, например, если в один интервал следует отнести все оценки, которые меньше единицы) некорректно подсчитывать среднее арифметическое, но можно заменить его медианой.

Медиана - это значение одной конкретной оценки, которая распололожена в середине ряда частотного распределения оценок. Медиана показывает, что 50% оценок одного объекта имеют значение меньше и 50% оценок имеют значение больше, чем медиана. Если в частотном ряду оценок четное число членов, то медиана равна среднему арифметическому срединных значений оценок.

Медиана может быть вычислена по баллам. Для этого можно воспользоваться данными таблицы частоты присвоения баллов по критериям (табл. 3). По ней для каждого объекта по горизонтальной графе следует определить балл, сумма чисел слева и справа от которого одинакова и равна половине от числа экспертов в группе. Этот балл будет равен медиане. В порядковой шкале в качестве среднего корректно выбрать одну из оценок, в частности - медиану.

В случаях, когда таблица частоты присвоения баллов (табл. 3) заранее не заполнялась, для определения медианы, полученные балльные оценки по каждому из критериев можно просто записать в порядке возрастания или в порядке убывания. При этом, оценка, слева и справа от которой будет находиться одинаковое число других оценок, равное половине от числа экспертов в группе, также окажется медианой.

Например, при оценке учебной программы по критерию «Контролируемость конечных результатов программы» пятью экспертами из числа опытных методистов и преподавателей были получены следующие результаты: 3, 4, 3, 2, 3. При расположении оценок в порядке возрастания получается следующий ряд: 2, 3, 3, 3, 4. Поскольку в экспертизе участвовало пять человек, медиана оценок соответствует оценке с порядковым номером - 3. В данном примере медиана равна 3. Очевидно, что при таком способе определение медианы легче производить, когда в оценке принимает участие нечетное количество экспертов

Медианы можно подсчитать с помощью компьютерной программы MS Excel. Для этого в строке 1 основной таблицы Excel в клетках, соответствующих буквам A, B, C, D, … и т.д. выпишите номера критериев из опросного листа от 1 до 11. В строке 2 под соответствующими номерами критериев выпишите баллы, соответствующие оценкам, данным одним экспертом, в строке 3 - баллы, полученные при обработке опросного листа, заполненного другим экспертом и т.д. После того, как все результаты будут занесены в таблицу на следующей строке n (где n равно числу опрошенных экспертов плюс 2) в столбце А необходимо вставить формулу вычисления медианы. Для этого следует щелкнуть кнопку «f_x» на панели управления, задать область поиска формулы «Статистические», выбрать в данной области формулу «медиана», установить множество чисел для определения медианы «А2;Аn-1». После этого в данной клетке таблицы появится значение медианы оценок экспертов по данному критерию оценки учебной программы. Содержание данной клетки таблицы следует скопировать во все остальные клетки этой строки. Таким образом, определяются медианы оценок экспертов по всем критериям оценивания.

Мода - наиболее часто встречаемое значение в дискретном ряду или значение с наибольшей частотой. В совокупностях, где может быть произведена только операция классификации объектов по какому-либо качественному признаку, вычисление моды - единственный способ указать некий центр тяжести совокупности.

Для определения моды удобно пользоваться диаграммой, на которой отражена частота встречаемости каждой оценки в ответах экспертов. Получить такую диаграмму можно с помощью компьютерной программы Excel, или же построить вручную. В этих целях необходимо все возможные варианты оценок каждого из параметров выписать в столбик и против каждого из них крестиками указать число выборов, соответствующее ответам экспертов. Оценка, у которой ряд крестиков окажется наибольшим является модой.

Например, при оценке учебной программы по критерию «Уровень требований к подготовке слушателей» семью экспертами из числа опытных преподавателей и методистов с большим стажем работы после перевода ответов в баллы, были получены следующие результаты: 2, 3, 1, 2, 3, 2, 1. Диаграмма частоты распределения оценок в баллах будет выглядеть следующим образом (см. табл.4).

Таблица 4.

Пример определения моды оценок экспертов по критерию «Уровень требований к подготовке слушателей».

Из диаграммы видно, что чаще всего встречается оценка 2. Для данного случая 2 - это мода.

Недостатки моды - невозможность совершать над ней алгебраических действий, зависимость ее величины от интервала группировки, возможность существования в ряду нескольких модальных значений.

Полученные согласованные оценки экспертов следует отразить на чистом оценочном листе (см. Приложение к Методике оценки), с тем, что затем по таблице определить баллы, приписываемые программе по каждому из критериев. Далее посредством вычислений по предлагаемому алгоритму (см. Методику оценки) необходимо определить интегральную оценку уровня оцениваемой учебной программы.

Этап синтеза информации и принятия решения Основным содержанием данного этапа является интерпретация и оформление результатов экспертной оценки, сопоставление их с поставленной задачей, формулирование решения проблемы.

Полученные в процессе обработки результатов экспертизы данные представляют собой обобщенные по заданным логическим и математическим правилам числовые величины, которым еще предстоит приобрести определенное смысловое содержание, т. е. стать показателями. Каждый показатель несет на себе определенную смысловую нагрузку, а также указывает на направленность последующих выводов и рекомендаций.

Любая числовая величина может быть проинтерпретирована с разных точек зрения и, следовательно, обладает свойством многозначности. Если организаторы вносят содержательный смысл в числовые данные, соотносят их с изучаемой проблемой, с наиболее важными сторонами объекта и предмета исследования, то они превращаются в показатели.

Единых правил для интерпретации не существует. В каждом конкретном случае выводы формулируются в результате содержательной работы организационной группы, в ходе которой полученные числовые данные соотносятся с первоначальным замыслом, целью и задачами экспертизы.

Предлагаемая методика предполагает использование интегральной итоговой оценки, которая дает возможность оценить уровень преимущества той или иной учебной программы относительно других или относительно некоего среднего уровня. В то же время для более точного представления о сильных и слабых сторонах программы можно воспользоваться сравнительным анализом оценок по отдельным критериям, который покажет отдельные преимущества и недостатки программы. Например, программу можно отнести к высоко конкурентной группе, она может быть даже уникальной и получить по соответствующему критерию высокий балл. Однако такого рода программы требуют, как правило, более высокого уровня квалификации преподавателей, и эта избирательность требований приводит к появлению ограничений в использовании. Это означает, что она становится потенциально более проблемной для образовательных учреждений, а в общем случае, может быть и менее привлекательной. Выявление сильных и слабых сторон учебной программы может стать основой не только для принятия решения о реализации данного учебного курса, но и послужить ориентиром при ее последующем совершенствовании.

Литература:

1. Беспалько В. П. Теория учебника, М., 1989.

2. Бешелев С.Д., Гурвич Экспертные оценки. М., 1973.

3. Гинецинский В. И. Основы теоретической педагогики, С.-Петербург, 1992.

4. Гохман О.Г. Экспертное оценивание. Воронеж, 1991.

5. Заиp-Бек Е. С., Казакова Е. И. Педагогические opиентиры yсnеха. С.-Петербург, 1995.

6. Литвак Б.Г. Экспертная информация. Методы получения и анализа. М., 1982.

7. Методические рекомендации в помощь педагогу, работающему над автоpcкой образовательной npoгpaммoй. Издание MГДТиЮ, М.,1995.

8. Основы прикладной социологии. М., 1996.

9. Педкасистый П. Педагогика, М., 1995.

10. Поиск, экспертиза, выбор. Пенза, 1997.

11. Рабочая книга социолога. М., 1983.

12. Райхман Э.П., Азгальдов Г.Ф. Экспертные методы в оценке качества товаров., М., 1974.

13. Сидоренко Е.В. Методы математической обработки в психологии. С.-Петербург., 2002.

14. Статистические методы анализа экспертных оценок. М., 1977.

15. Толстова Ю.В. Измерение в социологии. М., 1998.

16. Ядов В.А. Социологическое исследование: методология, программа, методы. Саратов, 1995.

Размещено на Allbest.ru