Рис. 12. Оценка преподавателями возможности существования в настоящее время методик оценки учебных программ, позволяющих делать обоснованный адекватный прогноз эффективности обучения

2. Проблема оценки

Всякая оценка - это измерение, хотя не всякое измерение - оценка. Например, когда измеряют рост или вес человека, полученный результат не является оценкой. Но если определяют средний рост некоторой популяции, то могут даваться оценки роста единичных представителей этой популяции или их групп в терминах «выше среднего», «ниже среднего». Может также вводится некоторая норма на соотношение веса и роста и по отношению к этой норме даваться оценки. Оценка - это соотнесение свойств эмпирического объекта с некой нормой.

Проблема измерения является одной из наиболее важных в каждой науке. Общим для всех измерений является то, что оно «есть приписывание чисел вещам в соответствии с определенными правилами» (Гласс, Стэнли, 1976, с. 12).

Существует два качественно различных подхода к измерению.

При первом подходе измерение рассматривается как познавательный процесс заключающийся в сравнении некоторой величины с другой однородной величиной, принятой за единицу (Осипов, Андреев, 1977; Маликов, Тюрин, 1965). Этот подход предполагает существование неизменяемой величины (метра, килограмма, секунды и т.п.), которая служит меркой для сравнения других однородных с ней величин.

При втором подходе под измерением понимается процедура, с помощью которой объекты измерения, рассматриваемые как носители определенных соотношений, отображаются на определенную числовую систему с соответствующими отношениями между числами.

Первый подход к измерению распространен в естественных науках, а второй - в социальных. Измерение в социальном исследовании понимается как “способ упорядочения социальной информации, при котором системы чисел и отношений между ними ставятся в соответствие ряду измеряемых социальных фактов”.

При оценке качества краткосрочных образовательных программ возможен только второй подход к измерению, поскольку нельзя задать неизменяемую единицу для их сравнения. Но тогда возникает проблема построения системы чисел и отношений между ними, адекватных отношениям между измеряемыми объектами. В нашем случае это означает, что нужно построить оценочную шкалу, которая бы позволяла отображать реальные различия между программами с точки зрения их качества ¹¹ Под шкалой в теории измерения понимают алгоритм, с помощью которого каждому наблюдаемому объекту ставится в соответствие некоторое число. Эти числа называют шкальными значениями.

Чтобы построить оценочную шкалу, нужно ввести шкальные значения и для каждого из них определить признаки, по которым, данное значение будет приписываться конкретным объектам.

Главный вопрос здесь - как выделить признаки, которые бы позволяли действительно различать краткосрочные программы бизнес-образования по их качеству? Это ключевой вопрос всякого измерения в социальном исследовании - вопрос обоснованности оценки. “Проблема обоснованности, - отмечают Г.П. Осипов и Э.П. Андреев, - обусловлена тем, что исследователь не имеет гарантии уверенности в том, что он измеряет именно то, что стремился измерить. В конечном счете, обоснованность полностью не гарантируется” (Осипов, Андреев, 1977, с. 118).

Обоснованность измерения в решающей степени определяется тем, в какой мере теоретическое понимание измеряемого объекта адекватно действительности. Применительно к нашему случаю, это определяется тем, в какой мере используемое понятие “качество образовательной программы” действительно отражает соответствующее качество. Если бы понятие “качество образовательной программы” уже было кем-то разработано, то мы должны были бы критически его рассмотреть и принять его или же доработать. Но на сегодняшний день это понятие не разработано, и поэтому его необходимо специально разработать. Причем разработать на таком уровне детальности, чтобы можно было построить оценочную шкалу.

Другая ключевая проблема измерения - обеспечение его надежности.

Метод измерения будет признан максимально надежным, если он обеспечивает воспроизведение одних и тех же результатов измерения, повторяемого при идентичных условиях. Но это в идеале. В действительности же всякое измерение дает ту или иную ошибку. В зависимости от методики измерения она может быть большей или меньшей. В результате ошибок оценки качества конкретных краткосрочных программ бизнес-образования могут быть выше или ниже их действительного значения.

В процессе измерения участвуют три составляющие:

i объект измерения;

i измеряющие средства, с помощью которых производится отображение свойств объекта на числовую систему;

i субъект, производящий измерение.

С каждой из этих составляющих могут быть связаны систематические ошибки измерения.

3. Ошибки оценивания и способы их предотвращения

Всякая оценка предполагает измерение того, что есть, и его сравнение с тем, что должно быть. Никакой метод измерения не может обеспечить абсолютной его точности, всегда возникает ошибка.

Учебная программа является достаточно сложным объектом оценки, и угроза существенных ошибок измерения здесь весьма значительна.

Обеспечение объективной и точной оценки - важная задача, трудность решения которой связана с тем, что совершаемые ошибки часто даже не осознаются теми, кто их допускает. Поэтому каждому, принимающему участие в оценке учебных программ по малому бизнесу, необходимо четко представлять типы возможных ошибок и способы их устранения.

Анализ опыта оценки учебных программ показывает, что существуют многочисленные источники ошибок: и недостаточная компетентность оценивающих, и их субъективные установки, и неполная информация о программах, и несовершенство используемых методов, и многое другое. Специальными исследованиями выделено несколько типов наиболее распространенных ошибок при оценивании.

Три типа ошибок (строгость, мягкость и центризм) связаны с неполным использованием оценочной шкалы.

Строгость в оценке - тенденция выставлять каждому оценку ниже, чем он заслуживает, или, чем его оценили бы другие эксперты.

Причинами возникновения ошибок этого типа могут быть завышенные требования или попытка мотивировать разработчика учебной программы работать на пределе его возможностей, а также боязнь ответственности в случае неудачной реализации программы. Установка в основном на отрицательную оценку реализуется в нескольких формах:

· более мягкая - умолчание о позитивных и подчеркивание негативных моментов учебной программы;

· более жесткая - активное отрицательное отношение к любым характеристикам программы.

При этом оценивающий часто имеет положительное мнение об оцениваемой программе, но считает, что, продемонстрировав его, допустит опрометчивость, создаст условия для снижения качества деятельности преподавателя.

Негативные последствия строгости состоят в сужении диапазона оценки, так как используется только часть оценочной шкалы с низкими баллами; при этом происходит искажение реальной картины и отвлечение внимания от аспектов учебной программы, требующих действительного улучшения. Кроме того повышенная строгость, как правило, вызывает неприятие оценки преподавателем, программа которого оценивается, что может привести к пересмотру мотивов деятельности и неудовлетворенности трудом, порядками в образовательном учреждении и, наконец, самим оценщиком.

Мягкость в оценке - тенденция выставлять оценку выше, чем заслуживает оцениваемая учебная программа, - может быть вызвана рядом причин:

· стремлением к сохранению хороших отношений с разработчиком программы;

· чувством неуверенности;

· желанием представить положение дел в образовательном учреждении как благополучное;

· благосклонным отношением к тем преподавателям, программы которых по каким-то характеристикам похожи на программы, разработанные данным экспертом;

· просто нелюбовью к сообщению плохих новостей, особенно тому, кому новость предназначена.

Сильная сторона установки на положительную оценку учебной программы в том, что она формирует у преподавателя, ее разработавшего, уверенность в своих силах и возможностях. Но есть у нее и слабые стороны. Она не способна оказать такого воздействия на человека, которое послужило бы отправным моментом серьезного пересмотра сложившихся приемов и стиля работы.

При мягкости, как и при строгости, сужается диапазон оценки, но уже за счет использования только высоких баллов. При этом некоторые оцениваемые работники в качестве поощрения могут получить предложения, которые не соответствуют их способностям, у других появляется обида на экспертов, дающих точные, но более низкие оценки.

Усреднение оценки (центризм) - тенденция выставлять каждому оценку в середине диапазона, избегая крайних значений, - может быть связана с нежеланием эксперта как обидеть автора оцениваемой программы, так и казаться великодушным, или с недостатком информации о характеристиках программы и ориентацией поэтому на "безопасный" средний балл. Причиной могут быть и нечеткие критерии оценки. В этом случае выставление усредненной оценки служит способом избегания сомнений.

При таком варианте оценочная шкала вообще не работает, поэтому отсутствует возможность выявить как наиболее эффективные программы, так и те, которые необходимо серьезно улучшать.

Эффект "ореола" - тенденция оценивать учебную программу на одинаковом уровне по всем характеристикам - как правило, связан с тем, что оцениваемая программа имеет ярко выраженные положительные или отрицательные качества, "заслоняющие" другие характеристики. Так, отмечено, что различные тренинги получают более высокие оценки, чем заслуживают в соответствии с реальным вкладом.

Отрицательным последствием являются ошибки в выявлении сильных и слабых сторон учебной программы.

Эффект недавности (свежести) - оценка учебной программы на основе недавних фактов, событий и результатов, связанных с реализацией другой учебной программы данного преподавателя, а не на основе ее качеств - возникает из-за того, что наиболее значимой по отношению к знакомому человеку оказывается извлеченная из кратковременной памяти последняя информация. Так недавнее посещение занятий преподавателя, являющегося разработчиком оцениваемой программы, и неприятное воспоминание о нем могут стать решающими при оценке.

Негативным последствием этого эффекта служит необъективность оценки программы.

Эффект контраста - влияние на оценку данной учебной программы результатов оценок тех программ, которые были оценены перед ней, - появляется из-за сравнения ее качеств не со стандартом, а с ранее оцениваемыми программами.

В результате при оценивании используется "гибкий" стандарт, поэтому занижается оценка учебной программе, следующей за той, что была оценена высоко, и завышается оценка программы, следующей за той, что была оценена низко.

Атрибуция - использование в качестве объяснения результатов обучения по данной оцениваемой учебной программе не ее характеристик, а положительных или отрицательных характеристик личности преподавателя. Причинами возникновения ошибки служит, с одной стороны, придание чрезмерного значения личностным характеристикам, приписываемым преподавателю оценивающим, с другой - отсутствие необходимой для объективной оценки информации о самой оцениваемой программе и условиях ее реализации.

В итоге принижается или не принимается во внимание влияние на реализацию программы ее важных характеристик,: например, происходит занижение оценки, если оценивающий связывает причины недостатков в учебном процессе с недостатком приложенных преподавателем усилий, а не с низким уровнем необходимых качеств программы, или отсутствием в образовательном учреждении необходимых для получения высоких образовательных результатов условий.

Универсальным средством для снижения вероятности ошибок при оценке является выработка четких всем известных, согласованных и принимаемых всеми критериев оценки:

· формулировка и доведение до каждого эксперта четких определений того, что закладывается в каждое значение оценочных уровней шкалы;

· участие в оценке нескольких экспертов и сопоставление их оценок, что обеспечивает обоснованность и объективность оценок;

· проведение оценки учебной программы ее разработчиком по тем же критериям, что повышает доверие к оценивающим, служит положительному восприятию оценки и рекомендаций по совершенствованию;

· знакомство разработчиков учебных программ с критериями их оценки еще на этапе их создания, что повышает их качество.

Для предупреждения тенденции усреднения, необоснованной строгости и мягкости в оценке необходимо проанализировать основные методы оценивания, чтобы установить:

i возможно ли, что в рамках данной модели оценки все получат высший или низший балл;

i возможна ли вообще объективная оценка.

Избежать ошибки типа "подобный мне" поможет анализ взаимоотношений с подчиненными и сравнение оценок подобных себе с оценками других сотрудников.

Для предупреждения эффектов "ореола" и "недавности" необходимо специально обращать внимание на то, имеет ли преподаватель, представивший учебную программу для оценки, черты, способные затмить его профессиональную деятельность. Оценивающим следует иметь список характеристик программы, на которых будет основываться оценка, чтобы сравнить можно было сравнивать программы, оцененные за весь период. Оценку по отдельным характеристикам необходимо вести строго последовательно, концентрируя внимание на данной характеристике, а потом выставлять рейтинговую оценку.

Для предупреждения ошибок контраста желательно не проводить оценку нескольких программ одновременно.

Предупреждение атрибуционной ошибки обеспечивается за счет накопления информации об учебной программе: требуемого и желаемого (что часто не совпадает) и учета реальных факторов среды образовательного учреждения, которые могут сделать реализацию учебной программы более легкой или трудной. Такой учет поможет избежать приписывания программе тех характеристик, которые ей не свойственны.

Если за время измерения какого-либо качества, оно может изменяться, то это будет приводить к ошибкам. Учебная программа при проведении процедуры оценки не может измениться сколько-нибудь существенно. Поэтому этот фактор можно не учитывать.

Субъект измерения, в случае если он недостаточно хорошо подготовлен, может порождать систематические ошибки. Они будут тем большими, чем более жесткие требования предъявляет методика к субъекту измерения. Поэтому для обеспечения надежности измерения специальное внимание должно уделяться к подготовке пользователей методики.

Но основные ошибки измерения порождаются самой методикой. Существуют различные способы повышения надежности измерения. Поэтому при разработке метода оценки качества краткосрочных программ бизнес-образования должны быть приняты необходимые меры обеспечения ее надежности.

4. Надежность и валидность оценки учебных программ

Прежде чем методика может быть использована для практических целей, она должна пройти проверку по ряду формальных критериев, доказывающих ее высокое качество и эффективность. К числу основных критериев оценки методики относятся надежность и валидность.

Проблемы надежности и валидности методики тесно взаимосвязаны.

Термин «надежность» означает относительное постоянство, устойчивость, согласованность результатов оценки при первичном и повторном ее применении. При этом в определенной мере могут совпадать как сами результаты, так и порядковое место (ранг), занимаемое учебной программой в группе. И в том и в другом случае при повторении оценки возможны некоторые расхождения, но важно, чтобы они были незначительными, в пределах одной группы. Таким образом, можно сказать, что надежность методики -- это такой критерий, который говорит о точности измерений, т. е. позволяет судить о том, насколько внушают доверие полученные результаты.

Степень надежности методик зависит от многих причин. Поэтому важной проблемой практической оценки программ является выяснение факторов, снижающих точность измерений и их классификация. Анализ показывает, что среди них наиболее часто называют следующие:

i нестабильность оцениваемого свойства;

i несовершенство самой методики оценки (небрежно составлена инструкция для экспертов, нечетко сформулированы указания, как организовать процедуру оценки, и т. д.);

i элементы субъективности в способах оценки и интерпретации результатов.

Если все эти факторы иметь в виду и постараться в каждом из них устранить условия, снижающие точность измерений, то можно добиться приемлемого уровня надежности методики оценки учебных программ.

Одним из важнейших средств повышения надежности методики является единообразие процедуры оценки, ее строгая регламентация: одинаковые для экспертов обстановка и условия работы, однотипный характер инструкций, одинаковые для всех временные ограничения и т.д. При такой стандартизации процедуры оценки можно существенно уменьшить влияние посторонних случайных факторов на ее результаты и таким образом повысить их надежность.

Как подчеркивают многие авторы, разновидностей надежности методик так же много, как и условий, влияющих на результаты. Однако практическое применение находят лишь несколько ее видов.

Так как все виды надежности отражают степень согласованности двух независимо полученных рядов показателей, то основной математико-статистический прием, с помощью которого устанавливается надежность методики, -- это корреляции (по Пирсону или Спирмену). Надежность тем выше, чем ближе полученный коэффициент корреляции подходит к единице, и наоборот.

В данной методике при описании видов надежности основной упор делается на работы К. М. Гуревича, который, проведя тщательный анализ зарубежной литературы по этой проблеме, предложил толковать надежность как:

i надежность самого измерительного инструмента;

i стабильность изучаемого признака;

i константность, т. е. относительную независимость результатов от личности эксперта.

Основные показатели он предложил обозначать следующим образом:

i показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надежности;

i показатель, характеризующий стабильность измеряемого свойства, -- коэффициентом стабильности;

i показатель оценки влияния личности эксперта -- коэффициентом константности.

Только методика, располагающая полной характеристикой надежности, наиболее пригодна для практического применения.

Остановимся на более подробном рассмотрении этих показателей, характеризующих с разных сторон надежность методики оценки учебных программ.

От того, как составлена методика, насколько правильно подобраны задания с точки зрения их взаимосогласованности, насколько она однородна, зависит точность, объективность любого измерения социального объекта. Внутренняя однородность методики показывает, что ее задания актуализируют одно и то же свойство, признак.

Результат оценки учебных программ зависят от того, насколько понятны определения и термины, закладываемые в методику оценки. Например, в методике могут встретиться понятия, мало известные одной части экспертов, но хорошо известные другой части. От того, как много в методике таких понятий, будет зависеть и коэффициент надежности.

Кроме определения надежности самого измерительного инструмента, нужно еще установить, насколько устойчив, стабилен признак, который исследователь намерен измерять. Обычно стабильность признака определяется посредством повторного его измерения с помощью того же самого инструмента по прошествию некоторого времени. Однако решение об определении стабильности изучаемого признака зависит от сущности самого диагностируемого свойства.

Поскольку в качестве объекта измерения в данном случае используется учебная программа, которая не подвержена изменениям в течение достаточно большого промежутка времени, можно рассматривать показатель стабильности признака как достаточно высокий. Это означает, что после получения результатов по всем критериям оценки, нет необходимости прибегать к повторному оцениванию.

Поскольку методика, разработанная для целей оценки, не предназначена для того, чтобы вечно оставаться в руках своих создателей, крайне важно знать, в какой мере ее результаты поддаются влиянию личности организатора оценивания. Хотя методика всегда снабжается подробными инструкциями по ее применению, правилами и примерами, указывающими, как проводить оценку, однако регламентировать манеру поведения организатора. Привлекаемые для оценки эксперты в своем отношении к работе всегда отразят то, как сам организатор к ней относится (допускает небрежность или действует точно в соответствии с требованиями процедуры, проявляет требовательность, настойчивость или бесконтрольность и т. п.).

Для того, чтобы уменьшить влияние личности организатора на результаты деятельности экспертов, разработчики методики составляют подробную инструкцию по организации процедуры оценивания, обязательную для исполнения всеми организаторами. Кроме того, необходимой частью методики является изложение теоретических оснований, на которых строится процедура измерений.

Другим ключевым критерием оценки качества методик является валидность. Вопрос о валидности методики решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной.

Следует заметить, что вопрос о валидности до сих пор представляется одним из самых сложных. Наиболее часто валидность методики определяют как понятие, указывающее нам, что эта методика измеряет и насколько хорошо он это делает.

Валидность по своей сути -- это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность. По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность в первом ее понимании имеет отношение к самой методике, т. е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

При теоретической валидизации исследователя интересует само свойство, измеряемое методикой. При прагматической валидизации суть предмета измерения оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что «нечто», измеряемое методикой, имеет связь с определенными областями практики. Провести теоретическую валидизацию, в отличие от прагматической, порой оказывается значительно труднее.

Остановимся в общих чертах на том, как проверяется прагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успешность обучения по учебной программе, и с ним сравниваются результаты ее оценивания по данной методике. Если связь между ними признается удовлетворительной, то делается вывод о практической значимости, эффективности, действенности методики оценки.

Для определения теоретической валидности найти какой-либо независимый критерий, лежащий вне методики, гораздо труднее. Провести теоретическую валидизацию методики -- это доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследователя должна измерять.

Когда концепция валидности только складывалась, бытовало интуитивное представление о том, что именно данная методика измеряет:

1) методика называлась валидной, так как то, что она измеряет, просто «очевидно»;

2) доказательство валидности основывалось на уверенности исследователя в том, что его метод позволяет понять сущность объекта измерения;

3) методика рассматривалась как валидная только потому, что она строилась на более современной теории.

Однако принятие на веру голословных утверждений о валидности методики вскоре уступило место научно обоснованному подходу.

Для теоретической валидизации кардинальной проблемой является отношение между измеряемыми явлениями и их показателями, посредством которых эти явления пытаются познать. Такая проверка показывает, насколько замысел автора и результаты методики совпадают.

Несложно провести теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с доказанной валидностью. Наличие корреляции между новой и аналогичной, уже проверенной методикой указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная. И если новый метод одновременно оказывается более компактным и экономичным в проведении и обработке результатов, то исследователи получают возможность использовать новый инструмент вместо старого. Такой прием особенно часто применяется в исследованиях, которые касаются явлений, поддающихся прямому измерению (основных свойств нервной системы человека, физиологии труда и др.).

Но теоретическая валидность доказывается путем сопоставления не только с родственными показателями, а также и с теми, где, исходя из гипотезы, значимых связей не должно быть. Таким образом, для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидностъ), а с другой -- отсутствие этой связи с методиками, имеющими другое теоретическое основание (дискриминантная валидностъ).

Как отмечают некоторые авторы, гораздо труднее провести теоретическую валидизацию методики тогда, когда такой путь проверки невозможен. Чаще всего именно с такой ситуацией сталкивается исследователь. В таких обстоятельствах только постепенное накопление разнообразной информации об изучаемом свойстве, анализ теоретических предпосылок и экспериментальных данных, значительный опыт работы с методикой позволяют раскрыть ее психологический смысл (Акимова и др., 2003, с.95 -103).

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработана в теоретическом плане, т. е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении методики с взятым из повседневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоретические представления о ее сущности.

Следует помнить, что если доказана теоретическая валидность, то интерпретация полученных показателей становится более ясной и однозначной, а название методики соответствует сфере ее применения.

Что касается прагматической валидизации, то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности. Ею имеет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в определенных видах деятельности.

В начале 20 века эмпирический критерий оценки методики считался единственно верным ориентиром в решении научных и прикладных задач.

Использование методик оценки с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводило к псевдонаучным выводам, к неоправданным практическим рекомендациям. И это не могло не вызвать критики со стороны тех ученых, которые в разработке методик призывали опираться не только на «голую» эмпирику и практику, но и на теоретическую концепцию. В настоящее время теоретико-прагматическая оценка валидности методик воспринимается как наиболее продуктивная.

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий -- показатель проявления изучаемого свойства в реальной действительности. Такими критериями для методики оценки учебных программ могут быть:

1) уровень усвоения знаний;

2) производственные достижения после обучения;

3) привлекательность учебной программы для слушателей;

4) субъективные оценки обучающихся и др.

Американские исследователи Д. Тиффин и Е. Маккормик, проведя анализ используемых для доказательства валидности внешних критериев, выделили четыре их типа:

1) критерии исполнения (в их число могут входить такие, как успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.);

2) субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

3) физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т. д.);

4) критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям:

1) он должен быть релевантным;

2) свободным от помех (контаминации);

3) надежным (Гуревич, 1980).

Под релевантностью имеется в виду смысловое соответствие оценочного инструмента независимому критерию. Другими словами, должна быть уверенность в том, что в критерии задействованы именно те особенности объекта, которые измеряются методикой. Внешний критерий и методика оценки должны находиться между собой во внутреннем смысловом соответствии, быть качественно однородными по своей сущности.

Требования свободы от помех (контаминации) вызываются тем, что, например, учебная или производственная успешность зависит от двух переменных: от самого человека, его индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы, труда, которые могут привнести помехи, «загрязнить» применяемый критерий. Чтобы в какой-то мере избежать этого, следует отбирать для исследования такие группы людей, которые находятся в более или менее одинаковых условиях.

Можно использовать и другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит обычно статистический характер. Так, например, успеваемость следует брать не по абсолютным значениям, а в отношении к средней успеваемости обучающихся, имеющих аналогичные условия обучения.

Когда говорят, что критерий должен иметь статистически достоверную надежность, это означает, что он должен отражать постоянство и устойчивость исследуемой функции.

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации. Оценка валидности методик может носить количественный и качественный характер.

Для вычисления количественного показателя -- коэффициента валидности -- сопоставляются результаты, полученные при применении методики оценки, с данными, полученными по внешнему критерию тех же объектов. Используются разные виды линейной корреляции (по Спирмену, по Пирсону).

Но, как подчеркивают А. Анастази критерия (Анастази, 1982) К. М. Гуревич (Гуревич, 1985, 1998) и др., не всегда для вычисления коэффициента валидности правомерно использовать линейную корреляцию. Этот прием оправдан лишь тогда, когда доказано, что оценка какого-либо объекта соответствует оценке по независимому критерию.

Как показал опыт работы, ни одна статистическая процедура не в состоянии полностью отразить многообразие индивидуальных оценок экспертов. Поэтому часто для доказательства валидности методик используют качественное описание сущности изучаемого объекта. В этом случае речь идет об использовании приемов, не опирающихся на статистическую обработку.

Существует несколько видов валидности, обусловленных особенностями методик, а также временным статусом внешнего критерия (Анастази, 1982; Бурлачук и др. 1989; Гуревич, 1985; Равен, 1999 и др.) Однако чаще всего называются следующие: валидностъ «по содержанию»; валидностъ «по одновременности», или текущая валидность; «ретроспективная» валидность; «предсказывающая» валидностъ (другое название -- «прогностическая» валидность).

Для целей оценки учебных программ «прогностическая» валидность представляет наибольший интерес. Она определяется по внешнему критерию, но информация по нему собирается по итогам ее реализации.

При приведении данных о валидности разработанной методики важно точно указать, какой вид валидности имеется в виду (по содержанию, по одновременности и т. д.). Желательно также сообщать сведения о способах оценки валидности и надежности представляемой методики.

5. Предлагаемый подход к оценке качества краткосрочных учебных программ в сфере малого бизнеса

Введенное понятие качества учебной программы в сфере малого бизнеса станет операциональным только тогда, когда будет построена соответствующая оценочная шкала и будет обосновано, что она соответствует понятию. Если такого соответствия не будет, то значит будет измеряться что-то другое, но не качество учебной программы.

Как уже было сказано выше, под шкалой понимают алгоритм, с помощью которого каждому наблюдаемому объекту ставится в соответствие некоторое число - шкальное значение. Задача построения шкалы состоит в том, чтобы определить шкальные значения и признаки, по которым оцениваемым объектам будут приписываться соответствующие числа, а также задать процедуры измерения.

В теории измерений различают три основных типа шкал:

- номинальные (шкалы наименований);

- порядковые (или ординальные шкалы);

- интервальные (шкалы равных интервалов).

Типы шкал отличаются тем, какие отношения между объектами они фиксируют и какие преобразования допустимы по отношению к шкальным значениям.

Номинальная шкала создается путем классификации эмпирических объектов измерения на группы. Каждой группе приписывается число и ( или) имя, которое является шкальным значением. Например, при различении объектов по цвету могут выделяться группы объектов красного, синего, желтого, зеленого цветов и эти группы могут нумероваться 1, 2, 3, 4. Каждый объект, отнесенный к какой либо группе определяется одним и тем же числом. Номинальная шкала позволяет только различать одни объекты от других, поскольку содержит только отношения равенства или неравенства объектов по какому-либо признаку.

Порядковая шкала в отличие от номинальной не только разделяет измеряемые объекты по какому-либо признаку на группы, но и определяет отношения порядка между ними типа “хуже - лучше”, “больше - меньше”. Шкала порядка позволяет показать, что один объект А по какому-то свойству лучше (больше) другого объекта В, но хуже (меньше) третьего объекта С. Однако на сколько объект А лучше объекта В, а тот в свою очередь лучше объекта С посредством порядковой шкалы определить нельзя.

Интервальная шкала не только упорядочивает измеряемые объекты, но и позволяет оценить величину разницы между ними. Это становится возможным при введении единиц измерения. На интервальной шкале одно шкальное значение отстоит от другого на одну и ту же величину. Поэтому на интервальной шкале задаются и отношения порядка объектов, и отношения равенства и порядка между разностями чисел (шкальных значений).

Нашей задаче наиболее соответствует порядковая (ординальная) шкала. При ее построении нужно определить уровни качества учебной программы, задать признаки, различающие эти уровни и процедуры оценки значений признаков.

Согласно введенному понятию качества учебной программы, признаки, по которым они будут различаться, должны обеспечивать оценку того, в какой мере фактические результаты от реализации программы соответствуют необходимым и потенциально возможным изменениям.

Здесь возникает необходимость определения нормы, по отношению к которой будет даваться оценка. Существует два принципиально разных подхода к заданию шкальных норм.

Первый подход предполагает, что для оценки какого-то качества эмпирических объектов определяются признаки различения, затем создается измерительный инструмент и проводится выборочное обследование. По его результатам определяется значение оценки для каждого объекта выборки и определяется среднее значение. Это значение принимается за норму. Затем в зависимости от вариации оценок устанавливаются другие шкальные значения. По этому принципу строятся многие измерительные шкалы в психологии и социологии.

Другой подход состоит в том, что норма не определяется как среднее для совокупности эмпирических объектов, а задается, исходя из каких-то соображений.

Примером реализации такого подхода является традиционная шкала оценки освоения учащимися содержания школьных программ. В этом случае устанавливаются требования, выполнение которых свидетельствует о высоком уровне освоения программы, затем устанавливается, при каком отклонении фактического результата, демонстрируемого учащимися, будет считаться, что содержание учебной программы усвоено на хорошем уровне, на минимально допустимом (удовлетворительном) уровне и не усвоено. Реализация такого подхода предполагает ориентацию на определенные критерии достижения, поэтому такой подход называют нормативным или критериально-ориентированным.

В случае реализации первого подхода к оценке качества учебных программ мы могли бы, создав некий инструмент оценки, провести исследование различий в получаемых результатов, выявить те программы, где эти результаты выше, выявить программы, где эти результаты средние (не лучше и не хуже многих других) и те, где эти результаты находится на наиболее низком уровне по сравнению с другими. Однако остается открытым вопрос: являются ли наиболее высокие результаты от реализации «лучших» учебных программ максимально возможными и могут ли такие программы являться эталоном при оценке других программ?

Ответить на этот вопрос можно только, установив эталон качества программ, т.е. определив условия, при которых реализация программы неизбежно приведет к высоким результатам.

Первый подход к оценке, обеспечивая сравнение учебных программ по их качеству, не обеспечит их оценки по отношению к максимально возможному для существующих условий, а значит и к максимально возможному уровню их качества. Он обеспечит выявление “лучших” по отношению к другим, но оценить, в какой мере их качество соответствует тому, как “должно быть”, он не позволит. Поэтому целям разработки нашей методики отвечает только второй подход к построению оценочных шкал.

Реализация нормативного (критериально-ориентированного) подхода к оценке учебных программ предполагает определение требований к тому, какой должна быть эта учебная программа. Откуда эти требования могут быть взяты? Из существующей практики их получить нельзя. Эти требования следует искать в науке. Но очевидно, что так же, как на вопрос: “Какая педагогическая система самая лучшая”, - может быть дано множество ответов, в отношении эталона учебной программы может быть предложено множество вариантов, претендующих на то, чтобы быть признанными в качестве “лучшего”.

Из сказанного следует, что при выборе нормативной модели учебной программы должно быть обосновано, что она имеет преимущества перед другими существующими моделями.

Модель, которую может быть принята в качестве эталона (нормы) учебной программы должна отвечать следующим требованиям:

она должна быть теоретически обоснованной;

она должна быть обобщенной, т.е. не быть привязанной к какой-то одной педагогической системе;

она должна определять требования к форме и содержанию учебной программы;

она должна определять отношение между содержанием программы и результатами обучения.

На этой основе полагается выделить критерии оценки учебной программы по бизнес-образованию, которые позволяют определить ее качество и построить оценочные шкалы.

Под учебной программой понимается единство целей, содержания и технологии обучения. Ведущим элементом в этой триаде является цель программы.

Разработчики данной методики полагают, что оценка программы должна давать ответы на два главных вопроса:

i целесообразна ли ее реализация;

i возможна ли она в имеющихся условиях?

В образовательных организациях учебная программа выполняет несколько функций:

- обеспечивает получение конечного результата по основной деятельности, являясь средством организации учебного процесса;

- обеспечивает экономическую эффективность деятельности;

- обеспечивает конкурентоспособность организации на рынке образовательных услуг.

Направления оценки учебных программ должны соответствовать основным ее функциям и давать информацию о том, насколько успешно та или иная программа способна их реализовать.

Максимально успешной будет та краткосрочная учебная программа в сфере бизнес-образования, которая по своему содержанию соответствует наиболее актуальным потребностям слушателей, отражая ведущие тенденции развития сектора малого бизнеса вообще и своей территории, в частности; имеет значительные конкурентные преимущества за счет своей уникальности, качества обучения или стоимости; обеспечивает относительно более высокую реализуемость и экономический эффект за счет отсутствия жестких ограничений по своей «пропускной способности», в требованиях к квалификации преподавателей, исходной подготовке слушателей и материально-техническому обеспечению учебного процесса; позволяет получить образовательные результаты наиболее высокого уровня. При этом качество образовательных результатов будет достигаться за счет того, что цели учебной программы будут зафиксированы с необходимой детальностью, предлагаемые способы оценки конечных и промежуточных результатов позволят однозначно оценить степень их достижения, содержание программы полностью соответствует поставленным целям обучения, заявленная педагогическая технология максимально обеспечивает получение желаемых результатов.

В соответствии с этими представлениями о наиболее высокой функциональной эффективности учебной программы был выделен набор критериев ее оценки.

6. Критерии оценки программ

Оценку учебных программ для сферы малого бизнеса предлагается осуществлять по следующим критериям:

1. Актуальность программы

2. Конкурентоспособность программы

3. Определенность конечных целей (ожидаемых результатов) обучения.

4. Контролируемость конечных результатов программы

5. Контролируемость промежуточных результатов программы

6. Соответствие содержания обучения его целям

7. Соответствие технологии обучения его целям

8. Уровень требований к подготовке слушателей

9. Уровень требований к квалификации преподавателей

10. Уровень требований к материально-техническому обеспечению

11. Производительность программы

Актуальность программы понимается как степень превышения спроса на обучение по данной программе над предложением на рынке образовательных услуг.

Конкурентоспособность программы - это ее способность быть более привлекательной для потенциальных потребителей, чем аналогичные программы, предлагаемые на рынке образовательных услуг.

Определенность конечных целей (ожидаемых результатов) обучения - это характеристика уровня детальности определения в программе тех конечных результатов обучения, которые предполагается получить на выходе реализации программы.

Контролируемость конечных результатов программы - это характеристика того, в какой мере предусматриваемые программой способы оценки результатов ее реализации позволяют сравнить их с целями обучения.

Контролируемость промежуточных результатов программы - это характеристика того, в какой мере предусматриваемые программой способы оценки промежуточных результатов ее реализации позволяют контролировать соответствие хода обучения его целям.

Соответствие содержания обучения его целям - это характеристика, отражающая степень возможности получить желаемые результаты обучения, заявленные в программе, в случае реализации данного содержания обучения.

Соответствие технологии обучения его целям - это характеристика, отражающая степень возможности получить желаемые результаты обучения, заявленные в программе, при предусмотренной программой технологии обучения.

Уровень требований к подготовке слушателей - это характеристика, вероятности того, что потенциальные потребители программы (ее потенциальные слушатели) смогут соответствовать требованиям, предъявляемым ею к их исходной подготовке.

Уровень требований к квалификации преподавателей - это характеристика того, насколько высокие требования предъявляет программа к профессиональной подготовке преподавателей.

Уровень требований к материально-техническому обеспечению - это характеристика, того насколько высокие требования предъявляет программа к материально-техническому обеспечению учебного процесса.

Производительность программы - это показатель числа слушателей, которые одновременно могут проходить обучение по данной программе с точки зрения оптимизации учебного процесса.

7. Шкалы оценки

Актуальность программы предлагается оценивать по шестипозиционной шкале, по которой наивысшей позицией является позиция «спрос значительно превышает предложение», соответствующая высокой актуальности учебной программы. Наиболее низкой позицией считается позиция «спрос отсутствует», демонстрирующая низкую актуальность учебной программы для слушателей. Остальные позиции располагаются между ними в порядке убывания оцениваемого параметра: «спрос несколько превышает предложение», «спрос примерно равен предложению», « «спрос несколько ниже предложения», «спрос значительно ниже предложения».

Конкурентоспособность программы предлагается оценивать по шестипозиционной шкале, по которой наивысшей позицией является позиция «конкурентов нет или программа имеет преимущества перед всеми конкурентами», соответствующая высокой конкурентоспособности учебной программы. Наиболее низкой позицией считается позиция «программа не конкурентоспособна», показывающая полное отсутствие каких-либо преимуществ перед аналогичными программами других авторов. Остальные позиции располагаются между ними в порядке убывания оцениваемого признака: «программа имеет преимущества перед большинством конкурентов», «программа имеет преимущества примерно перед меньшей частью конкурентов», «программа не имеет преимуществ перед своими конкурентами, но и не уступает большинству из них», «программа не имеет преимуществ перед своими конкурентами и уступает большинству из них».

Определенность конечных целей (ожидаемых результатов) обучения предлагается оценивать по шестипозиционной шкале, по которой наивысшей позицией является позиция «цели обучения (ожидаемые результаты) определены с необходимой степенью детальности», соответствующая высокой определенности конечных целей учебной программы. Наиболее низкой позицией считается позиция «цели обучения не определены», демонстрирующая максимальную степень неопределенности целей обучения. Остальные позиции располагаются между ними в порядке убывания оцениваемого параметра: «цели обучения в небольшой части определены недостаточно детально», «часть целей обучения определены детально и примерно такая же часть - не детально», «цели обучения в большой части определены недостаточно детально», «цели обучения определены лишь в общем виде».

Контролируемость конечных результатов программы предлагается оценивать по пятипозиционной шкале, по которой наивысшей позицией является позиция «предусматриваемые программой способы оценки результатов ее реализации позволяют однозначно оценить степень достижения всех параметров целей обучения», соответствующая высокой контролируемости конечных результатов учебной программы. Наиболее низкой позицией считается позиция «не существует возможности проверить, соответствуют ли результаты обучения по данной программе ее целям», демонстрирующая полную невозможность проконтролировать, какие результаты получены после обучения по данной программе. Остальные позиции располагаются между ними в порядке убывания оцениваемого признака: «предусматриваемые программой способы оценки результатов ее реализации позволяют однозначно оценить степень достижения большинства параметров целей обучения», «предусматриваемые программой способы оценки результатов ее реализации позволяют однозначно оценить степень достижения меньшей части параметров целей обучения», «в программе не определены способы оценки степени достижения целей обучения, но в принципе такая оценка может быть сделана».

Контролируемость промежуточных результатов программы предлагается оценивать по четырехпозиционной шкале, по которой наивысшей позицией является позиция «степень определенности промежуточных целей и предусмотренные программой способы оценки промежуточных результатов обеспечивают достаточные возможности для эффективного контроля хода обучения», соответствующая высокой возможности для контроля промежуточных результатов обучения. Наиболее низкой позицией считается позиция «промежуточные результаты обучения не контролируемы», показывающая полное отсутствие возможности отследить достижение промежуточных результатов обучения. Остальные позиции располагаются между ними в порядке убывания оцениваемого параметра: «степень определенности промежуточных целей и предусмотренные программой способы оценки промежуточных результатов не в полной мере обеспечивают возможности контроля хода обучения», «степень определенности промежуточных целей и предусмотренные программой способы оценки промежуточных результатов обеспечивают лишь небольшие возможности контроля хода обучения».

...