Методика оценки краткосрочных программ бизнес-образования

Существующая практика оценки образовательных программ. Ошибки оценивания и способы их предотвращения. Проведение теоретической валидизации методики. Описание подходов к оценке качества краткосрочных учебных программ в сфере малого бизнеса, шкалы оценки.

Рубрика Педагогика
Вид дипломная работа
Язык русский
Дата добавления 12.10.2017
Размер файла 295,7 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Соответствие содержания обучения его целям предлагается оценивать по шестипозиционной шкале, по которой наивысшей позицией является позиция «содержание программы полностью обеспечивает возможность достижения заявленных результатов обучения», соответствующая высокой степени соответствия содержания обучения заявленным целям учебной программы. В равной степени наиболее низкими позициями считаются позиция «содержание программы полностью не соответствует заявляемым целям обучения», показывающая абсолютное расхождение целей учебной программы и содержания обучения, и позиция «невозможно дать оценку соответствия целей и содержания программы», показывающая, что при разработке и оформлении учебной программы были допущены недочеты, снижающие ее качество. Остальные позиции располагаются между ними в порядке убывания оцениваемого параметра: «содержание программы обеспечивает возможность достижения большей части заявляемых результатов обучения», «содержание программы обеспечивает возможность достижения примерно половины заявляемых результатов обучения», «содержание программы обеспечивает возможность достижения меньшей части заявляемых результатов обучения».

Соответствие технологии обучения его целям предлагается оценивать по шестипозиционной шкале, по которой наивысшей позицией является позиция «предусматриваемая технология обучения полностью соответствует целям программы», демонстрирующая высокую степень соответствия предлагаемой технологии целям обучения. Наиболее низкими позициями считаются позиция «предусматриваемая технология обучения полностью не соответствует целям программы», показывающая полное рассогласование между учебными целями и технологией обучения, а также позиция «невозможно дать оценку соответствия целей и предусматриваемой программой технологии обучения», отражающая недостатки представленного текста программы. Остальные позиции располагаются между ними в порядке убывания оцениваемого параметра: «предусматриваемая технология обучения в основном соответствует целям программы», «предусматриваемая технология обучения частично соответствует целям программы». «предусматриваемая технология обучения мало соответствует целям программы».

Уровень требований к подготовке слушателей предлагается оценивать по пятипозиционной шкале, по которой наивысшей позицией является позиция «почти все потенциальные потребители могут соответствовать требованиям, которые программа предъявляет к их исходной подготовке», демонстрирующая отсутствие необходимости отбора слушателей и искусственного сокращения числа потребителей соответствующих образовательных услуг. Наиболее низкими позициями в одинаковой степени считаются позиция «невозможно оценить уровень требований, предъявляемых к исходной подготовке слушателей», свидетельствующая о явном дефекте разработки и представления учебной программы, а также позиция «лишь немногие потенциальные потребители могут соответствовать требованиям, которые программа предъявляет к их исходной подготовке», указывающая на то, что уровень требований к подготовке слушателей существенно ограничивает число потенциальных потребителей образовательных услуг по данной программе. Остальные позиции располагаются между ними в порядке убывания оцениваемого параметра: «большинство потенциальных потребителей могут соответствовать требованиям, которые программа предъявляет к их исходной подготовке», «меньшая часть потенциальных потребителей может соответствовать требованиям, которые программа предъявляет к их исходной подготовке».

Уровень требований к квалификации преподавателей предлагается оценивать по четырехпозиционной шкале, по которой наивысшей позицией является позиция «реализация программы предъявляет невысокие требования к квалификации преподавателей», демонстрирующая, что большинство специалистов соответствующего профиля могут реализовать данную программу, а, следовательно, не возникнет проблем с заменой. Одинаково низкими позициями считаются позиция «для успешной реализации программы необходимы преподаватели с высоким уровнем квалификации», показывающая, что могут возникнуть трудности с реализацией программы по причине отсутствия специалистов необходимой квалификации, а также позиция «невозможно оценить уровень требований, предъявляемых программой к уровню квалификации преподавателя», свидетельствующая о недостаточном качестве при составлении программы. Между ними находится позиция «реализация программы предъявляет умеренные требования к квалификации преподавателей».

Уровень требований к материально-техническому обеспечению предлагается оценивать по четырехпозиционной шкале, по которой наивысшей позицией является позиция «программа предъявляет невысокие требования к материально-техническому обеспечению учебного процесса», демонстрирующая, что для организации обучения по данной программе не требуется дополнительных затрат на техническое оснащение учебного процесса. Наиболее низкими позициями считаются позиция «программа предъявляет высокие требования к материально-техническому обеспечению учебного процесса», показывающая, что не в каждом образовательном учреждении она может быть реализована, а также позиция «невозможно оценить уровень требований, предъявляемых программой к уровню материально-технического обеспечения», свидетельствующая о допущенных разработчиками программы просчетах. Срединной позицией является - ««программа предъявляет умеренные требования к материально-техническому обеспечению учебного процесса».

Производительность программы предлагается оценивать по трехпозиционной шкале, по которой наивысшей позицией является позиция «число одновременно обучающихся по данной программе не имеет жестких ограничений, оно может быть значительно больше 40 человек», соответствующая высокой производительности учебной программы. Наиболее низкой позицией считается позиция «оптимальное число одновременно обучающихся по данной программе не более 25 человек», демонстрирующая низкую производительность программы. Срединной позицией является - «оптимальное число одновременно обучающихся по данной программе не более 40 человек».

8. Организации сбора и обработки информации для оценки учебных программ

Процедура сбора исходной информации для оценки учебных программ должна быть организована в соответствии с требованиями метода экспертного оценивания. Реализация этих требований заключается в соблюдении следующей последовательности ряда этапов.

Прежде всего, необходимо определить, кто будет выполнять роль организатора экспертизы учебных программ. Это может быть представитель заказчика, руководитель образовательного учреждения или его заместитель по учебной части. Организатор обеспечивает правильность соблюдения процедуры сбора и обработки информации, обусловливающей надежность и достоверность получаемого результата. В задачу организатора экспертизы входит получение общей оценки учебной программы, которое осуществляется по следующему алгоритму.

1. Необходимо отобрать специалистов, подходящих на роль экспертов, в количестве не менее трех человек для оценки одной учебной программы. В оптимальном случае число экспертов всегда должно быть нечетным.

Эксперт должен отвечать следующим требованиям: он должен быть компетентным в области тематики оцениваемой программы, обладать общей эрудицией, аналитическим умом, а также чувствовать тенденции развития явлений. Он должен быть знаком не только с проблематикой, лежащей в основе содержания учебной программы, но и с основами дидактики, методики преподавания, педагогическими технологиями и т.д.

2. Каждому эксперту необходимо передать экземпляр оцениваемой программы, оценочный лист с соответствующей инструкцией (см. Приложение 1).

Необходимо убедиться в правильности понимания экспертом своей задачи. В случаях, когда у экспертов возникают вопросы по способу организации оценивания программы, следует обратить их внимание на содержание инструкции по заполнению оценочного листа. Необходимо избегать пространных разъяснений, дополнений и толкований положений этой инструкции, поскольку это может создать неравные условия в понимании задачи для различных экспертов.

Предлагаемая процедура заполнения оценочного листа позволяет каждому эксперту работать индивидуально. В этом случае требуется заранее оговорить срок возврата программы и заполненного оценочного листа. Кроме того, допускается вариант, при котором эксперты вырабатывают единую оценку программы по каждому из критериев в ходе совместного обсуждения. В этом случае в задачу организатора входит обеспечить условия для проведения группового обсуждения, включая подготовку помещения, ведение групповой дискуссии и фиксирование ее итогов.

3. После получения исходной информации необходимо ее обработать. В этих целях по таблице 1 определяются балльные оценки, которые приписываются программе по каждой ее характеристике в зависимости от выбранного варианта значения характеристики в оценочном листе.

Таблица 1.

Характеристики программы

Варианты оценок, выбранных экспертами в оценочных листах

а

б

в

г

д

е

1. Актуальность программы

5

4

3

2

1

0

2. Конкурентоспособность программы

5

4

3

2

1

0

3. Определенность конечных целей обучения.

5

4

3

2

1

0

4. Контролируемость конечных результатов программы

4

3

2

1

0

-

5. Контролируемость промежуточных результатов программы

3

2

1

0

-

-

6. Соответствие содержания обучения его целям

4

3

2

1

0

0

7. Соответствие технологии обучения его целям

4

3

2

1

0

0

8. Уровень требований к подготовке слушателей

4

3

2

1

0

-

9. Уровень требований к квалификации преподавателей

3

2

1

0

-

-

10. Уровень требований к материально-техническому обеспечению

3

2

1

0

-

-

11. Производительность программы

3

2

1

-

-

-

Для получения общей оценки программы:

1. Перемножаются балльные оценки по первой и второй характеристикам и делятся на 25 (произведение максимальных оценок по этим характеристикам).

2. Суммируются балльные оценки по всем остальным характеристикам и сумма делится на 33 (сумму максимальных оценок по девяти характеристикам).

3. Число, полученное при выполнении пункта 1, умножается на число, полученное при выполнении пункта 2 и из произведения берется кубический корень. Это будет интегральная оценка программы Ки .

0 Ки 1

Полученная интегральная оценка используется в двух ситуациях - при сравнении нескольких программ и выборе наиболее предпочтительной из них, а также при оценке уровня качества единичной программы.

В первом случае вывод делается при сравнении абсолютных значений интегральной оценки разных программ - чем оно больше, тем более предпочтительной можно считать соответствующую учебную программу.

Во втором случае вывод относительно качества учебной программы делается путем отнесения оцениваемой программы к одной из групп качества. В общем случае могут быть выделены 3 группы - высокого, среднего и низкого уровня. К первой группе относятся программы, интегральная оценка которых находится в диапазоне от 0, 75 до 1; ко второй группе - те, что получили оценку от 0,26 до 0,74; к третьей группе могут быть отнесены программы, получившие оценку 0,25 и менее.

Предложенные интервалы отражают среднестатистическое нормальное распределение по шкале «высокий - средний - низкий» уровень. В то же время границы между группами могут устанавливаться самими экспертами с учетом специфики рынка образовательных программ своей территории.

В случаях, когда эксперты работали коллективно, а организатор экспертизы фиксировал в оценочном листе общую оценку группы, вычисление интегральной оценки Ки является завершающей операцией в алгоритме сбора и обработки информации. На ее основе принимается решение по поводу оцениваемой программы.

При индивидуальной работе экспертов процедуру обработки исходной информации необходимо реализовать для каждого полученного оценочного листа.

В процессе обработки информации следует иметь в виду, что, если в оценочном листе имеются пропуски ответов, то это свидетельствует о том, что выбранный эксперт не обладает достаточной компетентностью для формирования мнения по данному вопросу. В этом случае его мнение по данному вопросу не учитывается и общая сумма (п.2) или произведение (п.1) должны быть уменьшены в соответствии с количеством вопросов, на которые был получен ответ.

Например, если эксперт не готов оценить актуальность учебной программы, тогда в вычислениях по п. 1 балльная оценка по второй характеристике делится на 5.

В случае, если эксперт не высказал мнение по пятой характеристике, при вычислениях по п. 2 суммируются балльные оценки по всем остальным характеристикам и сумма делится на 30 (33 - 3).

По пропущенным одним из экспертов характеристикам следует искать других экспертов отдельно.

Если же все эксперты пропустили какой-либо критерий оценки, то это говорит об изъянах в их компетентности. В этом случае необходимо задуматься о критериях отбора экспертов.

В случаях, когда эксперты работали индивидуально, получается некоторое множество интегральных оценок учебной программы, данных каждым отдельным экспертом. Далее необходимо вычислить единую оценку программы. В этих целях следует воспользоваться определением медианы оценок.

Медиана - это значение одной конкретной оценки, которая расположена в середине ряда частотного распределения оценок. Медиана показывает, что 50% оценок одного объекта имеют значение меньше и 50% оценок имеют значение больше, чем медиана. Если в частотном ряду оценок четное число членов, то медиана равна среднему арифметическому срединных значений оценок.

Для определения надежности оценки учебной программы необходимо оценить степень согласованности оценок экспертов. В этих целях вычисляется мера рассеивания. Мера рассеивания представляет собой отношение суммы числа оценок, совпадающих с медианой, а также числа двух соседних с медианой оценок (меньшей и большей), к общему числу оценок, выраженное в процентах.

где Мme - число оценок, совпадающих с медианой;

М- - число оценок, на одну единицу меньших, чем медиана;

М+ - число оценок, на одну единицу больших, чем медиана;

n - число оценок.

Если мера рассеивания больше 70%, то мнения экспертов хорошо совпадают, если значение меры рассеивания попадает в интервал от 40 до 70%, то - удовлетворительно, менее 40% - плохо.

Другим возможным способом оценки степени согласованности оценок экспертов может служить вычисление квартилей.

Если медиана делит частотный ряд на две равные части, то значение, которое делит этот ряд на 4 равные части, называется квартиль и обозначается Q. Медиана в этом случае представляет собой второй квартиль - Q . Нижний и верхний квартили (Q -25% всех оценок и Q - 75% всех оценок) рассчитываются как и медиана.

Чем больше согласованность мнений экспертов, тем надежнее полученная оценка учебной программы.

Библиография

Анастази А. Психологическое тестирование: В 2 кн. / Под ред. К. М. Гуревича, В. И. Лубовского. - М., 1982. - Кн.1. - С. 66-179.

Бурлачук Л. Ф. Психодиагностика. - СПб., 2003. - С. 105-107, 161-176.

Бурлачук Л. Ф., Морозов С. М. Словарь-справочник по психологической диагностике. -- Киев, 1989.

Гайда В. К., Захаров В. П. Психологическое тестирование. -- Л., 1982. Гуревич К. М. О надежности психофизиологических показателей // Проблемы дифференциальной психофизиологии. -- М., 1969. -- Т. 6.

Гохман О.Г. Экспертное оценивание. - Воронеж, 1996.

Гуревич К. М. Надежность психологических тестов // Психологическая диагностика. Ее проблемы и методы. -- М., 1975.

Гуревич К. М. Статистика -- аппарат доказательства психологической диагностики // Проблемы психологической диагностики. -- Таллин, 1977.

Гуревич К. М. Что такое психологическая диагностика. -- М., 1985.

Гуревич К. М. Проблемы дифференциальной психологии. -- М.; Воронеж, 1998. - С. 242-254, 256-272.

Носе И. Н. Введение в технологию психодиагностики. -- М., 2003. -- С. 83-98.

Общая психодиагностика / Под ред. А. А. Бодалева, В. В. Столина, 1987.-С. 15-17,53-90.

Основы психодиагностики / Под ред. А. Г. Шмелева. -- Ростов н/Д, 1996.-С. 131-156.

Основы прикладной социологии. - М., 1996.

Психологическая диагностика: Учебник для вузов / под ред. М.К.Акимовой, К.М.Гуревича. - СПб.: Питер, 2003.

Равен Дж. Педагогическое тестирование: Проблемы, заблуждения, перспективы. М. 1999.

Приложение

Инструкция по заполнению оценочного листа

Уважаемый эксперт!

Просим Вас оценить предлагаемую учебную программу по критериям, содержащимся в оценочном листе. Для этого внимательно прочитайте вопрос в оценочном листе. Выберите из предлагаемых вариантов ответов на него тот, который в наибольшей степени соответствует Вашему мнению о программе и отметьте его на оценочном листе любым удобным для Вас способом (обведите обозначающую его букву кружком, подчеркните, поставьте знак «Х» или «V» и т.п.). В случаях, если Вы готовы сформулировать свое мнение по какому-либо из вопросов, Вы можете пропустить этот вопрос.

Благодарим Вас за сотрудничество.

Оценочный лист эксперта

1. Актуальность программы

Каково соотношение между спросом и предложением обучения по такой программе на рынке образовательных услуг?

а) спрос значительно превышает предложение

б) спрос несколько превышает предложение

в) спрос примерно равен предложению

г) спрос несколько ниже предложения

д) спрос значительно ниже предложения

е) спрос отсутствует

2. Конкурентоспособность программы

Имеет ли оцениваемая программа преимущества, которые позволят ей конкурировать с аналогичными программами на рынке образовательных услуг ?

а) Конкурентов нет или программа имеет преимущества перед всеми конкурентами

б) Программа имеет преимущества перед большинством конкурентов

в) Программа имеет преимущества примерно перед меньшей частью конкурентов

г) Программа не имеет преимуществ перед своими конкурентами, но и не уступает большинству из них

д) Программа не имеет преимуществ перед своими конкурентами и уступает большинству из них

е) Программа не конкурентоспособна

3. Определенность конечных целей (ожидаемых результатов) обучения

Насколько в оцениваемой программе детально определены цели обучения?

а) Цели обучения (ожидаемые результаты) определены с необходимой степенью детальности

б) Цели обучения в небольшой части определены недостаточно детально

в) Часть целей обучения определены детально и примерно такая же часть - не детально

г) Цели обучения в большей части определены недостаточно детально

д) Цели обучения определены лишь в общем виде

е) Цели обучения не определены

4. Контролируемость конечных результатов программы

В какой мере предусматриваемые программой способы оценки результатов ее реализации позволяют однозначно оценить степень достижения целей обучения?

а) Предусматриваемые программой способы оценки результатов ее реализации позволяют однозначно оценить степень достижения всех параметров целей обучения

б) Предусматриваемые программой способы оценки результатов ее реализации позволяют однозначно оценить степень достижения большинства параметров целей обучения

в) Предусматриваемые программой способы оценки результатов ее реализации позволяют однозначно оценить степень достижения меньшей части параметров целей обучения

г) В программе не определены способы оценки степени достижения целей обучения, но в принципе такая оценка может быть сделана.

д) Не существует возможности проверить соответствуют ли результаты обучения по данной программе его целям.

5. Контролируемость промежуточных результатов программы

Насколько определены и контролируемы промежуточные цели обучения?

а) Степень определенности промежуточных целей и предусмотренные программой способы оценки промежуточных результатов обеспечивают достаточные возможности для эффективного контроля хода обучения

б) Степень определенности промежуточных целей и предусмотренные программой способы оценки промежуточных результатов не в полной мере обеспечивают возможности контроля хода обучения.

в) Степень определенности промежуточных целей и предусмотренные программой способы оценки промежуточных результатов обеспечивают лишь небольшие возможности контроля хода обучения.

г) Промежуточные результаты обучения не контролируемы

6. Соответствие содержания обучения его целям

В какой мере содержание программы обеспечивает возможность достижения ее заявляемых целей?

а) Содержание программы полностью обеспечивает возможность достижения заявляемых результатов обучения

б) Содержание программы обеспечивает возможность достижения большей части заявляемых результатов обучения

в) Содержание программы обеспечивает возможность достижения примерно половины заявляемых результатов обучения

г) Содержание программы обеспечивает возможность достижения меньшей части заявляемых результатов обучения

д) Содержание программы полностью не соответствует заявляемым целям обучения

е) Невозможно дать оценку соответствия целей и содержания программы

7. Соответствие технологии обучения его целям

В какой мере технология обучения, предусматриваемая программой, обеспечивает возможность достижения целей обучения?

а) Предусматриваемая технология обучения полностью соответствует целям программы

б) Предусматриваемая технология обучения в основном соответствует целям программы

в) Предусматриваемая технология обучения частично соответствует целям программы

г) Предусматриваемая технология обучения мало соответствует целям программы

д) Предусматриваемая технология обучения полностью не соответствует целям программы

е) Невозможно дать оценку соответствия целей и предусматриваемой программой технологией обучения

8. Уровень требований к подготовке слушателей

Насколько высокие требования предъявляет программа к исходной подготовке слушателей?

а) Почти все потенциальные потребители могут соответствовать требованиям, которые программа предъявляет к их исходной подготовке

б) Большинство потенциальных потребителей могут соответствовать требованиям, которые программа предъявляет к их исходной подготовке.

в) Меньшая часть потенциальных потребителей могут соответствовать требованиям, которые программа предъявляет к их исходной подготовке.

г) Лишь немногие потенциальные потребители могут соответствовать требованиям, которые программа предъявляет к их исходной подготовке.

д) Невозможно оценить уровень требований, предъявляемых к исходной подготовке слушателей

9. Уровень требований к квалификации преподавателей

Насколько высокие требования предъявляет программа к квалификации преподавателей?

а) Реализация программы предъявляет не высокие требования к квалификации преподавателей

б) Реализация программы предъявляет умеренные требования к квалификации преподавателей

в) Для успешной реализации программы необходимы преподаватели с высоким уровнем квалификации

г) Невозможно оценить уровень требований, предъявляемых программой к квалификации преподавателей

10. Уровень требований к материально-техническому обеспечению

Насколько высокие требования предъявляет программа к материально-техническому обеспечению учебного процесса?

а) Программа предъявляет не высокие требования к материально-техническому обеспечению учебного процесса

б) Программа предъявляет умеренные требования к материально-техническому обеспечению учебного процесса

в) Программа предъявляет высокие требования к материально-техническому обеспечению учебного процесса

г) Невозможно оценить уровень требований, предъявляемых программой к уровню материально-технического обеспечения

11. Производительность программы

Какое оптимальное число слушателей одновременно может проходить обучение по данной программе?

а) Число одновременно обучающихся по данной программе не имеет жестких ограничений, оно может быть значительно больше 40 чел.

б) Оптимальное число одновременно обучающихся по данной программе не более 40 чел.

в) Оптимальное число одновременно обучающихся по данной программе не более 25 чел.

Размещено на Allbest.ru

...

Подобные документы

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.