Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Содержание

программа слушатель малый бизнес

Введение

1. Научно-методические основы оценивания краткосрочных учебных программ для среднего и малого бизнеса

2. Критерии оценки учебных программ

3. Шкалы оценки

4. Рекомендации по организации оценки учебных программ

Литература

Введение

Публичное обсуждение различных вопросов бизнес-образования на страницах периодической печати и специализированных изданий свидетельствует о наличии такой серьезной проблемы, как недостаточная информационная открытость рынка образовательных услуг.

Несмотря на то, что наиболее продвинутые образовательные организации отличаются большей доступностью и открытостью -- для привлечения потенциальных заказчиков они значительно шире применяют Интернет и другие современные коммуникационные средства, - даже у них не прослеживается механизм полноценной обратной связи с рынком. Так, например, как правило, в перечне предоставляемых сведений отсутствует информация о наличии независимой формализованной гарантии качества услуг -- через сертификаты качества профессиональных ассоциаций пользователей, путем предоставления достоверной и объективной информации о пост-программной работе с выпускниками и т.д. По мнению ассоциации менеджеров, недостаточно прозрачная среда деятельности лидеров рынка бизнес-образования формирует соответствующий стиль работы на всем рынке. По результатам исследования этой ассоциации, только 35% компаний, предлагающих тренинговые программы, предоставляет отчеты, содержащие прямые или косвенные сведения об эффективности предлагаемых программ. Таким образом, существующий механизм пока не удовлетворяет основному требованию рынка -- возможности рационального выбора продукта на основе сравнения его качества с независимыми консолидированными стандартами.

Специалисты отмечают, что сегодня на первый план выходит задача создания инструмента, дающего бизнес-сообществу, с одной стороны, возможность обоснованного выбора услуг на рынке бизнес-образования, с другой -- механизм коррекции этого рынка в соответствии с текущими потребностями и качеством реализуемых образовательных программ.

Поскольку в сфере краткосрочного бизнес-образования отсутствуют официально закрепленные стандарты, а также другие механизмы внешнего жесткого регулирования, специалисты придерживаются мнения, что основная ставка должна делаться на создание механизма саморегулирования рынка образовательных продуктов, который бы объединил поставщиков и потребителей данных услуг, экспертов и авторов программ, позволяя им добиться общей цели - повышения качества бизнес-образования. Необходимой составной частью этого механизма является информационная открытость. Для достижения этой цели предлагаются различные формы организации публичного мониторинга и анализа развития спроса (какие программы и в каком формате востребованы предпринимателями для развития своего бизнеса), мониторинг и анализ предложения (насколько образовательные программы соответствуют реальным потребностям бизнеса), выработка четких и прозрачных, принятых всеми участниками рынка, стандартов в области краткосрочного бизнес-образования.

Определенный вклад в создание необходимого инструмента для анализа и оценки образовательных программ призвана сделать предлагаемая методика.

1. Научно-методические основы оценивания краткосрочных учебных программ для среднего и малого бизнеса

Прежде чем приступать к оценке качества краткосрочных программ для сферы малого бизнеса, необходимо определить, что представляет собой учебная программа. От ответа на этот вопрос зависит то, какие характеристики программ следует рассматривать в процессе оценки, что считать их достоинствами и недостатками. Следует также иметь в виду, что учебные программы бывают различными.

Группа исследователей кафедры педагогики РГПУ им. Герцена предлагает следующую типологию учебных программ:

1. Ориентационные (их назначение - формирование личностных ориентаций обучающихся в той или иной области).

2. Фундаментальные, т. е. цель которых - освоение фундаментальных знаний в той или иной предметной области.

3. Прикладные, их ведущий смысл - создание условий для овладения обучающимися определенной совокупностью yмeний и способов действий.

4. Информационные, их предназначение - предоставить в распоряжение обучающегося поле информации в какой-либо облaсти.

Тип учебной программы фокусирует внимание на тaкoй важной характеристике, как ее целевое назначение. Краткосрочные программы бизнес-курсов для предпринимателей наиболее часто относятся к третьему или четвертому типу по приведенной выше классификации. В то же время, большинство научно-методических разработок, касающихся теоретических оснований построения учебных программ, сделаны применительно к фундаментальным программам.

Однако и в этом случае однозначного определения понятия «учебная программа» в настоящее время не выработано. Имеется целый ряд подходов, которые разрабатывались в педагогической науке. Например, П. Пидкасистый (Педкасистый П., 1995) считает учебную программу нормативным документом, в котором очерчивается круг основных знаний, навыков и умений, подлежащих усвоению по определенному учебному предметy. По мнению В. П. Беспалько (Беспалько В.П., 1989), учебная программа - это эскизная информационная модель педагогической системы, отражающaя цели обучения и воспитания, содержание предмета, дидактические процессы и организационные формы обучения. В. И. Гинецинский (Гинецинский В.И., 1992) сетует на то, что многие определения учебной программы не отражают важную ее характеристику, а именно способность отражать стратегию исследовательской деятельности педагога, стремящегося реализовать в структуре излагаемого учебного материала определенные идеи, представления о тенденциях развития соответствующей отрасли знаний, о технологиях формирования познавательной деятельности в процессе усвоения учебного материала.

По мнению В. И. Гинецинского, при разработке учебной программы необходимо:

1. Определить предметную область проектируемой учебно-познавательной деятельности, т. е.:

а) очертить круг объектов, вовлекаемых в познавательную деятельность;

б) задать перечень понятий, проблем и методов, с позиций которых выделенный круг объектов будет изучаться.

2. Сформулировать закономерности, которые должны быть усвоены в рамках учебной дисциплины.

3. Оценить отношения между компонентами системы знаний, связанными с описанием, объяснением изучаемых явлений, обонованием формулируемых закономерностей, с выполнением познавательных действий, предписаний.

4. Сформулировать общие положения, на знание которых будет опираться учебный предмет.

5. Сформировать перечень заданий, выполнение которых будет выступать критерием усвоения содержания учебного предмета.

Все это необходимо сделать с учетом познавательных возможностей обучающихся, которым адресуется программа.

Некоторое дополнительное представление об особенностях понимания сущности учебной программы различными представителями педагогической науки можно получить при анализе предлагаемых ее структур.

Как и в случае с определением данного понятия в современной педагогике не существует единого мнения об оптимальной структуре учебных программ, но все-таки имеются определенные принципы или традиции их построения. В письме Госкомитета РФ по высшему образованию дается один из вариантов структуры учебной программы:

Примерная npограмма учебной дисциплины должна содеpжать следующие разделы:

- титульный лист;

- пояснительную записку;

- примерный тематический план дисциплины;

- перечень основных знаний, умений и навыков, которыми должен владеть студент после изучения дисциплины;

- рекомендуемый перечень лабораторных работ и практических занятий;

- контрольные (тестовые) задания.

(Письмо Государственного комитета РФ по высшему образованию oт 4 октября 1995 г. № 09-34-139 ин 109-16 "О разработке учебно-программной документации по специaльностям среднего профессионального образования").

В работе Е. С. Заиp-Бек и Е. И. Казаковой "Педагогические opиентиры yсnеха" структура учебной программы имеет следующий вид:

- Целевое назначение программы.

- Ведущие теоретические идеи, на которых базируется данная программа.

- Ключевые понятия, важнейшие законы и закономерности, которыми оперируют и которые изучаются в данной программе.

- Содержательная характеристика курса (как вариант - подробное тематическое планирование).

- Проблемные вопросы теоретического характера, выступающие основой для рассмотрения во время занятий, и контрольныe проблемные вопросы, по которым должен уметь рассуждать каждый, освоивший данную программу.

- 3адачи и задания, решаемые no образцу.

- Задачи и задания творческого характера, то есть, задачи и задания, требующие самостоятельного поиска способа pешения.

- Обобщенные способы действия, обобщенные характеристикитики умения.

- Тестовые и контрольные задания (тeкyщий и итоговый контроль). Диагностические методики комфортности и затруднений.

- Литература, необходимая для освоения курса, - обязательная и дoпoлняющaя, при этом приводятся два списка: "для учителя" и "для ученика".

- Характеристика целесообразной методики пocтpoения куpca (перечисляются устойчивые организационные формы, дается oпиcание нетрадиционных форм nocтpoения занятий, приводятся рекомендации к прямой и обратной связи, характеризуются системы самообразования, возможность вариативность, диффе-ренцированный подход и т. д.).

- Характеристика временных и материальных ресурсов, необходимых для освоения курса.

- Кадровое обеспечение.

Программа должна быть дополнена пакетом более детально разработанных подпрограмм, обеспечивающих реализацию учебного курса: пакеты дидактических материалов, разработки конкретных занятий, тексты заданий, образцы работ, описание системы oцeнивания. (Е. С. Заиp-Бек, Е. И. Казакова, 1995).

По мнению авторов «Методических рекомендаций в помощь педагогу, работающему над автоpcкой образовательной npoгpaммoй», образовательная программа с необходимостью должна содержать следующие компоненты:

- пояснительную записку;

- учебно-тематический план;

- основную часть (краткое изложение процесса обучения с описанием технологии изучения учебного материала);

- описание условий для реализации программы;

- список литературы;

- конечный результат. (Методические рекомендации..., 1995).

Существуют определенные требования к тексту o6pазовательных программ, самыми существенными из которых можно считать следующие (Поиск, экспертиза, выбор, 1997).

Язык текста программы должен быть простым, четким и выразительным, в нeй неуместны длинные, запутанные предложения. Формулировки, определения должны быть лаконичными. Цитаты следует воспроизводить точно и сопровождать ссылкой с указанием автора источника, его названия, издательства, года издания и страницы.

Таким образом, настоящая, полноценная программа - это далеко не перечень тем, по которым будут проходить занятия с обучающимися. Программа - это достаточно сложная система, включающая в себя как содержательный, так и организационный, инструментальный, диагностический компоненты. Эффективность, учебной программы во многом зависит от того, как спроектировано взаимодействие этих компонентов, их сочетаемость, взаимодополняемость. Только в этом случае учебная программа по нaстоящему "работает", то есть помогает преподавателю достаточно быстро и качественно достигать поставленных целей обучения.

Из всех представленных подходов к пониманию сущности учебной программы наиболее продуктивным можно считать определение, данное В. П. Беспалько, поскольку только в нем упоминается цель обучения в качестве важного компонента учебной программы.

С точки зрения авторов настоящей методики оценки учебных программ, их следует рассматривать как единство целей, содержания и технологии обучения. Ведущим элементом в этой триаде является именно цель программы, поскольку она задает общее направление при отборе содержания и технологии обучения.

Цели - это ключевые результаты обучения. При определении целей нужно исходить из потребностей той группы обучающихся, ради которой организуется учебный курс. Однако для того, чтобы выполнять свои функции, цели обучения должны быть правильно определены.

Попытаемся определить, что значит «хорошо поставленная цель учебной программы». Это важно, поскольку с трактовкой понятия «цель» в психологической и педагогической литературе обнаруживается большая путаница. Когда, например, заявляют, что целью учебной программы является развитие личности обучающихся или же развитие их интеллектуальных способностей и полагают, что таким образом цель определена, то это серьезное заблуждение, поскольку до действительного определения цели еще долгий путь.

Все согласны с тем, что по своему смыслу цель - это образ желаемого результата действий. Однако прекраснодушные мечтания, прожекты и т. п. - тоже образы желаемого будущего. Цель отличается от них тем, что это образ результата, во-первых, с фиксированным временем и местом его получения (определенный во времени и пространстве), во-вторых, соотнесенный с возможностями его получения к требуемому сроку (т.е. реалистичный), в третьих, мотивирующий субъекта действовать в направлении его достижения (т.е. актуальный), в четвертых, - операционально определенный, заданный так, что всегда можно сравнить фактически полученный результат с ожидаемым (т.е. верифицируемый, контролируемый).

Хорошо поставленная цель должна обладать определенными свойствами. На рис. 1 представлена модель цели, определяющая ее основные отношения и свойства.

Рис. 1. Модель цели учебной программы

Отношение цель - потребность. Всякая цель как образ желаемого результата соответствует некой потребности и отражает ее в своем содержании. Это свойство цели будем называть актуальностью.

Отношение цель - возможность. Всякая цель не может быть достигнута, если для этого нет соответствующих условий. Содержание цели должно быть таким, чтобы соответствовать имеющимся технологиям, ресурсам и ограничениям. Это свойство цели будем называть реалистичностью.

Отношение цель - результат. Цель - есть образ желаемого результата. Этот образ должен быть таким, чтобы можно было сравнить желаемый и фактически достигнутый результаты. Свойство цели быть средством контроля будем называть контролируемостью.

Отношение цель - время. Цели бывают конечны или бесконечны во времени. Бесконечные цели - это идеалы. Практические цели всегда конечны. Но во всех случаях должен быть определен момент или интервал времени, когда цель должна быть достигнута. Это свойство цели будем называть временная определенность.

Отношение цель - место. Всякий желаемый результат должен быть получен в том или ином месте пространства. Свойство цели определять место получения желаемого результата будем называть пространственной определенностью.

Из приведенной модели следует несколько важных моментов, на которые необходимо обратить внимание.

1. Определение цели всегда предполагает ответ на вопрос о том, чьи потребности берутся для этого в качестве исходных. В одних подходах к определению целей учебной программы в качестве такого основания принимается «социальный заказ», в других - потребности «социализации человека», в третьих - «потребность передачи определенных знаний, формирования умений, навыков, способов действий у учащихся». Именно в этом пункте происходит качественное разделение различных образовательных моделей.

2. Определение желаемого результата образования должно обеспечиваться содержанием образовательной программы и технологией. Если, например, в качестве желаемого результата определяется «развитие способов деятельности», а технология обучения строится на принципах программированного обучения, то в этом случае цель будет нереалистичной.

3. Цель плохо определенна, если нет инструментария для соотнесения фактически полученного результата и желаемого. В этом случае цель не верифицируема, поскольку невозможно оценить соответствует или не соответствует ей полученный результат.

Выполнить приведенные выше требования к цели во многих случаях трудно, но не выполнение их означает, что мы плохо представляем себе, чего хотим достичь.

Таким образом, качественная учебная программа не может быть разработана без грамотного определения целей обучения.

Цель обучения, заявленная в учебной программе, выполняет для преподавателей разные функции (см. рис.2). Чаще всего, по их собственному мнению, она позволяет получить четкое представление о результатах обучения и помогает отбору его содержания.

Рис. 2. Оценка преподавателями роли цели в образовательной программе (по данным опроса преподавателей краткосрочных бизнес-курсов) ФПРПС в рамках данного проекта проводил обследование 30 образовательных учреждений, оказывающих услуги в сфере краткосрочного бизнес-образования, в шести регионах России, а именно в Москве, Екатеринбурге, Томске, Новгородской, Пермской и Тульской областях. Обследованием были охвачены по 5 образовательных структур из каждого региона. Социологическое исследование включало в себя проведение глубинного интервью с руководителями соответствующих образовательных учреждений, в ходе которого было определено их отношение к ситуации на рынке образовательных услуг, роли учебных программ в обеспечении эффективности деятельности их организаций и необходимости их оценивания, а также. анкетный опрос 120 преподавателей образовательных учреждений и 600 их слушателей, нацеленный на выявление современного состояния проблемы оценивания качества учебных программ краткосрочных бизнес-курсов.

Достижение целей обучения осуществляется посредством организации соответствующего учебного процесса, основными компонентами которого являются содержание и технология обучения. Следовательно, от того, в какой мере они отвечают поставленным целям, зависит эффективность учебного курса. Таким образом, определяется круг параметров, по которым следует анализировать качество программ.

Обычно, в ходе экспертизы учебной программы, оценивают ее актуальность (насколько она отвечает запросам сегодняшнего дня), рациональность (определены ли в ней цели и пути их достижения, позволяющие получить максимально положительный результат), целостность (в какой мере в ней присутствуют согласованность, взаимодействие, последовательность методов, форм и средств организации достижения цели) и контролируемость (указаны ли в ней конкретные прогнозируемые конечные результаты и способы их проверки) (Поиск, экспертиза, выбор. 1997).

Кроме того, для прогноза коммерческого успеха от реализации учебной программы важно иметь представление о ее преимуществах перед аналогами, о том, какие необходимы затраты на обучение со стороны образовательного учреждения, о масштабе целевой аудитории, а также о возможном числе одновременно обучающихся. В итоге, формируется образ идеальной учебной программы, который нашел свое отражение в предлагаемой Методике оценки:

Максимально успешной будет та краткосрочная учебная программа в сфере бизнес-образования, которая по своему содержанию соответствует наиболее актуальным потребностям слушателей, отражая ведущие тенденции развития сектора малого бизнеса вообще и своей территории, в частности; имеет значительные конкурентные преимущества за счет своей уникальности, качества обучения или стоимости; обеспечивает относительно более высокий уровень реализуемости и экономический эффект за счет отсутствия жестких ограничений по своей «пропускной способности», в требованиях к квалификации преподавателей, исходной подготовке слушателей и материально-техническому обеспечению учебного процесса; позволяет получить образовательные результаты наиболее высокого уровня. При этом качество образовательных результатов будет достигаться за счет того, что цели учебной программы будут зафиксированы с необходимой детальностью, предлагаемые способы оценки конечных и промежуточных результатов позволят однозначно оценить степень их достижения, содержание программы полностью соответствует поставленным целям обучения, заявленная педагогическая технология максимально обеспечивает получение желаемых результатов.

На этом основании разрабатываются критерии оценки учебных программ.

2. Критерии оценки учебных программ

Оценку учебных программ для сферы малого бизнеса предлагается осуществлять по следующим критериям:

1. Актуальность программы

2. Конкурентоспособность программы

3. Определенность конечных целей (ожидаемых результатов) обучения.

4. Контролируемость конечных результатов программы

5. Контролируемость промежуточных результатов программы

6. Соответствие содержания обучения его целям

7. Соответствие технологии обучения его целям

8. Уровень требований к подготовке слушателей

9. Уровень требований к квалификации преподавателей

10. Уровень требований к материально-техническому обеспечению

11. Производительность программы

Одним из существенных условий эффективной работы экспертов и получения надежных и валидных оценок является полная идентичность смыслового восприятия используемых понятий. Несмотря на то, что в состав предлагаемого комплекса критериев включены широко употребляемые термины, обеспечение их однозначности в контексте экспертизы краткосрочных учебных программ подготовки в сфере предпринимательства, требует пояснений относительно смысла, заложенного в каждый отдельный критерий.

Актуальность учебной программы в данной методике выражается через характеристики рыночного спроса на нее. Высокий уровень актуальности можно видеть там, где наблюдается превышение спроса на обучение по данной программе над предложением на рынке образовательных услуг.

Традиционно актуальность связывают с явно выраженными потребностями, либо с объективными тенденциями, которые могут быть еще не осознанны потребителями, но отражать их стратегические интересы. Однако на рынке образовательных услуг понятие актуальности может различаться в зависимости от сегмента этого рынка.

Специфика краткосрочных образовательных программ для предпринимателей связана с тем, что они представляют собой, по сути, систему «быстрого реагирования». В отличие от фундаментального бизнес-образования, которое призвано давать слушателям базовые системные знания, позволяющие понимать макроэкономические процессы как контекст, в котором действует предприниматель, а также знать собственно процессы организации, поддержания и развития бизнеса, краткосрочное бизнес-образование помогает восполнить пробел знаний в связи с актуальной проблемой. Считается, что долгосрочные и среднесрочные программы бизнес-образования должны давать знания, которые объективно необходимы слушателям, поскольку отражают основные законы экономики и тенденции развития предпринимательства как формы хозяйствования. Иногда руководители и преподаватели бизнес-школ сетуют на то, что отсутствует спрос на программы, которые объективно необходимы слушателям, по причине того, что эта необходимость не вполне ими осознанна. Например, пользуется популярностью подготовка маркетологов, которым передаются конкретные методики исследования рынков определенных товаров, но не популярен курс по стратегическому маркетингу, в то время, как эти знания существенно важнее для развития компаний.

В области краткосрочной подготовки субъективные ориентации потребителей играют определяющую роль. Слушатели знают свои проблемы, как правило, хорошо представляют цели обучения, и покупают именно те образовательные услуги, которые им действительно необходимы. В соответствии с сугубо практическими задачами строится и процесс обучения.

Именно поэтому в сфере краткосрочной бизнес-подготовки актуальность учебных программ можно с успехом определять по наличию спроса на них. Понятно, что факторы, влияющие на спрос, многообразны, однако, при прочих равных условиях, спрос будет больше там, где программа в большей степени соответствует образовательным потребностям клиентов.

Актуальность часто соотносят не только с содержанием подготовки, но и с используемыми технологиями, которые потребители достаточно уверенно связывают с теми результатами, которые можно получить в итоге обучения. Так, например, при сходной тематике, более востребованными бывают тренинги, чем традиционные курсы, где зачастую лекционные формы занимают основное время. Тренинговые программы изначально были ориентированы на быстрое и точечное развитие практических навыков действующих менеджеров, поэтому их авторы хорошо представляют область применения формируемых навыков, а слушателей привлекает именно возможность практического применения полученных результатов.

Конкурентоспособность программы - это ее способность быть более привлекательной для потенциальных потребителей, чем аналогичные программы, предлагаемые на данном рынке образовательных услуг.

Конкурентные преимущества учебной программы могут складываться за счет разных факторов - уникальности содержания, более высокого уровня преподавателей, низкой стоимости образовательных услуг, имиджа («бренда») образовательного учреждения и т.д. Потребители оценивают эти преимущества по мере доступности информации.

Что доступно оценке потребителей? Как правило, это цены, содержание, технологии, репутация фирмы. Иногда преподаватели, имя которых широко известно и которые реализуют авторские программы.

Надо отметить, что объективно выбор программ затруднен тем, что не только в российской практике, но и в западной традиции с понятием бизнес-образования связана некоторая неопределенность, корни которой лежат в неопределенности самого предмета, которому обучают. В учебных планах бизнес-школ присутствует практически все, что может пригодиться в подготовке управленческого решения: всякого рода учет, маркетинг, хозяйственное право, организационное поведение, человеческие отношения и персонал, управление операциями, компьютерные дисциплины, алгоритмы поиска решения на примере реальных ситуаций, возникающих в бизнесе (так, называемые, «кейсы»).

Рынок дополнительного краткосрочного образования характеризуется, в целом, более сознательным отношением клиента к обучению, более четким представлением о целях обучения, поскольку деньги платятся не за образование «впрок», а за знания "по потребности". Потребители здесь приучились понимать и формулировать, что именно им нужно, и отбирать соответствующие программы.

Поэтому основным фактором конкурентоспособности при краткосрочном обучении выступает актуальность, качество и цена учебных программ, то есть, характеристики самой услуги, а в базовом бизнес-образовании - имидж и рейтинг образовательного учреждения, то есть, относительный «вес» документа об образовании.

Более четкие формулировки целей делают сектор краткосрочных программ более структурированным и создают на нем необходимые предпосылки опережающего роста по сравнению с другими сегментами рынка. В отличие от базовых форм бизнес-образования (российской программы МВА и второго высшего образования), эти программы хорошо адаптируются к требованиям бизнеса и представляют пример классической реакции рынка на возникающий спрос. Другой стороной этого процесса является относительно более жесткая конкуренция, которая заставляет образовательные организации отслеживать тенденции, складывающиеся на своем локальном рынке образовательных услуг.

Специалисты отмечают, что, в целом, российский рынок бизнес-образования, так же, как и рынок бизнес-литературы, развивается в унисон с потребностями самого бизнеса: от универсальных специалистов - к узким профессионалам; от фундаментальных на узкоспециализированные книги, от общих «ликбезов» - к проблемным курсам и тренингам умений. К настоящему времени фундаментальные издания по финансам или экономике уже прочитаны, базовые курсы прослушаны. Сейчас специалистам нужны узкопрофильные издания и образовательные программы, причем преимущественно прикладного характера. Относительно более конкурентоспособными являются программы, подготовленные в максимальном приближении к реалиям российского бизнеса, рассчитанные на аудиторию, объединенную либо общей проблемой, либо отраслевой спецификой бизнеса. Отраслевая проблематика и корпоративные тренинги считаются наиболее конкурентоспособным продуктом на рынке краткосрочного бизнес-образования.

Кроме того, существенной особенностью этого сегмента рынка становится то, что конкурентные преимущества приобретают также те программы, которые не только находятся в русле углубления специализации, но и включают элементы консалтинга как необходимой составной части предоставляемых образовательных услуг, обеспечивая сопровождение клиента до начала и после завершения основной программы. Такой вариант приводит, как правило, к формированию устойчивых длительных связей между образовательными учреждениями и их клиентами, что усиливает конкурентные преимущества.

Настоящая методика оценки построена таким образом, что описанные два критерия обладают относительным приоритетом по сравнению со всеми остальными, что отражается в самом алгоритме вычисления общей результирующей оценке программы. Это обусловлено тем, что содержательно актуальность и конкурентоспособность составляют критериальный блок, непосредственно характеризующий позицию программы на рынке образовательных услуг в ее отношениях с потребителями (заказчиками) и с другими производителями услуг в сфере бизнес-образования, показывая возможность и реальность привлечения слушателей. Если программа не актуальна или не конкурентоспособна, то она не будет востребована потребителями, а значит, не имеет смысла ее более детальная оценка с учебно-методических позиций. Под не актуальные цели бесполезно выстраивать эффективный учебный процесс и добиваться качественных результатов обучения. Эти результаты могут быть никому не нужны. Именно поэтому в формуле используется произведение экспертных оценок по этим двум критериям. Если хотя бы по одному из данных параметров получен низший балл («0»), то формула вычисления результирующей оценки (последовательное перемножение) исключает получение позитивного результата оценивания даже при условии высоких накопленных баллов по остальным критериям. Таким образом, вводится своеобразный фильтр, позволяющий отсекать не конкурентоспособные и не актуальные (с позиций оценивающих) учебные программы.

Следующие 5 критериев (определенность конечных целей или ожидаемых результатов обучения; контролируемость конечных результатов программы; контролируемость промежуточных результатов программы; соответствие содержания обучения его целям; соответствие технологии обучения его целям) характеризуют учебную программу как научно-методический продукт, существенно влияющий на уровень реализации образовательного процесса и на итоговое качество результатов подготовки, безотносительно к содержанию целей образования. Эти критерии позволяют оценить программу как инструмент профессиональной педагогической деятельности, поскольку качественный инструмент всегда выступает необходимым условием получения качественных результатов. Понимание этих критериев в рамках данной методики не отличается от традиционных представлений (кроме категории цели, которая была подробно раскрыта выше), поэтому не требует специальных пояснений.

Определенность конечных целей (ожидаемых результатов) обучения - это характеристика уровня детальности определения в программе тех конечных результатов обучения, которые предполагается получить на выходе реализации программы.

Контролируемость конечных результатов программы - это характеристика того, в какой мере предусматриваемые программой способы оценки результатов ее реализации позволяют сравнить их с целями обучения.

Контролируемость промежуточных результатов программы - это характеристика того, в какой мере предусматриваемые программой способы оценки промежуточных результатов ее реализации позволяют контролировать соответствие хода обучения его целям.

Соответствие содержания обучения его целям - это характеристика, отражающая степень возможности получить желаемые результаты обучения, заявленные в программе, в случае реализации данного содержания обучения.

Соответствие технологии обучения его целям - это характеристика, отражающая степень возможности получить желаемые результаты обучения, заявленные в программе, при предусмотренной программой технологии обучения.

Последние 4 критерия (уровень требований к подготовке слушателей; уровень требований к квалификации преподавателей; уровень требований к материально-техническому обеспечению; производительность программы) дают возможность оценить реализуемость и потенциальную выгодность программы для образовательной организации. Все специфические требования, которые могут быть предъявлены к уровню квалификации преподавателей, уровню подготовленности слушателей, наличию материальной базы или технических средств обучения потенциально снижают вероятность эффективной реализации программы. Кроме того, чем меньше затраты на реализацию программы в связи с отсутствием особых требований к образовательному процессу, и чем больше пропускная способность программы в связи с отсутствием особых требований к подготовке слушателей и ограничений по количеству одновременно обучающихся (что связано с образовательной технологией), тем экономически более выгодной является учебная программа для организации.

Уровень требований к подготовке слушателей - это характеристика вероятности того, что потенциальные потребители программы (ее потенциальные слушатели) смогут соответствовать требованиям, предъявляемым ею к их исходной подготовке. Эта характеристика косвенным образом отражает величину потенциального спроса на данную образовательную услугу. Очевидно, что чем выше уровень требований, тем уже сегмент потенциальных потребителей, а значит, более вероятной становится ситуации нереализуемости программы в ее исходном варианте. Обратная сторона такой ситуации - это низкая доходность программы, поскольку она имеет уже заложенные ограничения по объему реализации услуг. Поэтому с точки зрения реализуемости и выгодности для организаций наиболее предпочтительным является отсутствие специальных требований к уровню подготовки слушателей.

Уровень требований к квалификации преподавателей - это характеристика того, насколько высокие требования предъявляет программа к профессиональной подготовке преподавателей. Эта характеристика является очень значимой в условиях локальных рынков образовательных услуг. Известно, что в бизнес-образовании, как и в самом бизнесе, не хватает специалистов высокой квалификации. Кадровый дефицит выражается в том, что одни и те же завоевавшие авторитет преподаватели читают свои курсы на многих площадках, поскольку подавляющее большинство образовательных структур в сфере краткосрочной подготовки работает по проектному принципу, формируя и приглашая команду преподавателей под определенный учебный курс. Естественная реакция рынка на создавшееся положение: потенциальные слушатели идут за ними туда, где обучение дешевле. Зависимость от доступности квалифицированных преподавателей и возможности вступать в ценовую конкуренцию, делает реализуемость учебной программы с точки зрения кадрового обеспечения весьма значимым фактором, и обуславливает необходимость оценки по предлагаемому критерию.

Уровень требований к материально-техническому обеспечению - это характеристика, того насколько высокие требования предъявляет программа к материально-техническому обеспечению учебного процесса. Понятно, что чем выше требования к техническому оснащению учебного процесса, к учебным аудиториям и иным материальным условиям, тем потенциально ниже вероятность реализуемости предлагаемой учебной программы. Здесь наблюдается та же самая обратно пропорциональная зависимость, как и в случае с другими видами ресурсов.

Производительность программы - это показатель числа слушателей, которые одновременно могут проходить обучение по данной программе с точки зрения оптимизации учебного процесса. Критерий тесно связан с используемой технологией обучения. По нему можно оценить, насколько существенные ограничения по количеству слушателей (а значит, и по доходу организации) накладывает предлагаемая технология. В общем случае, самые простые технологии, позволяющие одному преподавателю работать с неограниченной по численности аудиторией, являются самыми выгодными для организации с точки зрения экономической эффективности. Однако они не позволяют формировать практические умения, обеспечивать знания в деятельностной форме. Другой полюс - это игровые формы, в том числе с применением элементов консалтинга, где происходит обучение в процессе решения конкретных задач организации. Это вариант «штучных» услуг, имеющих, как правило, более ограниченный рынок потребителей, в отличие от массовой подготовки, и потенциально связан с большими ограничениями в комплексе условий, создаваемых для образовательного процесса. Поскольку в учебной программе закладывается определенная технология, оценка по данному критерию должна исходить из оптимальной «пропускной способности» при ее соблюдении.

Разработчики данной методики полагают, что итоговая оценка программы должна давать ответы на два главных вопроса: целесообразна ли ее реализация и возможна ли она в имеющихся условиях? Предложенный комплекс критериев позволяет провести экспресс-диагностику и дать ответы на эти два главных вопроса. При этом целесообразность оценивается как с позиции потенциального успеха на рынке, привлекательности для потребителей, так и с позиции выгодности для самого образовательного учреждения. Возможность определяется как с учетом разных требований к образовательному процессу, так и по его способности обеспечить желаемые цели обучения.

3. Шкалы оценки

Шкала оценок представляет собой методический прием, позволяющий экспертам распределять совокупность оцениваемых в соответствии с предложенным критерием объектов по степени выраженности общего для них свойства. Шкала оценки содержит определенное число градаций. Наиболее часто используются шкалы, имеющие от 5 до 11 градаций, которые могут быть в числовом выражении или же сформулированы словами. Например, для задачи определения уровня влияния факторов на выбор направления развития малого предприятия шкала оценки может иметь следующий вид: "не оказывает никакого влияния", "оказывает незначительное влияние", "оказывает среднее влияние", "оказывает существенное влияние", "влияет в максимальной степени". Это пример шкалы оценок с пятью градациями в словесной форме. В числовом выражении подобная шкала выглядела бы так: "Оцените уровень влияния факторов на выбор направления развития малого предприятия в баллах по следующей шкале 0, 1, 2, 3, 4, где 0 соответствует отсутствию всякого влияния, а 4 - максимальному влиянию фактора".

Выбор шкалы оценки производится с учетом специфики исследуемых объектов, цели исследования, критериев оценки, выбранного типа шкалы измерения и контингента специалистов, которых предполагается пригласить в качестве экспертов.

В предлагаемой методике оценки учебных программ были использованы порядковые шкалы. Порядковая шкала призвана классифицировать оцениваемые объекты по определенному признаку в соответствии с принципом «больше - меньше». В порядковой шкале, в отличие от номинальной, классификационные позиции образуют последовательность от позиции « самое большое значение признака» к позиции «самое малое значение признака» или наоборот. В порядковой шкале должно быть не менее трех классификационных позиций, соответствующих положительной оценке, отрицательной оценке и нейтральной (Сидоренко Е.В., 2002).

От классификационных позиций на порядковой шкале легко перейти к числам, если условиться, что низшая позиция получает балл 0, более высокая - 1 и т.д. Чем больше позиций на шкале, тем больше возможностей для математической обработки полученных данных. Единицей измерения в порядковой шкале является промежуток, равный одной позиции, при этом расстояние между соседними позициями может быть различным. Специфика данной шкалы оценивания не позволяет его определить.

Как показывает анализ научной литературы, касающейся проблем измерения и оценки качественных характеристик (Толстова Ю.Н., 1998), в настоящее время нет единой теории, содержащей принципы построения шкальных значений, адекватно отражающих реальность в тех или иных ситуациях; аппарат, позволяющий четко определять принципы интерпретации шкальных значений; ограничения допустимости конкретных способов анализа шкальных значений. Имеется много наработок, каждая из которых затрагивает какую-либо одну сторону вопроса. Специалисты (Толстова Ю.Н., 1998) выделяют несколько направлений в общей массе работ по проблемам измерения в гуманитарных областях: разработка методов одномерного шкалирования; изучение специфики эмпирических данных, выделение их типов; анализ понятия социологического измерения и разработка формализованной теории измерений; развитие многомерного шкалирования.

Для целей разработки методики оценки учебных программ наибольший интерес представляют методы одномерного шкалирования, поскольку их авторы стремились достичь следующих результатов: получить значения оцениваемой переменной так, чтобы были удовлетворены требования наличия адекватной реальности интерпретации этих значений; создать простой метод шкалирования, который можно применять для выявления мнений большого количества респондентов; обеспечить достаточно высокий уровень измерения, позволяющий применять традиционные «числовые» методы обработки данных.

В основу разработки шкал измерения критериев оценки учебных программ был положен метод Терстоуна (Толстова Ю.Н., 1998), предполагающий, что построенная шкала оценки отвечает индивидуальному восприятию каждым экспертом значений некоторого вполне объективно существующего признака. Эксперт, соглашаясь или не соглашаясь с определенным образом подобранными суждениями, как бы сравнивает свое мнение с мнениями, заключенными в них. При этом мнением эксперта считается то суждение из предложенных, с которым он себя ассоциирует.

При построении шкалы оценки было сформировано множество суждений, согласие или несогласие с которыми какого-либо респондента предположительно говорит о его мнении о качестве учебной программы. Для того, чтобы расположить эти суждения в определенной последовательности на шкале была использована модель поведения субъекта, опирающаяся в значительной степени на его когнитивный компонент, связанный с уровнем знаний эксперта в области теории обучения и дидактики, а также со степенью знакомства с оцениваемым объектом. Позиция эксперта на шкале определяется его оценкой близости учебной программы к заданному идеалу по данному критерию.

При выделении суждений, составляющих классификационные позиции на одной шкале, разработчики методики руководствовались требованиями, выделенными В.А. Ядовым (Ядов В.А., 1995), а именно: среди этих суждений не должно быть таких, которые не имеют отношения к оцениваемому объекту или с которыми могут согласиться люди, придерживающиеся противоположных взглядов; суждения должны быть однозначны и понятны; должны выражать сиюминутное отношение человека к объекту, которое не должно смешивать с отношением к нему в прошлом. Кроме того, суждения должны более или менее равномерно располагаться вдоль прямой. Другими словами, для каждого потенциального эксперта должно найтись место на оси, т.е. суждение, с которым он сможет согласиться. Следовательно, среди подобранных суждений должны быть такие, которые соответствуют высокой оценке, низкой оценке и средней оценке.

В результате были выстроены оценочные шкалы по всем критериям, содержащие от трех до шести классификационных позиций (см. п. Методики оценки..) . Позиции размещаются в направлении от наивысшей оценки к наиболее низкой. Для отдельных критериев были добавлены позиции, соответствующие ситуациям, когда невозможно сформировать определенное мнение о значении отдельной характеристики учебной программы из-за недостатка информации.

4. Рекомендации по организации оценки учебных программ

Эффективность оценки учебной программы зависит не только от надежности методического инструментария, но и от качества исходной информации. Достоверную информацию можно получить только, если оценивать учебную программу будут люди компетентные в данном вопросе, т.е. обладающие необходимым образовательным уровнем и квалификацией, позволяющими сформировать адекватное мнение о программе. Таким образом, качественная оценка учебной программы основывается на привлечении к этой деятельности экспертов. В этом случае наиболее эффективной организацией процедуры получения исходной информации является метод экспертной оценки.

Экспериментальное изучение надежности информации, получаемой при помощи метода экспертной оценки, показало, что при соблюдении правильной процедуры погрешность не превышает 5 -10%.

Правильность процедуры определяется соблюдением этапов проведения метода экспертной оценки:

1. формализация цели экспертизы и разработка процедуры получения исходной информации;

2. отбор и формирование группы экспертов;

3. проведение опроса экспертов;

4. анализ и обработка информации, полученной от экспертов;

5. синтез полученной информации и принятие решения.

Этап формализации цели экспертизы и разработки процедуры получения исходной информации

На первом этапе решаются следующие задачи:

определение проблемы, которую предполагается решить с помощью метода экспертных оценок, и условий использования экспертных оценок;

выбор критерия оценки и типа шкалы, по которым надлежит производить оценку объектов;

выбор процедуры опроса (совокупности операций, которые эксперты должны проделать над объектами с тем, чтобы выявить, зафиксировать и передать свои суждения).

В данном случае решение задач первого этапа организации экспертизы упрощается при помощи предлагаемой методики оценки учебных программ, в которой предлагаются цель, критерии, шкалы и процедура оценивания.

Этап отбора и формирования группы экспертов

На этом этапе решается задача подбора специалистов на роль экспертов и оценки уровня их компетентности.

Формирование экспертной группы начинается с составления списка, в который могут быть включены заказчики учебных программ (представители органов власти и управления, предпринимательских органихзаций), специалисты, занимающиеся разработкой и реализацией краткосрочных учебных программ в области бизнес-образования и др., что позволит определить в первом приближении круг лиц, претендующих на роль экспертов. Из этого списка следует выделить людей, отвечающих общим требованиям к экспертам. Эксперт должен быть компетентным в данной области, обладать общей эрудицией, аналитическим умом, а также чувствовать тенденции развития оцениваемых явлений.

Для начала работы со списком требуется определить необходимое и достаточное количество экспертов. Согласно правилам метода экспертного оценивания число экспертов в группе должно обеспечивать равноправное участие специалистов различных направлений и уровней, заинтересованных в решении задачи исследования.

Численность группы экспертов оказывает влияние на результаты оценки. Если группа слишком мала, то большое влияние на результат оказывают личные предпочтения специалистов, поэтому предпочитают иметь группу 5 - 7 человек. Однако в практике оценки учебных программ создать группу экспертов, оптимальную по численности, часто не представляется возможным. Наиболее вероятное количество привлекаемых экспертов не превышает 2 - 3 человек.

Отбор в группу экспертов можно осуществить несколькими методами: документальным, эвристическим, комбинированным. Документальный метод предполагает оценку претендентов на основе их послужного списка, тематики и содержания преподаваемых учебных курсов или печатных работ. (Статистические методы анализа экспертных оценок, 1977)

Эвристический метод предполагает выбор экспертов на основе самооценки и взаимооценки компетентности в исследуемой области. В целях самооценки претендентам предлагается небольшая анкета, в которой просят оценить свои знания, практический опыт по интересующей проблеме, а также способность предвидеть логику развития событий. Например, анкета может иметь вид таблицы (см. табл.1):

"Оцените, пожалуйста, насколько Вы знакомы с проблемой качества учебных программ в сфере бизнес-образования по следующим позициям":

Таблица 1.

Самооценка компетентности экспертов

	Высокий	Средний	Низкий
Уровень теоретических знаний
Практический опыт
Способность прогнозировать развитие рынка краткосрочного бизнес-образования

Оценке "высокий" присваивается балл 1, "средний" - 0,5, "низкий" - 0. По результатам оценивания высчитывается совокупный индекс компетентности претендента по формуле:

,

где К' - оценка теоретических знаний, К'' -оценка практического опыта, К''' - оценка способности претендента прогнозировать развитие рынка краткосрочного бизнес-образования.

Против фамилии каждого претендента указывают совокупный индекс компетентности. В группу экспертов отбирают специалистов, у которых значение индекса не ниже 0,5 (К > 0,5).

Взаимная оценка экспертов возможна, если они знакомы друг с другом. В этом случае они оценивают компетентность своих коллег по 10-балльной шкале с точностью до 0,5 баллов. Для каждого эксперта вычисляется средняя оценка по формуле:

,

где Кn - оценка отдельным коллегой отдельного претендента, N - общее число участников процедуры.

Взаимную оценку компетентности экспертов можно организовать с помощью процедуры выбора группы экспертов для обсуждения определенной проблемы из более широкого списка специалистов. В этом случае каждому претенденту предлагается выбрать определенное число наиболее компетентных специалистов по исследуемому вопросу из предоставленного списка. Выбор каждого специалиста заносится в таблицу (см. табл.2). Против номера или фамилии выбранного специалиста ставится 1, если же его не выбрали, то - 0.

...