Оценка результативности обучения педагогов МБОУ "СОШ № 56" города Чебоксары

Результатами бизнес-тренинга могут быть:

* повышение индивидуальной эффективности за счет практического усвоения технологий, методов, умений;

* осознание индивидуальных и организационных возможностей и ограничений;

* исследование происходящих в компании, в отрасли, в регионе, в стране, в мире явлений;

* создание новых подходов, концепций, миссии, стратегии и т.п.;

* оптимизация в компании коммуникаций, управления, взаимодействия и др.;

* формирование общности - развитие личных отношений, эмоционального климата, группового единства [Марченкова, Белогай, 2010].

Исследования показывают, что до 90 % выученного на тренинге материала постепенно забывается, и сотрудники применяют лишь 10-20% из полученного [Змеев, 2002]. Причины этого различны: оправдались ли ожидания участников, соответствовал ли тренинг реальной потребности в обучении, поддерживаются ли изменения в компании после тренинга и т.д.

Увеличить результативность обучения поможет правильно организованная система посттренингового сопровождения - система работы с персоналом, направленная на поддержание позитивных тренинговых эффектов и обеспечивающая применение знаний, умений, навыков, качеств, полученных участниками на тренинге, в ходе повседневной профессиональной деятельности.

Посттренинг может проводиться в формате семинара, мастерской, повторения фрагментов тренинга, коучинга и наставничества, электронной переписки с тренером, внедрения дистанционного курса и др.

Таким образом, современные исследователи сходятся в том, что обучение должно быть обусловлено, прежде всего, потребностями организации в профессионально компетентных кадрах. Особенности обучения взрослых людей диктуют необходимость тщательного отбора форм и методов обучения. На первый план все больше выходит внутриорганизационное обучение, среди которого наиболее распространенной формой является тренинг.

1.5 Факторы результативности обучения персонала

Существуют разные точки зрения относительно факторов, влияющих на результативность обучения.

Так, М.В. Антропова [Антропова, 2001] выделяет следующие: повышение квалификации персонала непосредственно на рабочем месте; обучение за счет средств организации и для целей организации; учет интересов, потребностей и затруднений конкретных работников; наличие особой рефлексивной среды, обеспечивающей саморазвитие и самообразование работников.

Другие исследователи [Saks, Haccoon, 2010] выделяют шесть основных факторов, влияющих на результативность проводимого обучения.

1. Отношение к поддержке проводимого обучения со стороны руководства организации.

2. Отношение участников к обучению.

3. Корпоративная и организационная культура организации (включая общий морально-психологический климат в организации).

4. Программа обучения (содержание, соответствие потребностям заказчика).

5. Профессионализм преподавателя.

6. Условия осуществления (организация) процесса обучения.

Остановимся на них подробнее.

Отношение к поддержке проводимого обучения со стороны руководства организации. Отсутствие серьезного, продуманного подхода к организации обучения со стороны руководства организации, позитивного представления предстоящего обучения перед сотрудниками с целью формирования в них положительной мотивации может свести на нет все усилия преподавателя и привести к неуспеху даже самую хорошую программу обучения. Организация обучения, как правило, начинается с определения потребностей в обучении, затем разрабатывается определенная идея - концепция обучения в соответствии с целями и стратегией развития организации в целом. Эта ведущая идея может быть основана либо на развитии определенных конкретных компетенций работников, необходимых для их успешной работы, либо в целом на стратегических целях развития организации. Руководителям следует задать себе следующие вопросы: как мы относимся к обучению сотрудников: как к необходимости или полагающемуся, но не слишком важному процессу? Насколько четко определены цели предстоящего обучения? Как проконтролировать применение сотрудниками полученных знаний, умений и навыков и как это отразится на их работе? Как укладывается предстоящее обучение в систему работы с персоналом в целом в организации? Только такой подход способен обеспечить успех предстоящей обучающей программе.

Отношение участников к обучению. Мотивация сотрудников к обучению - мощный фактор его успеха. Руководству организации следует тщательно проанализировать потенциал сотрудников, цели, которые они ставят перед обучением, их отношение к обучению вообще, продумать возможные способы формирования положительной мотивации. А также соотнести личные цели работников с целями развития всей организации.

Корпоративная и организационная культура организации. Успех обучающей программы во многом зависит от того, какие корпоративные ценности приняты в организации и какие отношения между сотрудниками сложились. Руководству и организаторам обучающей программы необходимо подумать над тем, как в организации относятся к инновациям, к ошибкам и неуспеху сотрудников, насколько сотрудники внутренне готовы к изменениям, какова степень доверия и поддержки внутри коллектива и т.п.

Программа обучения. Абсолютно очевидно, что успех в обучении персонала будет иметь та программа, которая максимально адаптирована к целям и потребностям развития организации, учитывает результаты предварительной диагностики слушателей, имеет хорошо проработанные содержание, структуру, методы преподавания и т.п.

Профессионализм преподавателя. От профессиональных и личных качеств преподавателя также во многом зависит успех обучающей программы.

Организация процесса обучения. Здесь важны все детали предстоящего обучения: количество человек в группе, их состав, оптимальное расписание занятий, хорошие бытовые условия проведения обучения и т.п. Большое значение имеет также система посттренингового сопровождения обучающихся.

Таким образом, на основании анализа точек зрения различных авторов, нами была признана наиболее полной совокупность факторов результативности обучения, выделенная А.М. Саксом и Р.Р. Хакконом [Saks, Haccoon, 2010], влияние которых при проведении оценки результативности обучения и было исследовано в магистерской диссертации.

1.6 Основные подходы и методы оценивания результативности обучения в современной отечественной практике

Все перечисленные взгляды исследователей на цели, задачи, модели и факторы результативности обучения персонала (в том числе педагогических работников) предполагают, что его результативность заключается не столько в объеме полученной информации, сколько в профессионально-личностном росте специалиста, качественном сдвиге его профессионального мышления. Анализ литературы по данному вопросу показал, что лишь некоторые авторы пытаются разработать соответствующие подходы и методы оценки результативности обучения. Рассмотрим некоторые из них.

Оценивать обучение крайне важно. Только так можно решить, стоит ли дальше использовать обучающую программу, понять, в каком направлении следует совершенствоваться в будущем, что еще необходимо сделать для того, чтобы оправдались затраченные ресурсы.

В общем виде оценить результативность обучения можно, сравнив реальные результаты обучения с целями, которые были поставлены перед обучением с использованием установленных критериев [Серых, 2011]. Для владельцев предприятий, высших исполнительных руководителей и предпринимателей этими целями являются:

* повышение производительности, эффективности и прибыли;

* получение общих конкурентных преимуществ;

* увеличение доли рынка и активов компании.

Для руководителей высшего звена:

* повышение эффективности управления компанией и производительности, осуществление изменений и новых проектов;

* совершенствование коллективной работы и процессов;

* разработка новых средств для достижения корпоративных целей.

Для менеджеров компаний:

* новые перспективы в карьере;

* новые методы решения задач;

* увеличение числа клиентов и более полное удовлетворение их потребностей.

Для работников организаций:

* совершенствование условий труда;

* более активное участие в процессах принятия решений;

* более эффективное использование личного потенциала;

* большее удовлетворение от трудовой деятельности.

Для общества:

* вклад в экономическое благосостояние страны;

* увеличение поступлений в бюджет;

* новые пути решения проблем.

В своих трудах Максимова Т.М. [Максимова, 2011] выделяет следующие виды оценки результативности обучения. Она разделяет оценочный процесс на две стадии: оценку знаний во времени и оценку знаний, полученных в результате обучения.

1. Оценка во времени.

Оценка до обучения проводится с целью определения текущего уровня знаний сотрудников, а также для проведения в последующем анализа изменений, которые будут происходить в процессе обучения и по его завершении. Способы и методы оценки -- опрос участников, тестирование, кейсы.

Оценка в процессе обучения (особенно если оно состоит из нескольких циклов) позволяет внести необходимые коррективы в обучающую программу, уделить больше внимания трудноразрешимым профессиональным проблемам. Способы и методы оценки -- наблюдение, кейсы, оценка домашних заданий, анкета по итогам отдельного занятия.

Оценка после обучения проводится в последний день тренинга. Это помогает участникам понять, чему они научились, и проанализировать, для решения каких профессиональных задач применимы полученные знания. Способы и методы оценки -- опрос участников, анкета (или вопросник), кейсы.

Итоговая оценка проводится через два-три месяца после обучения для определения круга знаний, закрепившихся в системе мировоззрения обученных сотрудников. Способы и методы оценки -- экзамены, тесты, кейсы.

2. Оценка знаний.

Оценка теоретических знаний. Изучается и анализируется степень усвоения базовых знаний, без которых в дальнейшем невозможно качественное выполнение работниками своих должностных обязанностей.

Оценка практических навыков. Анализируется опыт сотрудника, сформировавшийся на основе полученных и применяемых знаний.

При этом важно закрепить полученные результаты посредством использования соответствующих форм сопровождения (таблица 1).

Таблица 1 - Формы посттренингового сопровождения

Задачи	Формы посттренингового сопровождения
Повторение материала, пройденного во время тренинга	Мини-тренинг или мини-лекция (повторение фрагментов основного тренинга). Качественные раздаточные материалы в бумажном и электронном виде. Аудио / видеозапись семинара. Книги по теме. Подборка методических материалов по теме
Закрепление знаний, умений, навыков, полученных в процессе обучения. Индивидуальная работа сотрудников	Тестирование в форме вопросника. Выполнение практических заданий. Кейсы со сложными проблемами. Наставничество. Ротация
Работа над ошибками. Адаптация полученных знаний и методик к реальной ситуации. Групповая работа сотрудников	Совместный разбор трудных ситуаций. Групповые дискуссии на злободневные темы. Анализ успешных и неуспешных случаев в работе. Ролевые игры. Интернет-форум для обмена мнениями

Сорока В.А. [Сорока, 2010] рассматривает четыре критерия, составляющие единый комплекс оценки результативности внутрифирменного обучения в рамках модели профессионального развития (рисунок 1):

«Оценка процесса» - оценка эффективности обучения строится на основе оценочных действий по сравнению сегодняшних достижений с прежними. Осуществляется оценка процесса развития личностных качеств и динамика изменений, происходящих непосредственно с индивидуумом. Оценку осуществляет как сотрудник, так и руководитель, являющийся инициатором обучения.

«Оценка цели» - оценка строится на основе сравнения достижения внутренне ожидаемых целей обучения в плане приобретения новых, качественных знаний, их практической применимости в повседневной работе и фактически приобретенных знаний. Оценка может проводиться на основе ожиданий прошедшего обучение сотрудника или ожиданий его руководителя.

«Оценка удовлетворенности» - оценка обучения осуществляется с точки зрения интереса и удовлетворенности участием в обучающем процессе или организацией процесса обучения.

«Оценка результата» - эффективность обучения включает оценочные действия сравнения экономических, статусных и др. показателей, обусловленных проводимым обучением. Осуществляется оценка достигнутого результата по социально значимым параметрам: производительность труда, статус, повышение зарплаты.

Данные четыре критерия отражают варианты единого комплекса психологической оценки эффективности внутриорганизационного обучения в рамках модели профессионального развития.

Критериями результативности внутриорганизационного обучения выступают [Сорока, 2010]:

1. удовлетворенность процессом обучения;

2. индивидуальная значимость результатов обучения;

3. достижение ожидаемой (планируемой) цели обучения;

4. социальная значимость результатов обучения.

Разночтение параметров результативности внутриорганизационного обучения возникает из-за смены критериев во время проведения процедуры оценки. Руководители часто проводят оценку обучения для подчиненного персонала по критерию «социальная значимость результатов обучения», а для себя производят оценку по критерию «индивидуальная значимость результатов обучения».

Процесс оценки результативности обучения усложняется еще и тем, что по каждому из критериев респонденты проводят оценочные действия в зависимости от внутренних, применяемых сотрудником измерительных значений - «градуированных делений» [Сорока, 2010]. В качестве «градуировки» применяются:

* удовлетворенность участником программой обучения;

* удовлетворенность процессом обучения руководителем обучающегося сотрудника;

* индивидуальная относительная норма респондента;

* достижение ожиданий участника обучения;

* достижение ожиданий руководителя обучающегося сотрудника;

* социальная относительная норма, транслируемая компанией или обществом.

Поэтому содержательный класс оценки результативности внутриорганизационного обучения имеет много вариантов итоговой оценки. При этом варианты совпадения позиций в оценке результативности обучения будут в случае применения и руководителем, и сотрудником, прошедшим обучение, не только одинаковых психологических критериев при оценке результативности обучения, но и единых измерительных значений. Возможные совпадения и разногласия в оценке результативности одного и того же внутриорганизационного обучающего мероприятия обусловлены применением для оценки респондентами разных психологических критериев результативности [Сорока, 2010].

Перечисленные критерии имеют важное теоретическое и практическое значение для понимания принципов, на которых базируется оценка заказчиками и участниками обучающих мероприятий, программ обучения и всей работы центров внутриорганизационного обучения.

Ужакина Ю.Б. предлагает разделить показатели результативности обучения на три группы [Ужакина, 2009]:

1 группа - показатели оперативной деятельности системы обучения и развития в целом. Они «параметризуют», оцифровывают ее, демонстрируют ее габариты, например, какое количество сотрудников было обучено, сколько проведено программ, какой был выделен бюджет. К результативности обучения они не имеют никакого отношения.

2 группа - ключевые показатели эффективности системы обучения и развития в компании (отдела, департамента или одного сотрудника, занимающихся обучением персонала). Эти показатели показывают, как отдел обучения и развития использует вверенные ему ресурсы, например, как быстро он реагирует на запрос бизнеса и создает программу, которая решает бизнес-задачу, или насколько внутренние клиенты довольны сервисом структуры обучения и развития.

3 группа - показатели результативности конкретных программ обучения и развития (курсов, тренингов). Они показывают, полезны ли программы, которые создает и проводит отдел обучения и развития, для бизнеса. Показатели оперативной деятельности системы обучения и развития персонала относятся прежде всего к внутренним специалистам по обучению.

Какой бюджет на обучение освоен, сколько человек обучено («покрытие» персонала обучением), сколько методов обучения и развития используется - это не про эффективность, а про деятельность. В отрыве от других показателей эти ровным счетом ничего не стоят.

Показатели результативности программ обучения и развития (курсов, тренингов) включают специфические для каждой организации бизнес-показатели, т.к. тренинги и семинары проводятся в компаниях для решения конкретных бизнес-задач (по крайней мере, так должно быть). Поэтому в данную группу метрик входят

? текучесть персонала;

? индекс удовлетворенности клиентов компании;

? показатель абсентеизма персонала;

? частота несчастных случаев;

? индекс удовлетворенности персонала;

? привлечение новых клиентов (индекс притока новых клиентов);

? повышение производительности;

? рост доли рынка компании;

? сокращение издержек;

? и другие бизнес-показатели, важные для компании на настоящий момент.

Серых Е.О. [Серых, 2011] при оценке результативности обучения рекомендует прояснить ситуацию с помощью следующих вопросов:

используют ли сотрудники полученную информацию;

как конкретно, когда и где они ее используют;

в какой степени они ее используют;

как можно повысить эффективность использования такой информации?

Ответы на эти вопросы можно получить путем анкетирования, проведения фокус-групп, анализа результатов работы после обучения, наблюдения за работой сотрудников.

Жилина А.И. обосновывает следующие группы методов для оценивания результативности обучения педагогических работников: качественные, количественные и комбинированные [Жилина, 2006].

К качественным методам относятся изучение документации, биографическое описание, деловые характеристики, устный отзыв, обсуждение и дискуссии, посещение и анализ уроков и внеклассных мероприятий, самоанализ педагогической деятельности.

К группе количественных относятся методы с числовой оценкой показателей. Среди них выделяют метод коэффициентов и балльный метод (корреляции, анкетирование, диагностика, тестирование и др.).

К комбинированным относятся методы, позволяющие применять положительные стороны количественных и качественных методов, их интеграцию и совмещение в зависимости от цели оценивания. Кроме того, к комбинированным методам причисляются разнообразные методы экспертных оценок, комбинации количественных и качественных методов, специальные тесты.

Очевидно, что многие из сформулированных выше А.И. Жилиной методов оценки результативности обучения педагогов аналогичны применяемым в бизнес-среде.

Оценка результативности обучения педагогов актуальна в свете того, что в современном обществе обучение в течение всей жизни становится необходимым и все более значимым элементом современных образовательных систем, позволяющим постоянно повышать качество компетенций, используемых в педагогической деятельности. Происходит переход от традиционной системы накопления знаний, необходимых для «жизни», к новой образовательной парадигме, в основе которой лежит непрерывное саморазвитие личности, достижение ею успеха в профессиональной деятельности и карьере. Реализация новой образовательной парадигмы требует кардинальной модернизации традиционной педагогической системы, предусматривающей серьезную перестройку организационной, учебно-методической, воспитательной деятельности. Это возможно только при условии переподготовки педагогических кадров, что требует разработки соответствующих образовательных модулей повышения их квалификации и методов их оценки.

Рассмотрим взгляды Баженова И.И и Уваровской И.В., которые для более эффективной реализации переподготовки педагогов предусмотрели научно-методическое и дидактическое обеспечение образовательных модулей, их информационную поддержку, что позволило работать со слушателями в интерактивном режиме, с учетом их готовности и зрелости [Баженов, Уваровская, 2011].

Для проверки результативности реализации образовательных модулей авторы разработали индикаторы результативности курсов повышения квалификации педагогических работников, позволяющие осознавать результаты образовательного процесса. При этом элементы формирующего оценивания должны присутствовать на протяжении всей образовательной программы. С этой целью авторами были использованы групповая и индивидуальная рефлексии. Как показал опыт, это позволяет направить слушателей на осознание позитивного приращения, полученного во время занятий, а преподавателям увидеть свой результат и переосмыслить те недопонимания, которые были высказаны слушателями.

Ежедневное осознание результата собственного образования слушателями позволяет решать следующие задачи:

1) укрепление субъектной позиции;

2) повышение ответственности за собственные действия, собственную деятельность в течение дня;

3) проведение сопоставления целей и результата;

4) осознание внешней информации, которая стала поначалу просто усвоенной, а затем уже и осознанным собственным знанием;

5) осознание, что усвоенный прием, метод, технология, способ деятельности развили определенные способности;

6) осознание, что образовательный процесс в течение дня завершается результатом - позитивным изменением.

Для проверки результативности реализации образовательных модулей были разработаны и апробированы следующие методики:

выходная анкета;

информационное обеспечение ежедневной обратной связи слушателей по каждому дню курсов через онлайновые интернет-сайты курсов;

горизонты и ожидания в отношении курсов;

цветозапись настроения по каждому дню курсов;

радуга приращений;

круг критериев оценки;

технология тегирования.

Все курсы повышения квалификации начинались с того, что слушатели на отдельных листочках записывали свои горизонты и ожидания в отношении предстоящих курсов. Листочки (ФИО не указывается) приклеивались на плакат и зачитывались руководителем курсов.

Цветозапись настроения. В цветозаписи настроения слушатели ежедневно отмечают цветом на плакате свое настроение по прожитому ими дню курсов. Плакат вывешен в аудитории для всеобщего обозрения. Анализ эмоционального состояния слушателей позволяет преподавателям проанализировать собственную деятельность на занятии и помогает в подготовке к последующим занятиям.

Методика «Приращение - радуга» показывает уровни приращения по различным позициям.

Слушателям предлагалось оценить себя по следующим приращениям:

приращение в потребностях (появление нового интереса, появление нового самоопределения в профессиональной деятельности, появление новых целей);

приращение в собственных нормах (усвоенная новая информация о профессиональных правилах, усвоенная новая информация о требованиях, усвоенная новая информация о принципах, усвоенная новая информация о критериях собственной деятельности);

приращение в собственных способностях (через овладение новыми способами, через способы в профессиональной деятельности).

В качестве критериев оценки авторы использовали следующие показатели: новизна информации, общая атмосфера семинара, возможность использовать на практике полученные знания, эмоциональное состояние слушателей, возможность передать другим приобретенный опыт. Для этого на листе ватмана изображался круг, разделенный на отдельные равные сектора в количестве, соответствующем количеству оцениваемых показателей. В каждом секторе распределялись баллы от 0 до 100 (в центре). Круг наполнялся цветными точками, частота их распределения показывает наглядно общую оценку того или иного показателя.

Наибольшее значение авторы придают такому индикатору, как информационное обеспечение ежедневной обратной связи слушателей по каждому дню курсов через интернет-ресурсы курсов (сайт программы, портфолио программы, блоги программы). Для каждого потока курсов готовился отдельный сайт, к которому получают доступ все слушатели программы. Сайт открыт для коллективной работы на нем. Структура сайта включает: состав слушателей, преподавателей; регламент работы курсов; документацию и материалы курсов; работы участников курсов; мысли, впечатления, предложения и пожелания, отзывы слушателей; итоговую рефлексию слушателей и тьюторов; полезные ресурсы.

Такая информационная поддержка позволяет организовать открытый доступ к материалам курсов для всех желающих, в том числе и работодателей, направляющих слушателей на курсы. Все могут ежедневно знакомиться с оценкой проведения курсов слушателями и их отзывами, настроениями и делать это в интерактивном режиме.

Технология тегирования (фолксономия) широко используется сегодня в практике совместной категоризации информации. Суть ее состоит в том, что информация выделяется группой сотрудничающих людей с помощью ключевых слов или меток, которые называются тегами. При этом происходит актуализация основных моментов, терминов и понятий, что достаточно точно отражает совокупную концептуальную модель информации всей группы. Для оформления и визуализации результатов тегирования удобно использовать специализированные сервисы работы с тегами, такие, как wordle.net, tagxedo.com. Современные сетевые средства позволяют быстро обработать представленные теги и показать красиво построенное облако тегов с учетом частотной встречаемости каждого тега.

Все вышеназванные методики делятся на модернизированные авторами (выходная анкета; горизонты и ожидания в отношении курсов, цветозапись настроения по каждому дню курсов, круг критериев оценки, радуга приращений) и новые (информационное обеспечение ежедневной обратной связи слушателей по каждому дню курсов через сайты курсов и технология тегирования).

Анализ данных методик свидетельствует о том, что ожидания слушателей чаще реализуются в большем объеме, чем они ожидали. Предложенные выше индикаторы результативности обучения также позволяют определить уровень качества программы непосредственно по ее окончании.

Авторы также считают, что необходимо дальнейшее отслеживание результатов реализации программ повышения квалификации посредством осуществления опосредованного контроля по следующим индикаторам:

1. Коллективное и индивидуальное наполнение выпускниками курсов повышения квалификации контента на образовательном региональном портале КомиВики.

2. Создание и активная деятельность сообщества педагогических работников, реализующих информационные технологии в своей педагогической деятельности (совместные сетевые мероприятия, очно-дистанционные семинары и тренинги).

3. Проведение научно-методических конференций учителей общеобразовательных учреждений, учреждений среднего профессионального образования (СПО), преподавателей вузов, что помогает обеспечить общие подходы при большой вариативности, обмен опытом по использованию современных педагогических и информационных инструментов. Большой популярностью пользуется проект «Педагогические встречи» - ежегодный форум педагогических работников региона, проводимый в очном и дистанционном режиме.

4. Площадка программы Intel «Обучение для будущего». На базе площадки осуществляется не только подготовка будущих тьюторов, но и организуется посткурсовая подготовка и повышение квалификации тьюторского коллектива программы.

5. Организация серии открытых уроков с использованием различных сетевых сервисов. В качестве примера можно привести проект «Уроки в Волне», реализуемый на ресурсе Google Wave.

6. Сетевые семинары и очно-дистанционные семинары. Например, большой популярностью пользуется сетевой семинар «30х90». В нем принимают участие учителя России, Казахстана, Украины и Азербайджана. Формат семинара указывает на размер, указанный в названии проекта - 30-го числа каждого месяца участники семинара выходят на встречу в сети Интернет и совместно тестируют различные интернет-ресурсы, которые в дальнейшем могут стать полезными в педагогической практике и в дистанционном обучении. На региональном уровне стали популярны постоянно действующие семинары, проводимые в очно-дистанционном режиме в период школьных каникул.

Таким образом, современные исследователи сходятся в том, что обучение необходимо оценивать. Существуют разные подходы и методы оценки результативности обучения в современной отечественной практике, но все они базируются на схожих принципах: оценка обучения должна быть комплексной, основанной на сопоставлении различных индикаторов, среди которых обязательно должны быть оценены реальные результаты организации до и после обучения, степень достижения поставленных целей обучения, уровень профессиональных компетентностей работников.

1.7 Зарубежные подходы и методы оценки результативности обучения персонала

В зарубежной литературе и практике также существуют различные методы оценки результативности обучения персонала. Рассмотрим их подробнее.

В 1954 году была создана одна из самых известных моделей, подходящая как для оценки результативности тренинга, так и для оценки результативности процесса обучения вообще. Ее автором стал почетный профессор университета штата Висконсин (США) Дональд Киркпатрик [Kirkpatrick, 1998]. Он предложил разделять процесс обучения на четыре уровня, которые впоследствии и оценивать (рисунок 2). Таким образом, по его мнению, можно обеспечить применение полученных в процессе обучения новых навыков непосредственно на рабочем месте и, следовательно, добиться максимальных показателей от данного обучения.

Рисунок 2 - Уровни оценки результативности обучения

Уровень 1 - Реакция - какова реакция обучаемого на само обучение? Для оценки эффективности первого уровня могут быть использованы такие инструменты, как листы реагирования (анкеты комментариев, листы улыбок, анкеты реакции), интервью, фокус-группы.

Уровень 2 - Обучение - что обучаемый усвоил в процессе тренинга? Этот уровень предполагает оценку того, в какой мере усвоили участники новую информацию, сформировали ли они необходимые отношения, изменились ли и насколько их знания, установки под конец процесса обучения. Для количественного измерения прогресса в обучении используются специально разработанные опросники, задания и тесты. Инструментами, необходимыми для оценки второго уровня модели, являются: тест на знание изученного материала, лист проверки умений, составление плана действий, обучение других сотрудников.

Уровень 3 - Поведение - как сильно изменилось поведение обучаемого после прохождения обучения?- речь идет о применении полученных навыков и знаний на рабочем месте. В данном случае нужно определить, изменилось ли в результате обучения поведение его участников, применяют ли они что-либо из полученных навыков и знаний на своем рабочем месте. Инструменты оценки, использующиеся для третьего уровня, следующие:

· контрольный лист поведения;

· обзор поведения;

· обзор работы сотрудников на рабочем месте;

· проверка планов действий;

· обучение действиям;

· фокус-группы.

Д. Киркпатрик обращает внимание, что если изменения в поведении участников после обучения не произошли, то это абсолютно не означает, что тренинг был не результативен. Бывают такие случаи, когда не были созданы необходимые условия, и, следовательно, даже при позитивной реакции на тренинг поведение участников не изменилось. Поэтому при оценивании очень важно проверять наличие следующих условий:

· есть ли желание у участников изменить свое поведение;

· понимают ли участники, что и как нужно делать;

· создан ли соответствующий социально-психологический климат на рабочем месте;

· присутствует ли поощрение участников тренинга за изменение их поведения.

Уровень 4 - Результаты - насколько увеличилась эффективность компании как следствие прохождения обучения? Это оценка экономической эффективности обучения.

Четвёртый уровень Д. Киркпатрика не дает ответ на вопрос, стоил ли того тренинг. Модель Д. Киркпатрика хорошо разработана теоретически, это полноценная научная работа, но сам автор никогда не участвовал в практической оценке эффективности. Недостаток опыта внедрения модели привел к отсутствию в ней конкретных шагов и стандартов оценки.

В 1991 году Джек Филлипс (Jack Phillips) добавил в систему качественно новый - 5-й уровень - с названием возврат на инвестиции (ROI) [Киреев, Удовидченко, 2014]. Вопрос, который задается на этом уровне: оправдал ли тренинг вложенные в него средства? Пятый уровень, прежде всего, подразумевает, что при оценке результативности тренинга должен оцениваться конечный результат работы компании, а также затраты и прибыли компании. Такая дополненная модель особенно нравится акционерам и руководителям бизнес-организаций. Проблема в том, что многие тренинги, которые кажутся полезными для сотрудников, не проходят проверку на отдачу от инвестиций в них.

Другие методы оценки программ обучения [Шмаленбах,2007] выделились из того, что уже было разработано. Они нацелены

* на оценку тренинга вначале,

* после внесения изменений,

* на оценку той ситуации, в которой проводится тренинг или в которой такой тренинг необходим,

* на оценку результата тренинга и самого процесса обучения.

Целевой подход Тайлера (Tyler's Objectives Approach). Тайлер полагает, что одной из главных проблем в области образования является то, что образовательные программы «определяют свои цели нечетко». Под «целями» он имеет в виду задачи обучения. Этот целевой подход лежит в основе того, что предложил Тайлер. Его процесс оценки состоит из следующих шагов:

* постановка обширных целей и задач;

* классификация этих целей и задач;

* определение целей и задач в терминах поведения;

* поиск ситуаций, в которых можно проверить, насколько цели достигнуты;

* разработка или отбор техник оценивания;

* собирание данных, касающихся результативности обучения;

*сравнение данных о результативности обучения с данными о результативности достижения желаемых моделей поведения.

Различия в результативности должны вести к внесению изменений в программу, затем цикл оценивания повторяется. Это очень напоминает Уровень 3 модели Д. Киркпатрика, только гораздо подробнее. Исследователи полагают, что оценивание непосредственно тренинга/обучения начинается где-то между шагами 3 и 5. Однако поведенческие цели и задачи в рамках этой модели кажутся практически не связанными с результатами, влияющими на эффективность обучения в терминах ROI (возврат на инвестиции). О влиянии на модели поведения других факторов, таких как культура, структура, цели и т.д. у Тайлера ничего не сказано.

Прикладная теория Поля Кирнса (Paul Kearns) стремится упростить некоторые вещи и сделать их более практичными. П. Кирнс полагает: какую бы изюминку ни содержал процесс оценки, наиболее важным аспектом являются те вопросы, которые вы задаете. Кроме того, он считает, что в процессе оценки должна быть установлена некая исходная линия (т.е. которая поможет достоверно сравнить эффективность тренинга «до» и «после» проведения оценки); что некоторые тренинговые мероприятия должны быть из ряда здравоохранения и безопасности, как это предписано законодательством; что некоторые тренинги являются роскошью для компании и их отсутствие не принесет никакого вреда компании, команде или отдельному человеку независимо от профессии и эффективности работы; и что другие тренинги лишь доказывают, что их главной задачей является увеличивать эффективность компании.

Модель Скривенса (Scriven's Focus On Outcomes). Модель Скривенса, нацеленная на результат, требует внешнего оценщика, который не должен быть осведомлен о поставленных перед обучением целях и задачах. Он должен определить стоимость и ценность программы обучения на основе результатов.

С одной стороны, это удобно, особенно когда акцент ставится на результативности работы компании - проверить результативность программы проще тогда, когда перед глазами результативность отдельного сотрудника или результативность достижения поставленных целей. Но в этом случае могут возникнуть проблемы с необъективностью оценщика, а также с определением степени подробности проводимой оценки. Эта модель по определению не может предсказать результаты обучения и также не может использоваться для расчета коэффициента ROI, так как она практически не имеет отношение к определению корневых причин низкой результативности или нежелательных моделей поведения.

Модель Стафлебима CIPP (Stufflebeam). Аббревиатура расшифровывается следующим образом: Context evaluation (Контекстное оценивание), Input evaluation (Оценивание на входе), Process evaluation (Оценивание процесса) и Product evaluation (Оценивание продукта).

Модель Стафлебима CIPP известна как системная модель. Она состоит из четырех основных компонентов:

· Контекст - определяется цель, преследуемая аудиторией, а также определяются потребности, которые должны быть удовлетворены.

· Вход - определяются ресурсы, возможные альтернативные стратегии, а также определяется самый простой способ удовлетворить потребности, установленные выше.

· Процесс - оценивается, насколько хорошо выполняется разработанный план.

· Продукт - оцениваются полученные результаты, проверяется, были ли достигнуты цели, вносятся поправки: как следует разрабатывать план в следующий раз.

Интересно, что эта модель изучает и сам процесс, и его результат. Однако оценивание вероятных результатов непосредственно перед обучением не проводится, следовательно, модель не годится для оценки ROI без дальнейшей доработки. В отличие от моделей Дж. Филлипса и Д. Киркпатрика, в рамках данной модели требуется взглянуть на эффективность процесса, а это скорее относится к «валидизации», чтобы не путать с «оцениванием», т.е. акцент ставится на результате.

Cхема CIRO похожа на модель Стафлебима: Content evaluation (Оценивание контента), Input evaluation (Оценивание на входе), Reaction evaluation (Оценивание реакции), Outcome evaluation (Оценивание результата).

Модель CIRO, разработанная Бердом, охватывает несколько уровней модели Д. Киркпатрика, а именно уровень 1 и спорный уровень 4 в том случае, если результаты обучения выражены в терминах коммерческого эффекта. Основными компонентами являются Контент, Вход, Реакция и Результат. Во многих отношениях эта модель очень похожа на модель CIPP и, думается, точно так же «грешит» недостатком деталей и рекомендации по тому, как использовать каждый из четырех основных компонентов.

Натуралистический подход Губа (Guba's Naturalistic Approach) основывается на взаимном сотрудничестве заинтересованных лиц и на априорном доверии к качеству тренинга [Киреев, Удовидченко, 2015, с.36].

Модель V Брюса Аарона (Bruce Aaron's V Model). Основанием для нее служит тот же подход, который используется в области информационных технологий при разработке программного обеспечения.

Представьте букву латинского алфавита «V». Ее левая сторона символизирует анализ и разработку. Проходя ее сверху вниз, вы определяете свои «бизнес-потребности» (уровень 1), затем «требования к работе оборудования» (уровень 2) и «требования к эффективности работы сотрудников» (уровень 3). В самой нижней точке, где соединяются левая и правая половины, вы находите «результирующую эффективность». Правая сторона буквы символизирует измерение и оценку. Двигаясь сверху вниз, вы определяете «коэффициент возврата на инвестиции (ROI) / бизнес-результаты» (уровень 1). Двигаясь по ней сверху вниз, вы придете к «состоянию оборудования» (уровень 2) capability status', а затем к «влиянию человеческого фактора» (уровень 3). Продумывается связь между всеми элементами модели и парными элементами с разных сторон буквы-модели, стоящими на одном уровне. Фактически речь идет о симбиозе анализа и разработки, измерения и оценки. Модель V разработана для оценки ROI, тем не менее, не очевидно, что ROI и оценка могут быть спрогнозированы до внедрения решения; ценность модели становится спорной, даже в том случае, если использование модели после проведения мероприятия прояснит некоторые детали.

Таким образом, на основании изложенного в первой главе, можно сделать следующие выводы:

1. Современное обучение характеризуется следующими чертами:

- необходимостью непрерывного, в течение всей жизни, обучения сотрудников. Особенно актуально это требование по отношению к педагогическим работникам в силу творческого характера их труда и интенсивностью проводимых в системе образования реформ;

- появлением различных, в том числе альтернативных традиционным, моделей обучения взрослых (специалистов), направленных на их личностный и профессиональный рост;

- большей ориентацией на потребности развития современного общества;

- постепенным повышением внимания к внутриорганизационному обучению специалистов, ориентированному на потребности, цели и стратегию развития конкретной организации;

- все большим распространением различных моделей оценки результативности проводимого обучения.

2. Существующие в современном менеджменте разнообразные подходы и методы оценки результативности обучения можно свести к оценке двух составляющих обучения: оценке самого процесса обучения и оценке его результатов. Под результатами понимают и субъективные показатели (удовлетворенность участников обучения, фиксацию их поведения) и объективные показатели (качество полученных знаний, умений и навыков; различные экономические показатели деятельности организации). При этом исследователи анализируют ситуации «до» и «после» проведенного обучения. При определении результатов обучения особое внимание уделяется достижению поставленных перед обучением целей.

На основании изученных теоретических источников в главе 2 будет описана теоретическая модель и методология проведения исследования результативности обучения педагогов МБОУ «СОШ № 56» г. Чебоксары технологии формирующего оценивания.



2. Методология оценки результативности обучения педагогических работников МБОУ «СОШ № 56» города Чебоксары технологии формирующего оценивания

2.1 Постановка проблемы, цель и задачи исследования

Муниципальное бюджетное общеобразовательное учреждение «Средняя общеобразовательная школа № 56» города Чебоксары Чувашской Республики (далее - Школа) функционирует с 1990 года.

Количество обучающихся в 2015-2016 учебном году составило 1287 человек. Количество классов - 48, из них 26 обучаются на уровне начального основного образования; 21 - на уровне основного общего и один класс (30 человек) - на уровне среднего общего образования.

В школе осуществляется предпрофильная подготовка для обучающихся 9-х классов и профильное обучение на старшей ступени (11 класс). Ведущими профилями на протяжении многих лет являются социально-экономический и информационно-технологический. Предпрофильной подготовкой в 2015-2016 учебном году охвачен 101 обучающийся, профильным обучением - 30 человек.

Успеваемость по итогам 2014-2015 учебного года составила 99,9%, средний балл - 3,6. Качество знаний с разбивкой по уровням обучения составило в начальной школе - 50%, в средней и старшей школе - 36%. Сравнительные данные по успеваемости и качеству знаний за последние 3 года представлены в таблице 2.

Таблица 2 - Сравнительные данные по успеваемости и качеству знаний

Учебный год	Успеваемость, %	Качество знаний, %
	Начальная школа	Средняя и старшая школа	Начальная школа	Средняя и старшая школа
2012-2013	99,7	99,6	42	30,6
2013-2014	99,3	100	40	35,5
2014-2015	99,8	100	50	36

Таким образом, мы видим, что для средней и старшей школы характерно низкое качество знаний.

Одним из главных показателей рейтингования школ являются результаты единого государственного экзамена. Сравнительные данные по итогам ЕГЭ в Школе за последние 3 года представлены в таблице 3.

Таблица 3 - Сравнительные данные по результативности ЕГЭ

Учебные предметы	2012-2013	2013-2014	2014-2015
	Школа № 56	город Чебоксары	ЧР	Школа № 56	город Чебоксары	ЧР	Школа № 56	город Чебоксары	ЧР
Русский язык	63,1	71,3	67,5	63	70,1	66,9	73	71,5	69,2
Математика	55,5	61,2	56,8	44,3	49,9	47,1	53	54,3	51,2
Обществознание	60,7	67,6	64,1	53,1	58,1	55,5	60	61	58,7
История	60,8	67,9	64,7	42,1	54,6	50,4	43	54,3	53,1
Информатика	61,1	73,2	68,6	49,5	65,3	59,2	54	59,3	57,3
Физика	59,6	65,6	60,3	41,7	52,7	48,4	59	60,1	55,2
Биология	--	---	--	---	---	---	55	60,9	57,8
Химия	--	--	---	--	---	---	47	61,9	61,4
Английский язык	59,7	83,4	81,6	57	71,2	66,9	66	69,4	65,6

Таким образом, на основании данных таблицы 3 можно сделать следующие выводы: по всем учебным предметам, представленным в таблице, результаты Школы ниже средних по Чувашской Республике и значительно ниже средних по г. Чебоксары. Исключение составляют только результаты ЕГЭ по русскому языку в 2015 году; также можно отметить результаты 2015 года по обществознанию, физике и английскому языку, где средний балл по Школе чуть превышает аналогичный по республике, но по-прежнему остается ниже среднегородского. В целом, результаты ЕГЭ Школы нельзя считать удовлетворительными.

В рейтинге участия школ города Чебоксары во всероссийской олимпиаде школьников (ВОШ) по итогам 2014-2015 учебного года Школа заняла 27 место (из 61 школы). Сравнительные данные по результативности участия Школы во всероссийской олимпиаде школьников представлены в таблице 4.

Таблица 4 - Сравнительные данные по результативности участия Школы в ВОШ за последние 3 года

Учебный год	Количество призовых мест
	На муниципальном этапе ВОШ	На региональном этапе ВОШ
2012-2013	8	0
2013-2014	6	0
2014-2015	8	2

Таким образом, несмотря на некоторую положительную динамику за последние два учебных года, количество призовых мест Школы на разных этапах всероссийской олимпиады школьников остается крайне низким. В текущем 2015-2016 учебном году на муниципальном этапе ВОШ было получено всего 4 призовых места, т.е. произошло уменьшение количества призовых мест в два раза.

Результативность участия Школы в научно-практической конференции школьников (НПК) отражена в таблице 5.

Таблица 5 - Сравнительные данные по результативности участия Школы в НПК за последние 3 года

Учебный год	Количество призовых мест
	На муниципальном этапе НПК	На региональном этапе НПК
2012-2013	4	1
2013-2014	2	1
2014-2015	3	0

Данные таблицы 5 также свидетельствуют о низкой результативности участия Школы в научно-практической конференции школьников, особенно на региональном уровне. персонал педагогический работник чебоксары

В МБОУ «СОШ № 56» г. Чебоксары работает 106 человек, из них 79 педагогических работников, 7 человек административно-управленческого персонала и 25 человек вспомогательного и технического персонала. Количество учителей - 70, из них 20 человек имеют высшую квалификационную категорию (28,6%), 29 человек - первую (41,4%), 21 человек не имеют категорий (30%, или одна треть всех учителей). Результативность участия педагогических работников в профессиональных конкурсах отражена в таблице 6.

Таблица 6 - Результативность участия педагогов в профессиональных конкурсах

Учебный год	Конкурсы городского уровня	Конкурсы республиканского уровня	Конкурсы федерального уровня	Конкурсы международного уровня	Всего
	Кол-во участников	Кол-во призовых мест	Кол-во участников	Кол-во призовых мест	Кол-во участников	Кол-во призовых мест	Кол-во участников	Кол-во призовых мест	Кол-во участников	Кол-во призовых мест
2012-2013	3	0	9	9	2	2	0	0	14	11
2013-2014	0	0	7	7	0	0	0	0	7	7
2014-2015	0	0	3	3	1	1	0	0	4	4

Как видно из приведенной таблицы 6, количество учителей, принимающих участие в профессиональных конкурсах, из года в год снижается (почти в три раза за последние три года).

В 2015-2016 учебном году по решению администрации Школы не был осуществлен набор в десятые классы, в связи с чем уровень среднего общего образования в Школе представлен одним одиннадцатым классом (30 обучающихся). Причина - низкое качество успеваемости и качества знаний в старшем звене по сравнению со средним и начальным. В перспективе Школу ожидает реорганизация в основную школу, а затем и в начальную.

Таким образом, по ряду показателей Школа показывает достаточно низкие образовательные результаты.

Одним из путей решения данной проблемы представляется обучение педагогов Школы эффективным педагогическим технологиям, позволяющим повысить результативность Школы по ключевым показателям успеваемости и качества знаний. В связи с вышесказанным в 2014-2015 учебном году было принято решение об организации обучения педагогов 5-11 классов технологии формирующего оценивания как одной из самых действенных на пути улучшения образовательных результатов школ, по данным мирового опыта.

Школа регулярно отправляет своих педагогов на различные курсы повышение квалификации. Однако все они организуются, как правило, внешними организациями. Подобное обучение внутри школы, «без отрыва от производства», было проведено впервые. В связи с этим и возникла необходимость оценить его результативность. Такая оценка позволит:

а) выявить факторы, определяющие результативность внутриорганизационного обучения педагогов, организованного с учетом контекста Школы и потребностей самих учителей,

б) разработать рекомендации по выстраиванию дальнейшей стратегии Школы в области повышения квалификации педагогов.

Предмет исследования: результаты внутриорганизационного обучения педагогов.

Теоретический объект исследования: программа внутриорганизационного обучения педагогов технологии формирующего оценивания. Эмпирический объект исследования: педагогические работники МБОУ «СОШ № 56» г. Чебоксары.

Цель исследования: на основе проведения оценки результативности обучения педагогов МБОУ «СОШ № 56» г. Чебоксары технологии формирующего оценивания выявить факторы, повлиявшие на результативность проведенного обучения, и разработать рекомендации по повышению результативности внутриорганизационного обучения педагогических работников.

Задачи исследования:

Исследовательские:

§ дать системное описание объекта исследования;

§ обосновать исследовательскую модель и эмпирические индикаторы;

§ разработать инструментарий исследования;

§ провести исследование результативности внутриорганизационного обучения педагогов МБОУ «СОШ № 56» г. Чебоксары технологии формирующего оценивания;

§ провести анализ результатов исследования с целью выявления факторов, повлиявших на результативность внутриорганизационного обучения педагогов технологии формирующего оценивания.

Практические: разработать рекомендации по повышению результативности внутриорганизационного обучения педагогов Школы, соответствующего условиям и потребностям ее развития в условиях модернизации отечественной системы образования.

2.2 Исследовательские вопросы

Основной исследовательский вопрос:

Приводит ли внутриорганизационное обучение педагогов, выстроенное с учетом условий и потребностей развития Школы, а также потребностей учителей, к достижению высокого уровня его результативности?

Проверочные исследовательские вопросы:

1. При проведении внутриорганизационного обучения демонстрируют ли его участники, в целом, высокий уровень удовлетворенности от проведенного обучения?

...