Эффективность внутрифирменного обучения

Условия эффективного обучения персонала, оценка эффективности внутрифирменного обучения. Показатели, характеризующие профессиональные знания, установки и рабочие навыки работников. Подходы и методы оценки эффективности обучения персонала на предприятии.

Рубрика Менеджмент и трудовые отношения
Вид лекция
Язык русский
Дата добавления 08.04.2020
Размер файла 248,1 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Лекция

Эффективность внутрифирменного обучения

Условия эффективного обучения персонала

Среди важнейших условий, соблюдение которых обеспечивает успех обучения персонала, можно в первую очередь выделить следующие:

· обеспечение слушателей полной и своевременной обратной связью;

· практическая отработка получаемых знаний и навыков;

· перенос приобретенных знаний и навыков в рабочие условия;

· востребованность результатов обучения;

· формирование и поддержание высокой мотивации к обучению;

· учет исходного уровня знаний обучающихся.

Рассмотрим их более подробно.

Обеспечение слушателей полной и своевременной обратной связью. Обратная связь необходима обучающимся для того, чтобы они имели представление о достигнутом прогрессе, а если возникают затруднения, понимали их характер, источники и причины возникновения, а также знали, что можно предпринять, чтобы избежать их в будущем.

Обратная связь в процессе обучения выполняет три основные функции:

· дает информацию о результатах усвоения учебного материала и об успехе в освоении рабочих навыков;

· подкрепление нужных действий, желаемого поведения;

· повышение мотивации к обучению.

Польза обратной связи определяется тремя факторами: своевременностью обратной связи, ее полнотой и качеством.

Для того чтобы обеспечить высокое качество такой обратной связи, комментарии или замечания о выполненном действии должны быть:

· сбалансированными, следует отмечать не только просчеты, ошибки или недостатки, но и успехи, и достижения обучающегося;

· конкретными, а не даваться в общем виде; комментарии должны точно указывать, что обучающийся понял или сделал хорошо, правильно, в чем он ошибся, с чем связана эта ошибка, что и как именно им следует улучшить;

· связаны с результатами, достигнутыми в ходе обучения, а не носить форму личных выпадов, задевающих самоуважение и достоинство обучающихся;

· конструктивными, т.е. не только указывать на то, что сделано плохо, а содержать рекомендации, как улучшить результаты или исправить допущенную ошибку.

Практическая отработка получаемых знаний и навыков. Практика - это возможность уже в ходе занятий проработать полученные в ходе учебы знания и навыки в ситуациях, максимально приближенных к тем, с которыми обучающимся приходится сталкиваться в процессе своей профессиональной деятельности.

Отработка и закрепление полученных в результате обучения знаний, навыков и умений может проводиться в разных формах.

Распределенная практика перемежается с отдыхом или с другими видами деятельности. Исследования показывают, что промежутки между периодами практики должны постепенно увеличиваться, и по мере введения нового материала необходимо обеспечивать повторение старого.

Концентрированная практика - это такая практика, когда периоды переключения на другие виды деятельности практически отсутствуют. Ясно, что такая практика требует меньше времени, чем распределенная. В этом случае процесс закрепления обеспечивается высокой интенсивностью практической отработки на рабочем месте знаний, навыков и умений, полученных в результате обучения.

Перенос приобретенных знаний и навыков в рабочие условия. Ключевым вопросом при подготовке любой программы обучения и при использовании любого метода обучения является вопрос о том, смогут ли обучающиеся использовать приобретенные знания и навыки в своей работе. Если знания и навыки, полученные в одной ситуации, можно успешно использовать и в другой ситуации (при выполнении другой работы), то говорят, что имеет место позитивный перенос.

Возможен также нейтральный и негативный перенос. Нейтральный перенос имеет место тогда, когда то, что было изучено и освоено в одной ситуации, неприменимо в другой ситуации. При негативном переносе освоенное поведение, навыки или изученный материал оказывают отрицательное воздействие на результаты деятельности в другой ситуации.

Создание условий для позитивного переноса - это один из наиболее важных аспектов при подготовке и проведении любого обучения. Для лучшего переноса на рабочие ситуации знаний и навыков, освоенных обучающимися в процессе обучения, следует обеспечить следующие условия:

· сходство между содержанием обучения и содержанием профессиональной деятельности, что позволяет уже в ходе занятий теснее увязывать изучаемый материал с опытом, установками и ценностями слушателей;

· избыточность обучения, то есть знания и навыки, освоенные в ходе обучения, должны быть несколько шире того, что потребуется в реальной рабочей ситуации. Избыточное обучение или избыточное освоение новых знаний и навыков необходимы, если знания являются очень важными, но применяются редко;

· создание в организации климата, способствующего позитивному переносу изученных знаний в повседневную профессиональную деятельность. Необходимо создать такие условия, которые будут стимулировать к использованию новых знаний и навыков или поставят работников перед необходимостью их использования: ставить перед работником новые задачи, вносить изменения в его должностные инструкции, учитывать практическое использование усвоенных работником знаний и навыков при проведении аттестации.

Востребованность результатов обучения предполагает не только готовность и стремление работника к практическому использованию результатов обучения в работе, но и то, насколько условия на рабочем месте располагают к этому. Работникам, проходящим обучение в компании или за ее пределами, знания даются для того, чтобы они могли применять их в своей работе; они учатся для того, чтобы лучше выполнять те задачи и функции, которые они выполняют сегодня или которые им предстоит выполнять в будущем. Без этого обучение теряет всякий смысл.

Надо отдавать себе отчет, что обеспечение высокого уровня востребованности результатов обучения - это сложная задача, требующая как от работников, так и от руководителей ломки старых стереотипов работы и, возможно, перестройки всей системы управления. Но если этого не делать, то новые умения, новые установки, новые навыки, приобретенные в результате обучения, через некоторое время, не находя применения, утратятся за ненадобностью, и старое состояние восстановится, как, покачавшись, возвращается в исходное положение маятник, как бы сильно его ни раскачали.

Учет наличного уровня знаний и опыта обучающихся. Во многих организациях при комплектовании учебных групп часто возникает проблема различий в уровне базовой подготовки обучающихся. На способность обучающихся к усвоению нового материала оказывает влияние и их образовательный уровень, опыт предшествующего обучения и рабочий опыт.

При подготовке учебных программ следует учитывать также индивидуальные характеристики обучающихся. Среди индивидуальных характеристик наиболее важными являются следующие:

· возраст и пол слушателей;

· уровень подготовки по изучаемой теме;

· установки в отношении обучения;

· личные и деловые качества.

Особенности обучения взрослых людей. Преподаватель, работающий в системе внутрифирменного обучения, действует в совершенно иной ситуации по сравнению с учителем в школе или преподавателем вуза. Его аудитория - это взрослые, сложившиеся люди, обладающие жизненным и профессиональным опытом со всеми вытекающими из этого преимуществами и ограничениями.

Специфические аспекты взрослой аудитории.

Мотивация. Преимущество взрослой аудитории состоит в том, что она может быть достаточно высоко мотивирована на обучение. Именно эта категория глубоко осознает причины необходимости обучения, сферы возможного приложения полученных знаний и готова точно сформулировать запрос к преподавателю. Однако более сложной является ситуация, когда в учебную группу попадают люди, не имеющие актуального желания обучаться. В работе с данной категорией слушателей преподаватель оказывается перед необходимостью обосновывать важность обучения. Для этого ему необходимы знания об индивидуальных целях, склонностях, мотивах слушателя, а также представление о ситуации, в которой слушатель окажется по возвращении с курса подготовки. Если преподаватель будет обладать подобной информацией, то ему будет проще искать аргументы в пользу участия в программе и подбирать индивидуализированные способы мотивирования слушателей. Так, если слушатель вынужден был пойти на курсы, подчиняясь существующему в учреждении жесткому правилу относительно порядка прохождения программ обучения, то в мотивационной беседе целесообразно показать важность успешного обучения для получения шанса стабильной спокойной карьеры. Если слушатель ориентирован на дальнейшее продвижение по служебной лестнице, то важно выделить именно те вопросы программы, которые должны быть особенно тщательно им проработаны, а также определить критерии успешного обучения, дающего шанс для должностного роста.

Особенности психических функций взрослых людей. С одной стороны, память взрослого человека в среднем менее объемна, чем у молодых людей, он быстрее утомляется, ему труднее долгое время концентрировать внимание. С другой стороны, взрослый человек обладает хорошо развитыми навыками мышления. Именно поэтому программа обучения взрослых требует гораздо большей четкости и строгости в определении понятий, структурированности учебного материала, системной представленности отдельных элементов курса. Продуманная и практически обоснованная структура учебной программы дает возможность максимизировать эффект обучения именно за счет включения наиболее сильных сторон взрослых слушателей в работу по усвоению учебного материала.

Следующий аспект, который необходимо учитывать при рассмотрении особенностей взрослой аудитории, - это профессиональный опыт человека. Здесь прежде всего важна специфика того вида деятельности, которой занимается слушатель.

Например, представители профессии человек-человек (менеджеры, педагоги, врачи, психологи) легко включаются в активные формы занятий, инициативны в групповой работе, могут занять лидерскую позицию в группе. Технические специалисты (профессии типа человек-техника) заинтересованы в получении конкретных и непротиворечивых рекомендаций. Представители профессий типа человек-знак (программисты, теоретики химики и физики, лингвисты) требовательны к логичности и определенности построения курса и отдельных занятий, точности и непротиворечивости определений; для них особенно важно понимание алгоритма действий. А работники творческих профессий типа человек-художественный образ заинтересованы в получении новых эмоциональных переживаний и опыта, который бы мог быть интегрирован в их сферу деятельности.

Индивидуальный стиль овладения знаниями. Выделяют четыре основных типа индивидуального стиля обучения: функциональный, личностный, авторитарный и проектный.

Функциональный стиль обучения предполагает получение знаний через овладение определенными алгоритмами профессиональной деятельности. Такого типа обучение типично для технических вузов, университетов, дающих человеку строгое представление о правилах, способах, инструментах и этических принципах, реализуемых в данной сфере профессиональной деятельности.

Индивид, предпочитающий личностный стиль обучения, овладевает знаниями и умениями через уподобление личности значимого профессионала, через копирование способов работы учителя. Такой способ обучения часто культивируется в творческих профессиях, в которых важно передать не столько алгоритм работы, сколько определенное мировоззрение, совокупность существенных оснований, детерминирующих успешную профессиональную деятельность.

При авторитарном стиле обучения получение знаний осуществляется за счет идентификации обучаемого с той ролью, которую ему необходимо выполнять. Обучаемый в этом случае озабочен не столько тем, что ему необходимо знать и уметь, сколько тем, каким стать, что в себе изменить, чтобы быть успешным на своем рабочем месте. Процесс обучения осуществляется через строгое определение своей профессиональной позиции в терминах своего места в иерархической структуре, полномочий и ответственности, типов взаимосвязей, форм отчетности. При этом стиле обучения слушатель готов полностью подчиниться соответствующим правилам и предписаниям. Такой стиль обучения может быть весьма успешным при обучении тем профессиям, которые требуют от исполнителя полного подчинения распоряжениям, четкого (до самозабвения) выполнения предписаний вплоть до отказа от индивидуальных интересов.

Слушатели, предпочитающие проектный стиль обучения, отличаются инициативностью по отношению к учебной ситуации в целом. Это относится и к содержанию учебного материала, и к процессу обучения. Для этой категории слушателей обучение - это процесс, который никогда не прекращается и лучше всего реализуется в реальной деятельности. Они готовы включаться в различные проекты, участвовать в деятельности на самых разных позициях (от исполнительских до творческих). Лекционное занятие они склонны превратить в дискуссию, а деловую игру насытить множеством существенных нюансов. Им необходимо максимально широко и глубоко познать сложную и многообразную деятельность, к которой они себя готовят и которая, по их мнению, не может быть однозначно определена в виде инструкций. Кроме того, для слушателей с проектным стилем обучения характерна потребность в личностном выборе профессиональных позиций и ролей, а также направлений, которые они считают приоритетными и важными с точки зрения собственного развития. Ориентация на проектный стиль обучения может быть особенно успешной при подготовке менеджеров высшего звена управления, консультантов и, конечно, преподавателей.

Для более точного учета специфики аудитории преподаватель должен уметь работать в нескольких ролях, исполняя различные функции, и учитывать особенности взрослой аудитории, прошлый жизненный и профессиональный опыт слушателей, их мотивацию и индивидуально-психологические особенности.

Оценка эффективности внутрифирменного обучения

Оценка эффективности обучения является важным этапом процесса обучения персонала. Ее смысл состоит в том, чтобы установить, какую пользу от обучения работников получает организация, или выяснить, является ли одна форма обучения более эффективной, чем другая.

Этапы планирования оценки обучения.

1. Определить заказчика оценки обучения. Им может быть отдел персонала, руководители бизнес-направлений, а также высший менеджмент компании. Заказчик формулирует вопросы, на которые он хотел бы получить ответы в ходе оценки обучения.

2. Составить «задание на проведение оценки». Оно должно включать вопросы заказчика и описание того, что будет делать заказчик с полученными на них ответами.

3. Выбрать способы и методы оценки обучения. На этом этапе решается вопрос, будет ли оценка проводиться силами внешних консультантов или собственными ресурсами компании, какой метод или модель будет использоваться при оценке.

4. Определить сроки и этапы оценки обучения.

5. Сформировать бюджет на оценку обучения и соотнести его с затратами на обучение. При этом следует помнить, что никакая система контроля (а оценка эффективности обучения и есть система контроля) по затратам на ее внедрение и использование не должна превышать экономического эффекта от ее использования.

6. Встроить процедуру оценки в систему обучения сотрудников компании.

Информацию, полученную в результате оценки эффективности конкретных учебных программ, необходимо анализировать и использовать при подготовке и проведении аналогичных программ в будущем. Оценка эффективности обучения работников организации позволяет постоянно работать над повышением качества обучения, избавляясь от тех учебных программ и форм обучения, которые не оправдали возложенных на них надежд.

В идеале оценку эффективности обучения следует производить постоянно, в качественной либо количественной форме оценивая влияние обучения на такие показатели работы организации, как продажи, качество продукции и услуг, производительность труда, установки работников и др. В таблице 4 представлены разные показатели эффективности обучения и методы их расчета, которые реально используются в практике работы многих западных компаний.

Процедура оценки эффективности обучения обычно состоит из четырех этапов:

  • 1. Определение целей обучения. Процесс оценки эффективности обучения начинается уже на этапе планирования обучения, при определении его целей. Цели обучения задают стандарты и критерии оценки эффективности учебных программ.
    • 2. Сбор данных до обучения. Эта информация отражает уровень знаний, навыков и особенности рабочих установок, которые работники имели до обучения. Эти показатели могут быть трех типов:
    • · показатели, характеризующие профессиональные знания, установки и рабочие навыки работников;
    • · количественные показатели работы отдельных работников, подразделений или организации в целом (уровень производительности, финансовые показатели, количество поступивших жалоб или претензий покупателей и т.п.);
    • · качественные показатели работы отдельных работников, подразделений или организации в целом (качество товаров и услуг, удовлетворенность потребителей, удовлетворенность работников компании, уровень трудовой морали и т.п.).
    • Таблица 4
    • Показатели эффективности обучения и методы их расчета
    • Направление оценки

      Показатель

      Метод расчета

      Расходы на обучение

      Доля расходов на обучение

      Отношение расходов на обучение к общим расходам

      Расходы на одного работника

      Расходы на обучение, поделенные на число обученных работников

      Расходы на обучение в расчете на час занятий

      Общие расходы на обучение, поделенные на общее время обучения

      Отдача на вложения в обучение

      Достигнутая экономия по отношению к затратам на обучение

      Общая экономия за счет использования неиспользован-ных ранее ресурсов, поделен-ная на сумму расходов на обучение

      Процент улучшения производственных показателей после обучения в расчете на один курс

      Процент работников, улуч-шивших производственные показатели, для каждой груп-пы, усредненный по всем протестированным группам

      Доход в расчете на од-ного работника за год

      Общий доход или объем продаж, поделенный на общее число работников

      Прибыль в расчете на одного сотрудника в год

      Общая годовая прибыль до выплаты налогов, поделенная на общее число работников

      Обеспеченность квалифицированными специалистами

      Численность отдела обучения и развития персонала на 1000 работников компании

      Численность отдела обучения и развития кадров, поделенное на общее число работников х 1000

      Оценка работы отдела обучения

      Удовлетворенность со стороны потребителей услуг отдела обучения и развития персонала

      Отношение числа потребите-лей услуг отдела обучения и развития персонала, давших оценку «эффективная работа», к общему числу потребителей, давших оценку

      Эффективность научения

      Средний процент научения в расчете на одну программу.

      Процент научения для каждой группы, усредненный по всем группам, прошедшим тестирование

      • 3. Сбор данных в процессе обучения и после обучения (по тем же показателям и с использованием тех же инструментов, что и до начала обучения).
        • Во время обучения можно собрать ценную информацию о мотивации слушателей, об их интересе к разным учебным темам, об их оценке работы преподавателей и др. Это позволяет внести необходимые коррективы в содержание программы, изменить форму подачи отдельных тем, сделать занятия более интересными и, если это необходимо, включить в учебную программу новые темы и вопросы, которые больше соответствуют профессиональным интересам слушателей.
        • Данные после обучения могут быть собраны разными способами. Чаще всего слушателей сразу по завершении обучения просят заполнить специально разработанные опросники, чтобы они оценили данную программу, работу преподавателей, свою включенность в обучение и т.д. К сожалению, с помощью таких опросников можно получить довольно ограниченную информацию для оценки эффективности обучения, хотя и она может дать ориентиры для изменения программы, улучшения ее организации, усиления мотивирующего эффекта и улучшения возможностей практического использования полученных знаний и навыков.
        • Для оценки степени усвоения слушателями учебного материала, изучаемого ими в рамках учебной программы, по окончании обучения могут быть проведены зачеты, экзамены, тестирование (в том числе с использованием компьютера) или оценены производственные показатели или навыки, на развитие которых была направлена данная программа обучения.
        • 4. Сравнение данных, полученных до, во время и после обучения. К примеру, если основной целью программы обучения было повышение производительности труда, а после завершения обучения производительность труда осталась на том же уровне, который был до обучения, то перед организацией встает необходимость либо внесения значительных изменений в данную программу, либо полного отказа от нее.
        • Если возможно, также сравниваются производственные показатели работников, прошедших обучение, с производственными показателями не проходивших обучение работников (контрольной группы).
        • Оценка эффективности обучения требует больших затрат времени и достаточно высокой квалификации специалистов, проводящих ее, поэтому многие организации отказываются от такой оценки и просто полагаются на то, что любое обучение работников приносит организации некоторую пользу и в конечном счете оправдывает себя. Конечно, такой подход имеет право на существование, но при этом надо отдавать себе отчет, что обучение персонала является слишком дорогим удовольствием, чтобы полагаться здесь на удачу. Эффективность обучения - это не вопрос веры или убеждений, а вполне конкретные результаты, которые можно (и нужно!) оценивать количественно или качественно.

      Эффективность проведенной учебы не всегда можно оценить достаточной точно. Во-первых, возможен отсроченный эффект, то есть обучение даст результаты не сразу после его завершения, а только по прошествии определенного времени. Поэтому некоторые организации используют практику многократных оценок через определенные промежутки времени. К примеру, на IBM принята практика тестирования работников, прошедших обучение, через 6 и 9 месяцев после завершения обучения.

      Возможен также кумулятивный эффект, когда достаточно высоких результатов можно ожидать после серии тренингов. И, кроме того, результаты работы отдельных работников, подразделений или всей компании могут улучшиться по причинам, не имеющим никакого отношения к обучению.

      В таблице 5 представлены основные элементы технологии оценки эффективности обучения.

      Таблица 5

      Технология оценки эффективности обучения: основные элементы

      Критерий оценки

      Содержание

      Когда проводится

      Кем проводится

      Методы

      Мнение обучаю-щихся

      Выяснение того, как обучающиеся оценивают прове-денное обучение, что им понрави-лось и что не по-нравилось, как они оценивают объем и содержание материала, методы обучения, органи-зацию обучения

      Во время или по заверше-нии обучения

      Специалис-ты отдела обучения, преподава-тели, пред-ставители руководства

      Опросы/ анкетирова-ние,

      интервью,

      наблюдение,

      беседы со слушателями

      Усвоение учебного материала

      Выяснение того, насколько возрос-ли знания обучаю-щихся в резуль-тате проведенного обучения

      Во время или по заверше-нии обучения

      Специалисты отдела обучения; преподава-тели

      Тестирование

      устные или письменные опросы, заче-ты, экзамены.

      case-study и т.п.

      Поведенческие изменения

      Определение то-го, как измени-лись значимые особенности ра-бочего поведения; как изменились установки, лежа-щие в основе ра-бочего поведения

      До, во время и после обучения

      Специалис-ты отдела обучения;

      непосредст-венный ру-ководитель,

      психолог/

      социолог

      Опросы,

      тестирование,

      структурированное интервью,

      наблюдение

      Рабочие результа-ты

      Выявление изменений производи-тельности и качества труда

      До и после обучения

      Отдел труда и зарплаты.

      Непосредственный ру-ководитель

      Анализ про-изводствен-ных показате-лей. Оценка уровня брака, уровня оши-бок в работе

      Освоение навыков

      Оценка того, смогли ли обучающиеся освоить новые навыки и использовать их в своей работе

      Во время обучения;

      через не-которое время пос-ле завер-шения обучения

      Непосредственный руководитель; работни-ки отдела обучения/отдела персонала

      Тесты, бесе-ды/интервью со слушателя-ми, руководи-телями, кол-легами под-чинеными, клиентами, наблюдение, анализ произ-водственных показателей

      Эффективность затрат

      Выяснение, оправдывает ли обучение отпущенные на него средства

      Периоди-чески (к примеру, раз в год).

      Специалис-ты отдела обучения

      персонала,

      экономические службы

      Экономичес-кие методы,

      методы математичес-кой статистики

      Подходы и методы оценки эффективности обучения персонала

      эффективность внутрифирменное обучение персонал

      Подход, основанный на теории человеческого капитала. Один из вариантов оценки эффективности может быть основан на теории человеческого капитала, в соответствии с которой знания и квалификация наемных работников рассматриваются как принадлежащий им и приносящий доход капитал, а затраты времени и средств на приобретение этих знаний и навыков - инвестиции в него.

      Можно выделить следующие характеристики основного капитала:

      · цена приобретения;

      · восстановительная стоимость;

      · балансовая стоимость.

      Цена приобретения - это сумма расходов на набор рабочей силы, ознакомление ее с производством и первоначальное обучение.

      Восстановительная стоимость устанавливается для каждой группы сотрудников и выражает стоимость набора и обучения работника каждой профессиональной группы в текущих ценах.

      Балансовая стоимость BV рассчитывается по формуле:

      BV = r / (r + p) х C,

      где r - предполагаемый срок занятости;

      р - число отработанных лет;

      C - восстановительная стоимость.

      В балансе показывается общая сумма вложений в трудовые ресурсы на начало планового периода (затраты на выбор и обучение), указывается объем произведенных в течение отчетного периода инвестиций, подсчитывается величина потерь вследствие увольнений, устаревания знаний и квалификации и выводится стоимость на конец рассматриваемого периода.

      Исследователи утверждают, что сейчас более высокий экономический эффект от вложений в развитие персонала, чем от вложений в средства производства. Подсчеты показывают, что 1 доллар, вложенный в развитие персонала, приносит от 3 до 8 долларов дохода.

      Подход, основанный на дифференциации субъектов обучения. Другой подход оценки эффективности обучения связан с выделением результатов обучения для разных субъектов и оценкой их качества.

      Говоря об эффективности обучения, выделяют три основных субъекта данного процесса:

      · преподаватель, ведущий курса, который часто является и разработчиком программы обучения;

      · клиент, участник программы обучения, направленный на курсы вышестоящим руководителем;

      · заказчик, оплачивающий программу обучения и заинтересованный в быстром включении полученных слушателем знаний и навыков в трудовой репертуар.

      У каждого из участников данного процесса существует свое представление об эффективности обучения.

      Преподаватель, как правило, оценивает результат по овладению знаниями, умениями, навыками, активности слушателей в процессе занятий. Для оценки используются экзамены, зачеты, упражнения.

      Участник программы, клиент обычно ориентируется на создавшуюся в процессе обучения атмосферу, возникший или пропавший у него интерес к данной теме, наличие или отсутствие сформированного конкретного представления о технологии работы. Для оценки используется опрос, обратная связь по результатам обучения, анкеты.

      Заказчик, вышестоящий руководитель оценивает качество обучения по набору и количеству тех навыков, которые были перенесены в практическую деятельность. Для оценки используется аттестация работников через определенный промежуток времени, интервью с руководителем по анализу проблем деятельности.

      Модель Дональда Киркпатрика. Дональд Киркпатрик предложил концептуальный подход к оценке тренинговых программ, который стал классическим.

      Д. Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов:

      1) определение потребностей;

      2) постановка целей;

      3) определение предметного содержания;

      4) выбор участников обучения;

      5) формирование оптимального расписания;

      6) подбор соответствующего помещения;

      7) подбор соответствующих преподавателей;

      8) подготовка аудиовизуальных средств;

      9) координация программы;

      10) оценка программы.

      Автор указывает три основных причины проведения оценки обучения:

      · оправдать существование отдела обучения, показав, какой вклад делает этот отдел в достижение целей и задач организации;

      · принять решение о том, продолжать или прекратить программу обучения;

      · получить информацию о том, как улучшить программу в будущем.

      Сам Д. Киркпатрик считает, что в большинстве случаев оценка проводится для того, чтобы понять, как повысить эффективность обучения, какими способами можно его улучшить. В связи с этим предлагается ответить на следующих 8 вопросов:

      1. В какой мере содержание обучения соответствует потребностям участников?

      2. Является ли выбор преподавателя оптимальным?

      3. Использует ли преподаватель наиболее эффективные методы для поддержания интереса участников, передачи им знаний, формирования у них навыков и установок?

      4. Являются ли условия для проведения обучения удовлетворительными?

      5. Устраивает ли участников расписание занятий?

      6. Способствуют ли аудиовизуальные средства улучшению коммуникации и поддержанию интереса участников?

      7. Была ли координация программы удовлетворительной?

      8. Что еще может быть сделано для улучшения программы?

      Д. Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга - изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты «листами для улыбки» (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности. Более сложная и глубокая оценка не проводится, потому что:

      · ее не считают срочной или важной;

      · никто не знает, как ее провести;

      · руководство не требует этого;

      · люди чувствуют себя в безопасности и не видят нужды «копать» глубже;

      · есть много вещей, которые для них более важны или которыми они предпочитают заниматься.

      Четыре уровня, по Д. Киркпатрику, определяют последовательность проведения оценки обучения (рис. 3). Причем каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию. Ни один из уровней не может быть пропущен.

      Автор выделяет следующие четыре уровня:

      1) реакция (Reaction);

      2) научение (Learning);

      3) поведение (Behavior);

      4) результаты (Results).

      Реакция. Оценка на этом уровне определяет, как участники программы реагируют на нее. Д. Киркпатрик называет это оценкой удовлетворенности потребителей.

      Однако в случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Дело в том, что участие в нем часто бывает обязательным. У людей просто нет выбора. Руководство компании определяет необходимость данного вида обучения и обязывает сотрудников принимать в нем участие. Казалось бы, в этом случае, нужно говорить о реакции руководства.

      Но Д. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности обучения, как минимум, по двум причинам. Во-первых, люди так или иначе делятся своими впечатлениями с руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении обучения. Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению.

      По мнению Д. Киркпатрика, позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на обучение почти наверняка означает уменьшение вероятности научения.

      Рис. 3. Модель оценки эффективности обучения персонала Д. Киркпатрика

      Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Д. Киркпатрик утверждает, что изменение поведения участников в результате обучения возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).

      Существует несколько вариантов оценки усвоения (научения):

      · индивидуальная оценка «на выходе»;

      · сравнение предварительной и заключительной оценок;

      · использование контрольной группы для сравнения.

      В каждом из этих подходов могут применяться различные методы оценки, такие как:

      · выполнение стандартизированных тестов;

      · выполнение контрольных заданий, в т.ч. контрольных ролевых игр;

      · ответы на опросник с последующей экспертной оценкой;

      · презентация и защита проектов, курсовых и т.д.

      Поведение. На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Д.Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что обучение было неэффективено. Возможны ситуации, когда реакция на обучение была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения после обучения не может быть поводом для принятия решения о прекращении программы. Д. Киркпартик рекомендует в этих случаях кроме оценки реакции и научения проверить наличие следующих условий:

      · желание участников изменить поведение;

      · наличие у участников знаний о том, что и как делать;

      · наличие соответствующего социально-психологического климата;

      · поощрение участников за изменение поведения.

      Говоря о социально-психологическом климате, Д. Киркпатрик имеет в виду, прежде всего, непосредственных руководителей участников обучения.

      Он выделяет пять видов социально-психологического климата: запрещающий, обескураживающий, нейтральный, поддерживающий, требующий. Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания обучения. Д. Киркпатрик считает, что единственный способ создания позитивного климата - вовлечение руководителей в разработку учебных программ.

      При этом могут применяться такие методы, как:

      · проведение интервью;

      · заполнение опросников участниками и их непосредственными руководителями;

      · наблюдение за поведением обученных сотрудников на их рабочих местах (оценка-мониторинг).

      Результаты. К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Д. Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров.

      Однако, по его мнению, результаты не следует измерять в деньгах, поскольку перечисленные выше изменения могут, в свою очередь, приводить к увеличению прибыли.

      Оценка на этом уровне - самая сложная и дорогостоящая. Поэтому, если возможно, следует использовать контрольную группу (не проходившую обучение), проводить отсроченную оценку, чтобы результаты стали заметны, проводить оценку до и после программы (если это возможно).

      Следует отметить, что данная методика имеет ограничения. Например, оценку обучения линейного персонала целесообразно проводить по 2 и 3 уровню обучения: знания (научение) и навыки (поведение). А семинары-совещания для топ-менеджеров, стоимость которых, как правило, достаточно высока, оценивать по 1-3 уровням вообще подчас не имеет смысла, поэтому оценка такого рода затрат может производиться только на уровне результата.

      Модель Джека Филипса. Джек Филипс взял за основу модель Д. Киркпатрика, снабдил инструментами каждый из четырех уровней, а также добавил пятый, в котором рассчитывается коэффициент возврата на инвестиции в обучение (Return of Investment - ROI). Проще говоря - какую прибыль получила компания от определенных бизнес-результатов, полученных после обучения сотрудников.

      Формула, которую он предлагает, выглядит следующим образом:

      Возврат на вложенный капитал =

      = Финансовые результаты обучения / затраты на обучение

      или

      ROI (%) = полезность / стоимость обучения х 100%.

      Применительно к любым экономическим процессам часто используется подход, связанный с оценкой мероприятий исходя из рентабельности тех или иных процессов, в этом случае подход Джека Филипса является традиционным и, когда экономические эффекты от обучения персонала очевидны и поддаются оценке, целесообразно оценить рентабельность этих мероприятий по предложенной выше методике.

      С точки зрения экономистов, однако, данный подход требует уточнения категориального аппарата, поскольку некоторые авторы считают, что полезность выражается не в денежных единицах, а в некоторых условных единицах, определенных на основании экспертной оценки. Таким образом, при использовании этого подхода непонятным остается, какого типа информацию необходимо собрать, чтобы оценить полезность.

      Рис. 4. Модель Джека Филипса

      Дж. Филипс предполагает, что полезность от обучения в данном случае может быть оценена в стоимостных выражениях, например, в приросте товарооборота или в суммарном эквиваленте дополнительно заключенных контрактов, однако такие эффекты не совсем верно называть «полезностью». В противном случае снижение продаж можно тогда оценить с точки зрения «вредности».

      К сожалению, в большинстве случаев дать точную оценку дополнительного эффекта не представляется возможным, хотя бы потому, что имеют место сезонные колебания, влияние внешних факторов и т.д., поэтому применение данного подхода на практике вызывает большие сложности и, как правило, приводит к существенному огрублению оценки.

      Методика бипараметрической оценки. Мак Ги предлагает бипараметрическую оценку, то есть рассматривает результативность и эффективность обучения. Он также вводит понятия «результативности» и «эффективности» и как их оптимальное сочетание формирует понятие «производительности обучения».

      Частный экономический эффект от мероприятия по обучению персонала, вызвавшего изменение стоимости данного бизнес-процесса, можно определить следующим образом:

      где Со - стоимость бизнес-процесса (единицы производимой продукции) до обучения, руб.;

      Сt - стоимость бизнес-процесса после обучения, руб.

      Определение абсолютного значения эффекта позволяет лишь выяснить тенденции, масштаб и направление эффекта от обучения (положительный, нейтральный, отрицательный), поэтому целесообразно сопоставить значение эффекта с затратами, направленными на обучение персонала.

      Интерпретация результата: если Е ? 0, следовательно, успех был достигнут, по крайней мере была достигнута цель снижения издержек, однако вопрос - какой ценой? Поэтому необходимо определить чистый эффект.

      Чистый частный экономический эффект от мероприятия по обучению персонала определяется следующим образом:

      ,

      где Со - стоимость бизнес-процесса (единицы производимой продукции) до обучения, руб.;

      Сt - стоимость бизнес-процесса после обучения, руб.;

      Cе - стоимость программы обучения (затраты компании на содержание учебного центра), руб.

      Определение абсолютного значения частного эффекта позволяет сравнить результат от деятельности с затратами на обучение (превышают выгоды затраты или нет).

      Интерпретация результата: если ЕN ? 0, следовательно, положительный результат был достигнут, по крайней мере снижение издержек превысило затраты, - деятельность приносит чистый эффект.

      Данная последовательность расчетов целесообразна для оценки эффективности обучения именно линейного персонала, например: в результате проведения тренинговых мероприятий скорость обслуживания клиентов увеличилась, качество обслуживания клиентов (при этом качество может оцениваться снижением количества ошибок, жалоб клиентов) уменьшилось и пр.

      В случае сопоставления нескольких вариантов обучения (программ, видов, во времени, пространстве) целесообразно определить эффективность.

      Экономическая эффективность обучения (динамическая связь между ресурсами и деятельностью) может быть выражена формулой:

      ,

      где Со - стоимость бизнес-процесса (единицы производимой продукции) до обучения, руб.;

      Сt - стоимость бизнес-процесса после обучения, руб.;

      Cе - стоимость программы обучения (затраты компании на содержание учебного центра), руб.

      Интерпретация результата: если ?N ? 1, то обучение неэффективно, если ?N ? 1-эффективно.

      Определение сравнительной эффективности обучающих мероприятий может также помочь определять эффективность обучения, которое проводилось по идентичным программам в разных структурных подразделениях организации, что бывает необходимым и полезным при выстраивании корпоративной стандартизированной системы обучения.

      Модель Стафлебима состоит из четырех основных компонентов:

      · контекст - определяется цель, преследуемая аудиторией, и потребности, которые должны быть удовлетворены;

      · вход - определяются ресурсы, возможные альтернативные стратегии, а также самый простой способ удовлетворить установленные потребности;

      · процесс - оценивается, насколько хорошо выполняется разработанный план;

      · продукт - оцениваются полученные результаты (достигнуты ли цели, вносятся поправки в порядок разработки плана).

      Модель изучает как сам процесс, так и его результат. Однако оценивание вероятных результатов непосредственно перед обучением не проводится, следовательно, модель не годится для оценки ROI без дальнейшей доработки.

      В отличие от моделей Дж. Филипса и Д. Киркпатрика, в рамках данной модели требуется взглянуть на эффективность процесса, а это скорее относится к «валидации», т.е. акцент делается на результате.

      Модель Берда охватывает несколько уровней Модели Д.Киркпатрика (уровни 1 и 4) в случае, если оценивается эффективность подготовки (а не только результативность). Основными компонентами являются контекст, вход, реакция и результат.

      Во многом эта модель похожа на модель Стафлебима CIPP и тоже страдает недостатком деталей и рекомендаций по использованию каждого из четырех основных компонентов.

      Модели Стафлебима CIPP и Берда CIRO в какой-то мере следуют за моделями Киркпатрика и Филипса в плане использования контрольных групп и предварительных оценок способов улучшения обучения, чтобы в будущем можно было дать ответ на вопросы о его ценности и правильном использовании ресурсов.

      Таксономия Блума. Основная идея модели состоит в развитии потребности в анализе, саморазвитии, ответственности и самодостаточности самих обучающихся, другими словами «научить сотрудников учиться» и применять полученные знания в ежедневной жизни. От работодателя в этом случае требуется создание необходимой для обучения базы, благоприятной для обучения атмосферы и мотивации. В своей системе все этапы он разделил на три домена: когнитивный (знания), эмоциональный (установки) и психомоторный (навыки) (рис. 5).

      Рис. 5. Таксономия Блума

      В таблице 6 представлены подкатегории каждой сферы модели «Таксономия Блюма».

      Таблица 6

      Категории модели «Таксономия Блюма»

      Когнитивная сфера

      Эмоциональная сфера

      Психомоторная сфера

      знания

      установки

      навыки

      Вспоминание информации

      Восприятие (осознание)

      Имитация (копирование)

      Понимание

      Ответ (реакция)

      Управление (следование инструкциям)

      Использование на практике

      Оценка ценности (понимание и действие)

      Развитие точности, четкости

      Анализ информации (структуры/элементов)

      Организация личной системы ценностей

      Сочленение (комбинирование, интеграция схожих навыков)

      Синтез (создание/построение)

      Усвоение системы ценностей (адаптация поведения)

      Натурализация (доведение до автоматизма, экспертное знание)

      Оценка (сравнение)

      Когнитивная сфера включает в себя несколько подкатегорий, каждая из которых обозначает уровень развития сотрудников, достигнутого в процессе обучения:

      · вспоминание информации - широко распространенные стереотипы и нормы, факты, принципы, процедуры;

      · понимание - понимание фактов, принципов, интерпретация материала;

      · использование на практике - решение проблем, применение концепций и принципов в новых ситуациях;

      · анализ информации - возможность отделять факты от предположений, классифицировать;

      · синтез - интегрировать различные отрывки, креативно решать проблемы;

      · оценка - рассуждать и оценивать.

      Следующая сфера - эмоциональная, меняющая поведенческие установки сотрудников и мотивирующая их к действиям:

      · восприятие (осознание) - избирательное внимание, активное слушание;

      · ответ (реакция) - активное участие, внимание и реакция на сказанное/увиденное;

      · оценка ценности (понимание и действие) - от простого принятия ценностей до лояльности;

      · организация личной системы ценностей - придание определенной ценности предметам, явлениям и т.п.;

      · усвоение системы ценностей - усвоение системы ценностей, которая контролирует поведение.

      Психомоторная сфера - навыки сотрудников.

      · имитация (копирование) - наблюдение и копирование поведения других, при этом качество исполнения может быть низким;

      · управление (следование инструкциям) - выполнение задания согласно указаниям;

      · развитие точности (четкости) - выполнение усложненного задания с меньшим количеством ошибок;

      · сочленение (комбинирование, интеграция сложных навыков) - самостоятельное выполнение творческого задания на основе изученного;

      · натурализация (доведение до автоматизма, экспертное знание) - действия на уровне: оценить качество материала и внести необходимые поправки.

      Таким образом, чтобы обучение было достаточно эффективным, программа должна включать в себя все три сферы одновременно. В этом случае обучающийся развивает свои знания (когнитивная сфера), видоизменяет установки (эмоциональная) и учится применять новые навыки на практике (психомоторная сфера). Причем данная модель показывает, что более простым формам поведения можно обучить на основе пассивных методов (лекция, наблюдение), а более сложным - посредством действия и вовлечения участников (кейсы, деловые и ролевые игры и пр.).

      Как видим, «Таксономия Блюма» во многом схожа с моделью Д. Киркпатрика. Также как и модель Д. Киркпатрика она не показывает экономической эффективности проведения обучения, поэтому при необходимости расчета финансовых показателей, она может быть дополнена показателем ROI. Однако по уровню детализации данная модель более подробна и позволяет оценить не только эффективность проведенных бизнес-тренингов, но и эффективность семинаров, лекций, практикумов. Кроме того, она позволяет спланировать программу обучения, исходя из его целевого назначения, и прогнозировать эффективность составленной программы на основе оценки используемых методов обучения.

      Оценка эффективности обучения в рамках комплексных систем оценки. Часто оценивая отдельные направления развития компании, в современном менеджменте применяются комплексные системы оценки, включающие ряд частных показателей, отражающих эффективность подразделений, в рамках моделей которых удачно применяются методы комплексной оценки, например, выясняя вклад тех или иных подразделений в общий результат деятельности. Среди вышеназванных моделей можно отметить применимость каждой из них для решения задач оценки эффективности обучения персонала, выделив подотдел, отвечающий за обучение, определенный набор целевых показателей, позволяющих дать оценку именно этому подразделению компании.

      Например, выделив некоторые количественные и качественные показатели по данному подразделению, предполагая, что мероприятия по обучению персонала скажутся на этих показателях, мы сможем дать оценку эффективности данных мероприятий в комплексе и по каждому отдельному эпизоду, связанному с обучением. Четко определив корреляцию этих показателей с показателями эффективности подразделений, прошедших обучение, мы сможем проанализировать эффективность работы по обучению персонала в целом на предприятии.

      Данные методики сложны к применению вследствие широты спектра действия, однако при умелом их использовании достигается их интуитивная понятность, адекватность и согласованность, что в целом позволяет решить обозначенную выше проблему. Разработка системы показателей позволит не только всесторонне оценить, но и в режиме реального времени отслеживать уровень эффективности данных мероприятий.

      Размещено на Allbest.ru

      ...

Подобные документы

  • Сущность и принципы организации системы внутрифирменного обучения персонала. Отечественный и зарубежный опыт повышения квалификации персонала. Анализ методик и формы реализации программ обучения персонала предприятия на примере ООО "Глобус-Интер".

    курсовая работа [1,3 M], добавлен 13.02.2012

  • Основы системы внутрифирменного обучения персонала. Сущность и этапы построения системы обучения персонала как составляющей системы его развития. Анализ работы персонала в ООО "Центр Мебели". Рекомендации по организации профессионального обучения.

    дипломная работа [478,0 K], добавлен 02.09.2015

  • Значение обучения персонала в стратегии развития организации. Процесс профессионального обучения, а также оценка его эффективности. Управление процессом обучения и формирования эффективного персонала организации на примере АО ДБ "Банк Китая в Казахстане".

    дипломная работа [208,9 K], добавлен 27.10.2015

  • Формы развития персонала организации. Основные этапы в работе по организации обучения персонала. Оценка эффективности обучения, методы оценки. Определение потребности в обучении. Методы обучения персонала вне рабочего места. Значение обучения персонала.

    презентация [247,4 K], добавлен 24.03.2012

  • Проведение аудита системы обучения для оценки эффективности существующей системы обучения на предприятии, а также способности организации к дальнейшему развитию и повышению конкурентоспособности на рынке. Модель обучения персонала по Мордовину С.К.

    презентация [498,5 K], добавлен 26.03.2013

  • Подходы и методы работы учебного корпоративного центра. Общая характеристика, анализ преимуществ и недостатков системы внутрифирменного корпоративного обучения. Оценка эффективности и определение путей совершенствования внутрифирменного обучения.

    дипломная работа [307,9 K], добавлен 05.08.2013

  • Основные виды систем обучения персонала. Цели обучения, методы и методики его проведения. Результат обучения - саморазвивающаяся организация. Создание системы обучения персонала на предприятии. Разработка построения системы обучения в ООО "ЛИМ-техника".

    курсовая работа [110,3 K], добавлен 01.02.2011

  • Понятие и основные этапы процедуры оценки персонала на современном предприятии. Обучение персонала: цель, задачи, виды и формы, подходы к разработке специальных программ. Разработка программы внутрифирменного обучения персонала торгового предприятия.

    дипломная работа [73,6 K], добавлен 05.03.2013

  • Система обучения персонала: понятие и характеристика. Этапы управления системой внутрифирменного обучения персонала. Организационно-правовая и экономическая характеристика ООО "М. видео Менеджмент". Оценка влияния обучения на профессиональное развитие.

    дипломная работа [310,8 K], добавлен 14.07.2011

  • Теоретические аспекты, виды и формы, цели и результаты процесса обучения, место обучения персонала в деятельности организации. Разработка проекта повышения эффективности системы обучения персонала в ООО "Стар" и расчёт его экономической эффективности.

    дипломная работа [1,1 M], добавлен 22.12.2010

  • Методологические принципы построения систем внутрифирменного обучения. Анализ потребностей работодателя к подготовке персонала. Оценка удовлетворенности потребителя и заказчика на этапе завершения программы. Проектирование услуги. Подготовка ресурсов.

    курсовая работа [31,8 K], добавлен 17.11.2016

  • Понятие активных методов обучения персонала. Анализ активных методов обучения персонала "Ставропольского краевого клинического онкологического диспансера". Создание системы обучения персонала на предприятии. Рекомендации для достижения эффективности.

    курсовая работа [40,7 K], добавлен 18.02.2013

  • Стратегия обучения персонала. Анализ обучения и развития персонала на примере ресторана "IL Патио". Проблемы ресторанного бизнеса, планирование обучения. Процесс обучения сотрудников ресторана, оценка его эффективности и проведение обучающих мероприятий.

    курсовая работа [68,7 K], добавлен 26.02.2014

  • Характеристика теоретических и практических аспектов обучения и повышения квалификации персонала на предприятии, разработка мероприятий, направленных на создание эффективной системы обучения в организации. Оценка эффективности разработанных мероприятий.

    дипломная работа [671,0 K], добавлен 11.10.2015

  • Понятия и характеристика видов обучения персонала. Профессиональное развитие персонала в современных условиях. Особенности и методы обучения различных категорий работников. Анализ подготовки кадров и деятельности службы управления персоналом предприятия.

    дипломная работа [188,2 K], добавлен 08.06.2010

  • Понятие активных методов обучения. Значение и принципы выбора метода обучения персонала. Виды методов обучения. Разработка и реализация методов обучения. Первые попытки обучить сотрудников. Формализация обучения. Самообучающаяся организация.

    курсовая работа [30,7 K], добавлен 13.01.2004

  • Основные направления работы при организации обучения персонала. Идея корпоративного университета, модель оценки эффективности обучения Д. Киркпатрика, возврат инвестиций. Мероприятия по совершенствованию системы развития персонала в ОАО "ЛОМО".

    дипломная работа [196,8 K], добавлен 21.07.2011

  • Выбор методов анализа и совершенствования оценки эффективности обучения персонала. Сильные и слабые стороны в управлении штатом. Социально-экономическая и управленческая оценка эффективность проекта по улучшению оценки у профессиональной учебы кадров.

    дипломная работа [1,1 M], добавлен 17.05.2019

  • Профессиональное обучение персонала. Оценка эффективности обучения. Внутренние мероприятия по обмену знаниями. Тренинг как один из методов обучения персонала. Внедрение тренингов на примере компании ООО "Детки". Реализация стратегических задач.

    курсовая работа [209,5 K], добавлен 08.12.2010

  • Управление персоналом, понятие и подходы. Суть и этапы построения системы обучения персонала как составляющей системы его развития. Анализ систематического профессионального обучения персонала в ОАО "Мечел", принцип каскадности, эффективность процесса.

    курсовая работа [1,1 M], добавлен 21.01.2012

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.