Оцінка ефективності корпоративного навчання за допомогою CIPP моделі

Размещено на http://www.allbest.ru/

Західноукраїнський національний університет

Оцінка ефективності корпоративного навчання за допомогою CIPP моделі

Ю.І. Сеник, к. б. н., старший викладач кафедри екології та охорони здоров'я, старший викладач кафедри підприємництва і торгівлі



Анотація

У статті викладено теоретичну основу CIPP моделі Даніеля Л. Стафлебіма та її практичне застосування. Об 'єктом дослідження обрано програму навчання операторів фасувальних станків на молокопереробному підприємстві України. Встановлено, що контекстний компонент моделі дозволив оцінити зручність програми підвищення кваліфікації, її збалансованість щодо теоретичної та практичної інформації, наявність точних оцифрованих даних, за допомогою яких можна оцінити якість роботи станка, відповідність сформованих роздаткових матеріалів рівню підготовки операторів дільниці і загальне розуміння необхідності такого навчання. СІРР модель оцінки ефективності корпоративного навчання може бути реалізована за допомогою анкетування респондентів з подальшою статистичною обробкою результатів досліджень. Тобто факторний аналіз результатів досліджень можна використовувати як ефективний інструмент для оцінки навчальної програми на будь-якому етапі, що відкриває нові перспективи у сфері оцінки навчальних програм корпоративного навчання та їх оптимізації.

Ключові слова: корпоративне навчання, СІРР модель, оцінка якості навчання, корпоративна культура.



Abstract

Yu. Senyk,

PhD in Biological Sciences, Senior Lecturer of the Department of Ecology and Health Care, Senior Lecturer of the Department of Entrepreneurship and Trade,

West Ukrainian National University, Ternopil

EVALUATION OF THE EFFECTIVENESS OF CORPORATE TRAINING USING THE CIPP MODEL

Over the past thirty years, there has been a change in the paradigm of corporate training, which is expressed in the revision of the amount of information provided, the rethinking of training functions, and the criteria for its success and training methods. The reasons for such changes in the training process of the company's personnel are a number of objective reasons. Despite the fact that the process of corporate learning is an effective tool for increasing the overall competitiveness of the company, its organization is not always the best suited for these purposes, sometimes other multifaceted measures are necessary. To check the effectiveness of training, it is necessary to develop a mechanism for this process and implement it at the enterprise.

The purpose of the article is to conduct a statistical evaluation of the effectiveness of corporate training using the CIPP model of Daniel L. Stafflebeam.

The article outlines the theoretical basis of Daniel L. Stafflebeam's CIPP model and its practical application. The object of the study was the training program for operators of packaging machines at a milk processing enterprise of Ukraine.

A questionnaire with 24 questions in the form of a five-point Likert scale was developed to quantitatively assess the effectiveness of the training program. The obtained data were subjected to statistical processing to check their reliability, as well as to factor analysis.

It was established that the contextual component of the model made it possible to assess the convenience of the training program, its balance in terms of theoretical and practical information, the presence of accurate digital data that can be used to assess the quality of the machine's work, the compliance of the generated handouts with the level of training of station operators and the general understanding of the need for such training.

Thus, the CIPP model for assessing the effectiveness of corporate training can be implemented using a questionnaire survey of respondents with further statistical processing of research results. That is, the factor analysis of research results can be used as an effective tool for evaluating a training program at any stage, which opens up new perspectives in the field of evaluating corporate training training programs and their optimization.

Keywords: corporate training, CIPP model, assessment of training quality, corporate culture.



Постановка проблеми в загальному вигляді. За останні тридцять років спостерігається зміна парадигми корпоративного навчання, яка виражається в перегляді обсягу наданої інформації, переосмисленні функцій навчання, і критеріїв його успішності та методів проведення навчання. Причинами таких змін у навчальному процесі персоналу підприємства, ймовірно, є зазначені нижче перебудови в корпоративному середовищі [13]:

збільшення обсягу необхідних знань та їх вузька спеціалізація змусили підвищити вимоги до персоналу, який виконує ті чи інші функції;

безперервна оптимізація виробничого процесу для зменшення виробничих та не виробничих втрат;

впровадження поняття «універсальність» працівників виробничих дільниць, яке полягає у підготовці персоналу не вузькоспеціалізованого, а широкого профілю з достатніми теоретичними та практичними навичками не лише для ефективного виконання покладених завдань, а й пошуку причин поломок чи внесення дієвих раціоналізацій виробничого процесу;

перетворення процесу навчання персоналу в невід'ємну частину будь-якої організації;

систематизація та автоматизація методів навчання та перевірки знань дозволяє максимально ефективно використовувати відведений працівникові час для засвоєння необхідної інформації.

Незважаючи на те, що процес корпоративного навчання є ефективним інструментом для підвищення загальної конкурентоздатності компанії його організація не завжди найкраще підходить для цих цілей [6], іноді необхідні інші багатогранні заходи [7]. Для перевірки ефективності навчання необхідно розробити механізм цього процесу та впровадити його на підприємстві.

Аналіз останніх досліджень і публікацій. Проблематику формування корпоративного навчання як елементу корпоративної культури з подальшою її оцінкою розглянуто у багатьох наукових дослідженнях авторів: Lucas H. [12], Баніт О. [1], Носуліч Г. [3], Литовченко І.М. [2], Stufflebeam D.L. [15], Worthern B. [16] та інші. Розглянуто загальні принципи оцінки ефективності корпоративного навчання та розроблено теоретичні моделі, проте ґрунтовнішого дослідження потребує їх адаптація до виробництва харчових продуктів, на прикладі молокопереробного підприємства, та впровадження математичного апарату обробки результатів дослідження.

Метою статті є проведення статистичної оцінки ефективності корпоративного навчання за допомогою CIPP моделі Даніеля Л. Стафлебіма.

Виклад основного матеріалу. Наступним кроком після впровадження корпоративного навчання є перевірка його ефективної роботи. Отримані дані необхідні як для оптимізації процесу або впровадження необхідних коригувань, так і для представлення результатів топ-менеджерам компанії щодо вкладених коштів у навчальний процес. Так, згідно даних D.J. Ford [5] середні витрати компаній США на навчання персоналу становили 1,4 % від загальних бюджетованих витрат.

Поняття «ефективність» у найширшому понятті є співвідношенням отриманої вигоди до адитивного показника затрат для її досягнення. У залежності від характеру отриманої вигоди виділяють:

економічну;

соціально-економічну;

соціальну;

техніко-технологічну;

екологічну.

Аналіз структури і видів цих витрат та отриманих девідендів з навчання зумовить лише одностороннє формування уявлення про ефективність. Такий розгляд сформованої ситуації забезпечить економічну оцінку ефективності за співвідношенням «витрати - результат», що не може слугувати єдиним критерієм ефективності освітнього процесу. Саме тому одним з найскладніших питань, яке стоїть перед працівниками служби HR чи спеціального структурного підрозділу з навчання персоналу, об'єктивний вибір показників ефективності процесу навчання. Обрані критерії повинні розділятися на дві складових частини - константні показники, які не залежатимуть від специфіки виконуваного функціоналу працівником та кінцевого продукту відділу, де працює співробітник, та змінні параметри - залежатимуть від двох, вказаних вище критеріїв. На основі такого підходу можна зробити висновок, що під оцінкою навчання персоналу слід розуміти ефективність управлінських рішень, основним критерієм якої є економічний результат, а додатковими можуть виступати соціальні та методичні показники, які адекватно виражають для керуючого суб'єкта як необхідність, так і можливість реалізації рішень по об'єкту [13].

Якщо ж розглядати ефективність корпоративного навчання персоналу з точки зору педагогіки, то її вираженням буде рівень професійної компетентності учнів-працівників і, відповідно, результати їхньої роботи. Таким чином, цільовим індикатором оцінки результатів навчання може бути рівень кваліфікаційних характеристик працівника:

когнітивно-діяльнісний аспект виконання покладених на нього функцій;

професійний досвід співробітника.

Такий вибір основних критеріїв оцінки ефективності корпоративного навчання дозволяє застосувати праксеологічний підхід, в основі якого знаходиться аналіз діяльності працівника з позицій раціональності та оптимальності її здійснення. Найчастіше у ролі критеріїв виступають такі показники:

результативність процесу навчання, яка виражається у засвоєнні отриманих теоретичних знань та формуванні практичних навичок;

продуктивність діяльності працівника знаходиться на необхідному рівні для забезпечення ефективної роботи інших ланок процесу та збереженні необхідного такту діяльності;

правильність роботи працівника - кінцевий продукт виконаної роботи відповідає заданим параметрам;

дотримання стандарту виконання процесу - відсутність або мінімізація дій, що знижують ефективність виконуваної роботи;

Таким чином, потенціал праксеологічного підходу розкривається через досягнення учнем нормативних результатів професійної діяльності [1].

Цей підхід до оцінки ефективності корпоративного навчання передбачає комплексний підхід до процесу аналізу [3]:

комплексна оцінка ефективності корпоративної програми навчання, яка полягає у встановлені:

якості процесу викладання необхідної інформації для засвоєння учнем-працівником; кваліфікація оцифрований програма

встановлення доцільності використання обраних технологій навчання;

якість нормативно-методичного забезпечення навчального процесу;

аналіз якості процесу корпоративного навчання.

оцінка результатів корпоративного навчання та впроваджених коригувальних дій.

Отже, результатом корпоративного навчання персоналу виступає актуалізована або сформована нова загальнопрофесійна /спеціалізована компетенція, що підвищує ефективність реалізації працівником трудових функцій та вирішення ним професійних завдань після навчання відповідно до запланованих в освітній програмі цільових значень, що відповідають корпоративним потребам та стандартам діяльності. Виходячи з цього, результативність визначається ступенем реалізації запланованої діяльності та досягнення запланованих результатів. Отримані результати можуть носити різновекторний характер [2]:

Фактичні результати Нижче запланованих

Негативна результативність корпоративного навчання;

- фактичні результати відповідають або вище запланованим - позитивний результат.

Найбільш поширеним якісним методом оцінки ефективності корпоративного навчання є модель CIPP Д.Л. Стафлебіма. На початку сімдесятих Даніел Л. Стафлебім розробив модель CIPP, згідно з якою «оцінка - це процес визначення, отримання, надання та застосування описової та оцінювальної інформації про переваги та цінність обраних цілей, розробки, реалізації та результатів процесу навчання» [15]. Автор цієї моделі визначає її як «всеохоплюючу структуру для керівництва оцінювання програм, проектів, персоналу, результатів навчання та самої системи оцінки» [15]. Абревіатура CIPP означає чотири різні виміри моделі, а саме: контекст («Context»), вхід («Input»), процес («Process») і продукт («Product») (рис. 1).

Рис. 1. Характеристика основних компонентів моделі СІРР

Джерело: розроблено автором

Модель CIPP розглядається в рамках підходів, орієнтованих на прийняття рішень, що ґрунтується на результатах експериментальних даних. У даній методології керівник програми обирає незалежного експерта, який забезпечить процес збору необхідної інформації, сформує на її основі об'єктивні висновки та розробить ефективні рішення для покращення наявної ситуації. Окрім сформованих рекомендацій, експерт надасть короткий опис відносних переваг та недоліків кожного альтернативного рішення, що дозволить особі, яка приймає рішення, обрати найкращий варіант з точки зору визначених параметрів [16].

Виходячи з такого контексту моделі СІРР «вхід», «процес» і «продукт» характеризуються як цілі аналізу, а програма - як система. Модель CIPP дозволяє з достатньою деталізацією оцінити навчальну програму та розробити рекомендації для підвищення її ефективності. Для цього аудитор аналізує кожен з основних компонентів моделі, розділяючи його на складові [8]. «Контекст» корпоративного навчання розглядають через призму його цілей та завдань. Аналіз «входу» процесу здійснюють через матеріали, час та ресурси для освітнього середовища. Процесний вимір включає дослідження процесів викладання та навчання на основі їх реалізації, якості, ефективності та корисності. Нарешті, «продукт» розглядається на основі здобутих переваг компанією після реалізації освітньої програми.

Модель CIPP при застосуванні для оцінки ефективності освітніх програм носить гнучкий та директивний характер, при цьому, цей процес може реалізовуватися двома шляхами [11]:

оцінювання в кінці навчальної програми, що надасть необхідну інформацію для оптимізації необхідних векторів розвитку.

підзвітність - під час впровадження програми навчання проводяться тести для оцінки очікуваного плану навчальної програми.

Після того, як аудитори обрали спосіб оцінювання, розпочинається директивний підхід до оцінювання програми шляхом визначення основних компонентів чотирьох основних компонентів моделі СІРР.

Практичну реалізацію оцінки ефективності навчальної програми за допомогою СІРР-моделі було здійснено на одному з молокопереробних підприємств західного регіону України. Для дослідження було вирішено використати анкетування як методику збору первинних даних.

Запитання в анкеті були у формі п'ятибальної шкали Лайкерта:

я категорично не згоден - 1 бал;

я не згоден - 2 бали;

я частково згоден - 3 бали;

згоден - 4 бали;

я повністю згоден - 5 балів.

Анкета складалася з 24 запитань, що дозволило отримати об'єктивну оцінку навчального процесу, який успішно завершили 46 працівників підприємства.

На основі отриманих анкет проведено кількісну оцінку кожного з компонентів моделі, всі дані були піддані статистичному аналізу. Отримані дані були згруповані у вигляді таблиць та здійснено їх інтерпретацію.

Для оцінки даних з анкет респондентів використано факторний аналіз. Цей метод було обрано після проведення перевірки його можливого використання за допомогою тесту Кайзера-Майєра-Олкіна (Kaiser-Meyer- Olkin Measure of Sampling Adequacy) або КМО - величина, що характеризує ступінь можливості використання факторного аналізу до даної вибірки [4]:

більше 0,9 - безумовна адекватність;

більше 0,8 - висока адекватність;

більше 0,7 - достатня адекватність;

більше 0,6 - задовільна адекватність;

більше 0,5 - низька адекватність;

менш ніж 0,5 - факторний аналіз неможливий до використання.

Результат тесту KMO, введеного для шкали, визначив значення P як 0,84, що забезпечує високу адекватність результатів факторного аналізу.

Також проведено тест сферичності Барлетта (Barlett' Test of Sphericity) - критерій багатовимірної нормальності для розподілу змінних. Критерій перевіряє, чи відрізняються кореляції від 0. Значення Р-рівня менше 0,05 вказує на придатність проведення факторного аналізу. Результат аналізу показав значення P як 0,00. Оскільки значення P у тесті KMO було більше 0,5, а значення P для тесту Барлетта було меншим за 0,05, валідність тесту, адекватність вибірки та проведений факторний аналіз було підтверджено.

Факторний аналіз було розпочато з двадцяти чотирьох пунктів у початковій формі анкети. В процесі статистичного аналізу отриманих даних виокремлено дев'ять факторів, чиї власні значення були більші за одиницю, але їх не можна було в достатній мірі охарактеризувати відповідно до контексту проведеного дослідження. У зв'язку з цим, вирішено здійснити факторний аналіз за чотирма факторами моделі СІРР з обертанням варімакса, щоб перевірити валідність конструкції анкети (рис. 2).

Рис. 2. Графічне вираження факторного аналізу з обертанням варімакса

Джерело: власні дослідження

На основі отриманих даних проведено групування факторів, дотримуючись рекомендацій авторів [9, 10]: у разі наявності одного об'єкту аналізу, який має високе факторне навантаження за двома різними факторами, різниця повинна бути не менше 0,10, а факторні навантаження елементів повинні бути не менше 0,45. На основі цього вилучено пункти, чиї факторні навантаження були меншими 0,45, таким чином було досягнуто чотиривимірної конструкції. Після здійснення вилучення пунктів, повторно здійснено тест KMO, при цьому встановлено значення P на рівні 0,91, що підтвердило можливість застосування факторного аналізу для нової кількості пунктів в анкеті.

Дані досліджень після факторного аналізу з обертанням варімакса та делеції окремих пунктів аналізу були піддані подальшому статистичному аналізу для встановлення взаємозв'язку між змінними. Для цього здійснено розрахунок показника коваріації (табл. 1). Всі значення коваріації знаходяться в межах від 0,21 до 0,46, що вказує на присутність взаємозв'язку між показниками, які визначають фактори СІРР моделі. Так, згідно даних у таблиці нижче фактор №1 - «Продукт», фактор №2 - «Процес», фактор №3 - «Вхід», фактор №4 - «Контекст».

Таблиця 1. Показники статистичного аналізу даних анкетування

Фактор №1	Фактор №2	Фактор №3	Фактор №4
№ пункту	показник коваріації	№ пункту	показник коваріації	№ пункту	показник коваріації	№ пункту	показник коваріації
5	0,46	1	0,21	2	0,25	10	0,34
6	0,33	3	0,38	7	0,37	12	0,39
13	0,36	16	0,43	8	0,40	15	0,22
21	0,24	23	0,27	11	0,26	20	0,27
24	0,28	-	-	14	0,31	-	-
18	0,37	-	-	19	0,28	-	-

Джерело: власні дослідження

Провівши факторний аналіз та виділивши чотири основних фактори автором досліджень проведено перевірку надійності отриманих даних за допомогою розрахунку альфа-коефіцієнту Кронбаха. У таблиці 2 наведено коефіцієнти Кронбаха та значення кореляції компонентів із сумарними елементами.

Таблиця 2. Коефіцієнти Кронбаха та значення кореляції компонентів

Фактор моделі СІРР	альфа-коефіцієнт Кронбаха	значення кореляції компонентів
фактор №1 - «Продукт»	0,89	0,41-0,56
фактор №2 - «Процес»	0,81	0,48-0,62
фактор №3 - «Вхід»	0,86	0,52-0,74
фактор №4 - «Контекст»	0,82	0,51-0,66

Джерело: власні дослідження

Як видно з таблиці 2 коефіцієнт надійності чотирьох факторів знаходиться в межах 0,81 - 0,89. Відомо [9, 10], що якщо коефіцієнт надійності вище 0,70 тоді отримані дані для досліджень соціального спрямування знаходяться на «прийнятному» рівні когерентності. Дослідження показали, що значення кореляції елементів чотирьох факторів знаходяться в межах 0,41-0,74.

Після встановлення надійності отриманих даних проведено розрахунок середнього значення (Х) кожного елементу, його стандартного відхилення (о) та коефіцієнт кореляції (r), результати представлені в таблиці 3. Як і в попередніх дослідженнях, надійність отриманих результатів було оцінено за допомогою коефіцієнту кореляції, так як отримані значення знаходяться в інтервалі 0,44-0,68, тобто мають позитивне значення, то можна констатувати надійність цих даних та, відповідно, достовірність їхньої інтерпретації.

Таблиця 3. Статистичний аналіз відповідей анкети-опитувальника

№ елемента	Х	о	r	№ елемента	Х	о	r
1	3,86	0,89	0,53	13	3,32	1,09	0,58
2	3,35	0,93	0,58	14	4,02	1,12	0,64
3	3,24	0,78	0,44	15	4,56	0,43	0,66
5	3,97	0,95	0,49	16	4,22	0,72	0,57
6	4,08	0,59	0,48	18	4,39	0,62	0,48
7	4,13	0,63	0,65	19	3,88	0,84	0,52
8	2,98	1,09	0,59	20	3,73	0,76	0,56
10	3,77	1,02	0,51	21	3,69	0,84	0,66
11	4,35	0,71	0,64	23	4,31	0,61	0,68
12	4,09	0,56	0,48	24	4,03	0,83	0,47

Джерело: власні дослідження



Висновки

Таким чином, була реалізована модель оцінки CIPP для програми підвищення кваліфікації операторів фасувальних станків дільниці фасування рідких продуктів молокопереробного підприємства. Контекстний компонент моделі дозволив оцінити зручність програми підвищення кваліфікації, її збалансованість, наявність точних оцифрованих даних та відповідність сформованих роздаткових матеріалів рівню підготовки працівників, для яких було організовано навчання. За допомогою компоненту СІРР «вхід» оцінено достатність та якість використаних візуальних та письмових матеріалів у навчальній програмі і вплив дидактичних матеріалів на рівень засвоєних знань. Компонент «процес» СІРР моделі дозволив встановити ефективність організації навчального процесу та ефективності роботи викладачів в розрізі: оптимальної кількості практичних занять для формування необхідних практичних навичок, необхідність відвідування навчання в аудиторній формі чи заміни їх на індивідуальний підхід, необхідність впровадження проміжних тестувань для моніторингу рівня засвоєння необхідних знань, реалізація викладачем індивідуального підходу в навчальному процесі. За допомогою останнього компоненту моделі «продукт» отримано відповіді на такі питання, як задоволення індивідуальних потреб та інтересів учасників навчального процесу, наявність мотиваційного елементу в навчальному процесі, суб'єктивна оцінка операторів дільниці щодо необхідності навчання подібного штибу, формування звички до саморозвитку, навчання в групах, достатність навчального матеріалу для формування необхідних практичних навичок.

Отже, СІРР модель оцінки ефективності корпоративного навчання може бути реалізована за допомогою анкетування респондентів з подальшою статистичною обробкою результатів досліджень. Тобто, факторний аналіз результатів досліджень можна використовувати як ефективний інструмент для оцінки навчальної програми на будь-якому етапі, що відкриває нові перспективи у сфері оцінки навчальних програм корпоративного навчання та їх оптимізації.



Література

1. Баніт О. Корпоративне навчання як інноваційна технологія у системі внутрішньо-фірмової підготовки персоналу. Педагогічні інновації : ідеї, реалії, перспективи. 2014. № 1. С. 94-99.

2. Литовченко І.М. Корпоративна освіта у Сполучених Штатах Америки : теорія і практика : монографія. Київ : Національна академія педагогічних наук України, Інститут педагогічної освіти і освіти дорослих, 2017. 399 с.

3. Носуліч Г. Корпоративна освіта - підходи до визначення терміну. Молодь і ринок. 2018. № 6. С. 154-159.

4. Bayram N. Sosyal bilimlerde SPSS'ile veri analizi. Bursa : Ezgi Kitabevi, 2004. 268 p.

5. Ford D.J. Benchnarking HRD. Training and Development Journal. 1993. Vol. 47 (6). 39 p.

6. Gagne R.M., Briggs L.J., Wager W.W. Principles of instructional design. (4rd ed.). Orlando : Harcourt Brace Jovanovich, 1992. 392 p.

7. Gery G.J. Training vs. performance support: Inadequate training is now insufficient. Performance Improvement Quarterly. 1989. Vol. 2 (3). P. 51-71.

8. Kamsurya R. Learning evaluation of mathematics during the pandemic period CO VID-19 in Jakarta. International Journal of Pedagogical Development and Lifelong Learning. 2020. Vol. 1 (2). P. 1-5.

9. Karatas H.F.S. CIPP evaluation model scale : development, reliability and validity. Procedia Social and Behavioral Sciences. 2011. Vol. 15. P. 592-599.

10. King W.R., He J. A meta-analysis of the technology acceptance model. Information & Management. 2006. Vol. 43 (6). P. 740-755.

11. Lippe M., Carter P. Using the CIPP model to assess nursing education program quality and merit. Teaching and Learning in Nursing. 2018. Vol. 13 (1). P. 9-13.

12. Lucas H. Information Technology: Strategic Decision Making for Managers. New York : Wiley, 2005. 446 p.

13. Parmenter D. Key Performance Indicators : Developing, Implementing, and Using Winning KPIs. New York : Wiley, 2007. 448 p.

14. Schmidt B., Wang L., Schmidt B., Wang L. Predictive Maintenance of Machine Tool Linear Axes. A Case from Manufacturing Industry. Procedia manufacturing. 2018. Vol. 17. P. 118-125.

15. Stufflebeam D.L. The CIPP model for evaluation. In: The international handbook of educational evaluation. New York : Kluwer Academic Publishers, 2003. Р. 34.

16. Worthern B. Program evaluation. In: The international encyclopedia of educational evaluation (Eds. Walberg H., Haertel G.). New York : Pergammon Press, 1990. P. 42-47.

References

1. Banit, O. (2014), “Corporate training as an innovative technology in the system of in-house personnel training”, Pedahohichni innovatsii: idei, realii, perspektyvy, vol. 1, pp. 94-99.

2. Lytovchenko, I.M. (2017), Korporatyvna osvita u Spoluchenykh Shtatakh Ameryky: teoriia i praktyka [Corporate education in the United States of America: theory and practice], Natsional'na akademiia pedahohichnykh nauk Ukrainy, Instytut pedahohichnoi osvity i osvity doroslykh, Kyiv, Ukraine.

3. Nosulich H. (2018), “Corporate education - approaches to defining the term”, Molod' i rynok, vol. 6, pp. 154-159.

4. Bayram, N. (2004), Sosyal bilimlerde SPSS'ile veri analizi [Data analysis with SPSS in social sciences], Ezgi Kitabevi, Bursa, Turkey.

5. Ford, D.J. (1993), “Benchnarking HRD”, Training and Development Journal, vol. 47 (6), 39 p.

6. Gagne, R.M., Briggs, L.J. and Wager, W.W. (1992), Principles of instructional design, 4rd ed, Harcourt Brace Jovanovich, Orlando, USA.

7. Gery, G.J. (1989), “Training vs. performance support: Inadequate training is now insufficient, Performance Improvement Quarterly, vol. 2 (3), pp. 51-71.

8. Kamsurya, R. (2020), “Learning evaluation of mathematics during the pandemic period COVID-19 in Jakarta”, International Journal of Pedagogical Development and Lifelong Learning, vol. 1 (2), pp. 1-5.

9. Karatas, H.F.S. (2011), “CIPP evaluation model scale: development, reliability and validity”, Procedia Social and Behavioral Sciences, vol. 15, pp. 592-599.

10. King, W.R. and He, J. (2006), “A meta-analysis of the technology acceptance model”, Information & Management, vol. 43 (6), pp. 740-755.

11. Lippe, M. and Carter, P. (2018), “Using the CIPP model to assess nursing education program quality and merit”, Teaching and Learning in Nursing, vol. 13 (1), pp. 9-13.

12. Lucas, H. (2005), Information Technology: Strategic Decision Making for Managers, Wiley, New York, USA.

13. Parmenter, D. (2007), Key Performance Indicators: Developing, Implementing, and Using Winning KPIs, Wiley, New York, USA.

14. Schmidt, B., Wang, L., Schmidt, B. and Wang, L. (2018), “Predictive Maintenance of Machine Tool Linear Axes. A Case from Manufacturing Industry”, Procedia manufacturing, vol. 17, pp. 118-125.

15. Stufflebeam, D.L. (2003), The CIPP model for evaluation. In: The international handbook of educational evaluation, Kluwer Academic Publishers, New York, USA.

16. Worthern, B. (1990), Program evaluation. In: The international encyclopedia of educational evaluation, Pergammon Press, New York, USA.

Размещено на Allbest.ru

...