Образовательная стратегия организации и эффективность обучения персонала в цифровой экономике

Размещено на http://www.allbest.ru

Образовательная стратегия организации и эффективность обучения персонала в цифровой экономике

Е.В. Ширинкина

E. V. Shirinkina

EDUCATIONAL STRATEGY OF THE ORGANIZATION AND THE EFFECTIVENESS OF STAFF TRAINING IN THE DIGITAL ECONOMY

In the digital economy, professional development strategies and vocational training are of particular importance, so the market for educational products provides many market players. An objective approach to the effectiveness of staff training in the educational strategy is qualitative or quantitative metrics that reflect the characteristics of the studied parameter. Based on data changes, the validity of hypotheses is checked for the success and effectiveness of training. In this regard, the study presents indicators for assessing the effectiveness of staff training in the educational strategy. These metrics will allow assessing the quality of educational content and its individual parts, the level of training of teachers and the dynamics of mastering students. The relevance of the study is due to the fact that, thanks to the emergence of training information systems and Big Data technologies, for the first time in history, the process of training company personnel got a chance to quickly, continuously and in full register a vast array of observations of educational analytics and staff behavior. The purpose of the work is to present a strategy of Data Driven in training, which allows you to evaluate the achievement of the goal of training content with the effectiveness of the company's activities and the expected results on the part of students. The practical significance of the study lies in the fact that the results obtained will allow companies to build an educational strategy, timely assess the current state of the training system or program, predict the desired results and draw up a roadmap for planned changes.

Keywords: digital economy, educational strategy, business strategy, organization personnel, training efficiency, Data Driven strategy, educational metrics.

В условиях цифровой экономики особое значение приобретают стратегии повышения квалификации и профессиональное обучение, поэтому рынок образовательных продуктов предоставляет множество игроков рынка. Объективным подходом эффективности обучения персонала в образовательной стратегии служат качественные или количественные метрики, отражающие характеристики изучаемого параметра. По изменениям данных проверяется состоятельность гипотез на предмет успешности и результативности обучения. В этой связи в исследовании представлены показатели оценки эффективности обучения персонала в образовательной стратегии. Эти метрики позволят оценить качество учебного контента и отдельных его частей, уровень подготовки преподавателей и динамика освоения слушателей. Актуальность исследования обусловлена тем, что благодаря появлению обучающих информационных систем и технологий Big Data, впервые за историю процесс обучения персонала компаний получил шанс быстро, непрерывно и в полном объеме регистрировать обширный массив наблюдений образовательной аналитики и поведения персонала. Цель работы - представить стратегию Data Driven в обучении, которая позволяет оценивать достижение цели обучающего контента с эффективностью деятельности компании и ожидаемыми результатами со стороны обучающихся. Практическая значимость исследования заключается в том, что полученные результаты позволят компаниям выстраивать образовательную стратегию, своевременно оценивать текущее состояние обучающей системы или программы, прогнозировать желаемые результаты и составлять дорожную карту планируемых изменений. data driven образовательная персонал

Ключевые слова: цифровая экономика, образовательная стратегия, бизнес-стратегия, персонал организации, эффективность обучения, стратегия Data Driven, образовательные метрики.

В течение последних десяти лет в условиях развития цифровой экономики аналитика данных является одним из приоритетов во всех отраслях бизнеса, позволяющая вырабатывать управленческие решения, вести учет продаж и выявлять эффективность бизнес-стратегий, а в настоящее время и образовательных стратегий. Еще в 2014 г. компания Gartner на международном саммите Gartner Business Intelligence & Analytics декларировала абсолютную необходимость в переходе от традиционной описательной аналитики к аналитике для принятия решений [1-3]. На английском языке подход, о котором идет речь, называется Data Driven Decision Making (DDDM, принятие решений на основе анализа данных, или информационно обоснованное принятие решений). Исторический оппонент Data-Driven-подхода - HiPPO (Highest Paid Person's Opinion) - принятие решений на основе мнения руководящего лица с опорой на интуицию и экспертность [4; 5].

Анализ существующих практик позволил все многообразие образовательных метрик классифицировать на следующие группы:

Внутренние показатели (соответствие курса ожиданиям студента; Churn Rate (процент возвратов, или показатель оттока пользователей); NPS/CSI при завершении программы; CSI после 1, 3 и 8 занятия; COR).

Показатели эффективности обучения (процент трудоустройства в первые 14, 30, 60, 90 дней; стартовая зарплата; прохождение испытательного срока; рост заработной платы через 6, 12, 24 месяца; уровень счастья выпускника).

Показатели рынка труда (реферальность - доля новых обучающихся, которые пришли по рекомендации текущего; готовность брать выпускников; отзывы, CSI по кандидатам и сотрудникам).

В этом исследовании представим стратегию Data Driven, включающая освещение следующих вопросов: что такое подход Data Driven в целом и в обучении персонала в частности; почему важно замерять изменения и как это делать; как выстроить систему аналитики для обучающей программы персонала компаний.

Перечислим в общих чертах некоторые источники данных [6-8]:

SCORM Cloud LRS. Многие разработчики пользуются этим сервисом для тестирования SCORM-пакетов, но не все знают, что SCORM Cloud можно использовать как бесплатную облачную LRS (в том числе не только для курсов). Имеет только базовую функциональность.

LRS-система с наиболее мощными и дорогими аналитическими инструментами. Используется в крупных компаниях по всему миру, хорошо интегрируется с различными источниками данных и HR-платформами, позволяет гибко настраивать права доступа.

LRS-система. Самая популярная open source LRS-система в мире, используется крупными российскими компаниями, в том числе в СберУниверситете. Развивается с 2014 г., но в последнее время менее активно.

Коммерческая LRS-система со множеством дополнительных функций и плагинов (портал для учащихся с запуском курсов, генератор стейтментов и др.).

SQL LRS. Новая (вышла в 2021 г.) и в данный момент единственная open source LRS-система на основе SQL. Имеет только базовую функциональность, но комплектуется дополнительными приложениями, например, LRS Pipe 1 - для фильтрации и пересылки стейтментов.

GrassBlade LRS. Разработана в первую очередь для интеграции с LMS на базе WordPress, но может использоваться и без него. В отличие от других LRSсистем, легко установить на любой виртуальный хостинг.

Open LRS. Первая LRS-система в России, которую можно использовать отдельно от LMS. Оптимизирована для работы с большими потоками данных (протестирована на 1500 запросов в секунду). Позволяет загружать и тестировать электронные курсы без LMS.

Данные дают компаниям крепкий фундамент для принятия решений: именно они позволяют основываться не на интуиции, отдельном экспертном мнении или эмоциональном состоянии, а на измеримых показателях и проверяемых гипотезах.

Важный этап - понять, какие именно метрики помогут прояснить волнующие вопросы и достичь поставленных образовательных целей. В этих целях можно использовать простой семишаговый алгоритм стратегии Data Driven, которым пользуются в Skyeng и Skypro [9; 10].

Шаг 1. На что мы хотим повлиять?

Какое текущее состояние вас не устраивает, какие показатели нуждаются в изменении (например, финансовые, качественные и т. д.)?

Невозможно измерить и оценить изменения без стартовой точки, поэтому необходимо учесть следующие два фактора:

Что уже известно о текущем состоянии? Если пока ничего, нужно определить стартовую точку (точку отсчета).

Какие показатели уже замеряются? Если никаких, то нужно начать фиксировать данные. При этом желательно учесть факторы сезонности и другие внешние воздействия, которые могли повлиять на результат.

Примеры:

Нас не устраивают. LTV, COR, NPS, CSI, успеваемость слушателей, скорость прохождения материала, длительность взаимодействия с контентом.

Шаг 2. Почему нам это важно?

Что произойдет, если мы не будем менять ситуацию? Как это повлияет на стратегические и тактические задачи? Есть ли эти изменения в наших KPI/OKR и касаются ли они всех членов команды, которая внедряет изменения? Не рекомендуется запускать проект, если необходимые вам эксперты и сотрудники не заинтересованы в результате и не имеют понятных KPI.

Примеры:

Мы понимаем, что без увеличения LTV слушателей юнит-экономика не показывает прибыльности.

Мы понимаем, что текущий NPS и отзывы о программах не позволяют привлекать необходимое количество новых слушателей.

Нас не устраивает качество образовательных результатов наших слушателей.

Мы не понимаем, насколько хорошо слушатели осваивают материал

Шаг 3. Какие решения мы будем принимать на основе данных?

На этом этапе мы запускаем цикл генерации гипотез: как изменить метрики из вопроса № 1 и реализовать задачи из вопроса № 2?

Примеры: Менять контент уроков, корректировать программы обучения, обучать преподавателей, внедрять новые или изменять текущие подходы донесения.

Шаг 4. Какие данные нам нужны, чтобы принимать решения?

При составлении списка метрик важно отдельно отметить минимальное количество данных, которого будет достаточно для дальнейшего анализа. Дело в том, что с большой долей вероятности существенная часть параметров ранее не собиралась, поэтому потребуется создание процессов по сбору этих данных. Например, обратная связь слушателей: нужно создать анкету, процесс ее распространения, обеспечение охвата, сохранение в базу данных и т. д.

Примеры:

Промежуточные оценки или результаты каждого конкретного действия пользователя.

Обратная связь по материалам урока от обучающегося.

Результаты промежуточных тестов.

Доля активности слушателя и преподавателя на уроке.

Шаг 5. Как собирать эти данные и сколько это будет стоить?

Из каких источников мы будем получать данные по списку из вопроса № 4?

Какова будет стоимость сбора этих данных?

Сопоставима ли стоимость сбора данных с эффектом, который может быть получен по результатам их анализа?

Примеры:

Данные из системы управления обучением (LMS), видео-речевая аналитика, обратная связь из опросов.

Шаг 6. Как мы будем обрабатывать и представлять данные?

На этом этапе рекомендуется иметь в команде аналитика, который профессионально определит подходы к анализу данных.

Примеры: многомерный метод, применяемый для изучения взаимосвязей между значениями переменных; для исследования влияния одной или нескольких независимых переменных, факторных, на зависимую переменную, результативную.

Шаг 7. Как будут применяться результаты и аналитические модели?

Возможно ли на основе результатов анализа построить что-то осязаемое, например, отслеживать изменения через дашборд, ставить KPI для членов команды и т. д.?

Примеры:

Предиктивные (прогнозные) модели, рекомендательные системы.

С каждого шага можно вернуться на предыдущий этап, чтобы скорректировать его. Это позволяет построить гибкий итерационный процесс и справиться с новыми подробностями, которые не были учтены на ранних этапах.

Представленная стратегия Data Driven - это ориентир, который помогает решить поставленные задачи и подтверждать результаты. При выборе метрики необходимо четкое понимание цели каждого воздействия и ее ценности не только для образовательных результатов, но и для бизнеса.

Рассмотрим аналитику лучших практик [9].

Например, для «цифровой экономики» (большого кластера профессий, связанных с направлениями IT, Data и Digital) была получена совокупность наиболее востребованных мягких навыков (рис. 1).

На приведенной схеме обозначены те мягкие навыки, которые фигурируют в вакансиях и прямо обозначаются в описаниях вакансий (т. н. сильные сигналы). Компетенции самоактуалиизации - это прямо не обозначенные, но тем не менее важные компетенции (слабые сигналы). Именно они имеют решающую роль при найме работников, например, в процессе собеседований. Из-за недостатка таких навыков работнику, полностью соответствующему требованиям вакансии, могут даже отказать в трудоустройстве.

Поскольку организация фокусируется на работе с данными образовательного опыта, имеется возможность анализировать цифровой след пользователей и извлекать оттуда нужные инсайты.

Что можно распознать в цифровом следе?

вовлеченность (совокупный показатель активности, участия, инициативы, использования инструментов, коммуникации, рефлексии, задаваемых вопросов и проявленных эмоций);

командность и командные взаимодействия (роль участника в командной работе, вклад, полезность, функциональность, уровень доверия и слаженности команды);

специфику коммуникации (степень участия, лидерство, уровень проявления эмоций и генерации идей);

отношение к тематикам и проявленные участниками эмоции (использование эмодзи, общее настроение, анализ сентимента в тексте, интонации текстов и аудио, выражения лиц);

сравнительную активность треков (сравнение отдельных треков по показателям во временном разрезе);

автогенерацию текстов и плагиат (распознавание автоматически сгенерированных текстов и заимствований);

содержание и разметку терминов (распознавание и разметка смыслового наполнения текстов, разбиение на рубрики);

понимание материала в сравнении с лектором (сравнение семантических ядер, определение уровней, границ и погрешности понимания).

Рис. 1. Наиболее востребованные метапредметные компетенции компаний-инноваторов (мировой рынок) [9]

В проектной деятельности Университет 20.35 стал использовать данные «Оценки 360». Построен простой инструмент, который позволяет проанализировать взаимную оценку и отношение студентов к деятельности друг друга при выполнении проекта. Для студентов это полезный инструмент самооценки, благодаря которому они видят свои сильные стороны и эффективность.

В образовательной стратегии компаний актуальным становится подход оценки когнитивной посильности - оценка усвояемости учебного контента, выявить трудности освоения. Это позволит выстраивать образовательные треки индивидуализации обучения (см. рис. 2).

Рис. 2. Оценка когнитивной посильности обучения

При оценке когнитивной посильности в образовательной аналитике используется одна цифра от 0 до 1, что позволяет легко интерпретировать полученные данные.

Для многофакторной оценки эффективности обучающей программы как продукта используется популярная классическая модель Киркпатрика [6; 8], состоящая из пяти уровней и включающая для оценки многие уже упомянутые выше метрики.

Оценивание должно быть прозрачным и открытым. В Бостонском колледже в 2003 г. был опубликован поучительный отчет Errors in standardized testing01 («Ошибки в стандартизированном тестировании»). Его авторы собрали историю самых известных ошибок в тестах. Интересно, что ошибки находили и сами разработчики, и тестируемые, и даже журналисты, которые пишут об образовании. Один из выводов отчета звучит так: «Прозрачность и открытость - единственный способ получить качественный инструмент».

В оценивании нужно знать меру, соблюдать этику и применять инструменты осознанно, с пониманием того, что каждое задание - это время тестируемого. Нужно всегда держать в голове:

что мы потом будет с этим делать;

как мы используем каждый ответ, каждое задание; нам точно нужно его давать или можно обойтись без него?

Начинающих разработчиков тестирования зачастую нужно останавливать от добавления ненужных заданий, приучать к максимально экономичному дизайну.

Качество метрик образовательной аналитики обеспечивается за счет соответствия четырем важным психометрическим характеристикам: надежности, валидности, репрезентативности и достоверности.

Аналитика образовательных данных - это лишь набор числовой или текстовой информации. Чтобы извлечь из них смысл, необходимо смотреть на них через правильную линзу. Такой линзой может послужить образовательный дизайн, которого нужно придерживаться, когда ищете закономерности и инсайты. Образовательный дизайн исследования помогает выбрать нужные данные и найти только те значения, которые отвечают на вопросы образовательного дизайна. На финальном этапе обучения необходимо сверить с изначальными целями образовательного курса.

Процесс образовательного дизайна исследования:

определить результат, к которому необходимо прийти, какую проблему исправить;

определить, какая информация нужна, чтобы узнать о причинах этой проблемы;

определить важные в своем вопросе параметры/метрики, сегментировать данные по ним;

определить зависимости с целевым параметром;

формулировать предположения и проверять их.

В этом материале были представлены базовые рекомендации по достижению его качества, которые пригодятся как разработчикам, так и заказчикам. Среди наиболее важных можно отметить следующие: разработку спецификации теста, создание разных типов тестовых заданий для комплексной оценки умений в достаточном их количестве, учет особенностей целевой аудитории, внимание к логичности и грамотности формулировок, проведение статистического анализа заданий постфактум или при апробации.

Список литературы

1. Вилкова К.А., Захарова У.С. Учебная аналитика в традиционном образовании: ее роль и результаты // Университетское управление: практика и анализ. 2020. Т. 24. № 3. С. 59-76.

Амаева Л.А. Сравнительный анализ методов интеллектуального анализа данных // Инновационная наука. 2017. № 2 (1). С. 27-29.

Интеллектуальный анализ образовательных данных, онлайн-курс. // Университет 20.35. URL: http://sber.me/ ?p=2RZbZ (дата обращения: 10.022022).

Дацун Н.Н., Уразаева Л.Ю. Перспективные направления применения учебной аналитики // Ученые записки ИУО РАО. 2017. № 1 (61). С. 43-46.

Ширинкина Е. В. Интеллектуальный анализ образовательных данных // Вестник Тверского государственного университета. Серия: Экономика и управление. 2021. № 3 (55). С. 179-188.

Свердлов М.Б. Образовательная аналитика: управление образовательной организацией и создание контента на основе данных, 2021. URL: http://sber.me/?p=LPG6h (дата обращения: 10.02.2022).

Ширинкина Е.В. Управление эффективностью работников интеллектуального труда в высших учебных заведениях // Управление персоналом и интеллектуальными ресурсами в России. 2018. № 7 (1). С. 12-16.

Дэвид Ньеми. Learning Analytics in Education, 2018. URL: http://sber.me/?p=kBPrb (дата обращения: 10.02.2022).

KPMG. Corporate Digital Learning. URL: https://iversity.org/en/courses/corporate-digital-learning (дата обращения: 10.02.2022).

Дирка Ифентала, Даны-Кристин Ма, Джейн Инь-Ким Яу. Utilizing Learning Analytics to Support Study Success, 2019. URL: http://sber.me/?p=292fN (дата обращения: 10.02.2022).Размещено на Allbest.ru