Сотрудники прошли дистанционный курс или онлайн-тренинг и получили высокие оценки за тестирование. Вроде бы все хорошо, но проходит время, а ошибки в работе все те же. Проблема в программе обучения? В качестве преподавания? В сотрудниках? Чтобы это узнать, нужно проанализировать процессы обучения. Казалось бы, задача емкая и непростая — но не для онлайна.
Появление новых цифровых форматов обучения и массовый переход компаний на удаленку открыли море возможностей для сбора и обработки данных. Компании начали накапливать цифровой след в образовательной траектории, благодаря которому можно не просто узнать, кто был на тренинге и как сотрудники написали тест, а полностью отследить путь обучения каждого из участников. Как это сделать, рассказала Тамара Кочарова, СЕО ТренингСпэйс.
Тамара Кочарова
СЕО ТренингСпэйс
Аналитика в онлайн-обучении : теория
Образовательная аналитика, или Learning Analytics (LA), — исследование процессов обучения, которое основано на сборе, обработке и изучении данных. Аналитика помогает оценивать текущие процессы, строить эффективные образовательные стратегии и прогнозировать их результат. А благодаря быстрой обработке данных в онлайне еще и оперативно вносить изменения: перестраивать образовательные процессы, улучшать программы, менять тренеров и методологов.
Цифры помогают увидеть, где мы недорабатываем
Учебная аналитика смотрит на процессы обучения глобально, учитывает разные факторы и не концентрируется только на работе с большими данными. Ее цель — найти решение и скорректировать процесс обучения. Параллельно развивается другое направление — интеллектуальный анализ данных в образовании, или Educational Data Mining (EDM). Эксперты в этой области ориентируются на анализ больших данных и занимаются поиском закономерностей в неструктурированных данных. LA и EDM упоминаются вместе как смежные направления, но это не одно и то же.
Онлайн vs офлайн
Когда мы говорим об эффективной аналитике, то в первую очередь подразумеваем онлайн-обучение. Все потому, что скорость обработки данных, их объем и качество в офлайн- и
Как в офлайне
Тренер или тьютор записывают характеристики членов группы, количество человек в начале курса и в конце курса, изучают результаты тестирования и отзывы участников в анкете обратной связи. Других данных в офлайне нет. Больших данных тоже нет, если только не использовать для очных форматов обучения мобильные приложения и не накапливать данные там.
Как в онлайне
Если сотрудники обучаются с помощью виртуальных систем, данные собираются автоматически. Причем это не просто информация о количестве человек на тренинге или об оценках за тест, а то, как сотрудники занимались, какие нажимали кнопки, сколько отвлекались на соседние вкладки в браузере и как действовал тренер. Количество метрикМетрика в аналитике — качественный или количественный критерий оценки. может быть очень большим.
Какие цифровые данные собирает аналитика
Все, что имеет отношение к образовательному процессу в онлайне. Условно эти данные можно разделить на три большие группы. Их можно получить благодаря работе с цифровым следом.Чтобы собирать максимальное количество данных с помощью цифрового следа, важно использовать в обучении сценарный подход — структуру курса с единым стандартом для всех тренеров.
Обучающийся
Не только должность, личные характеристики, профессиональный опыт и количество пройденных программ, но и как обучался на конкретном тренинге, какую идею написал, за что проголосовал, сколько говорил в эфире, как часто включал камеру, насколько был активен, как часто отвлекался, как сдал тест, какую дал обратную связь.
Преподаватель, тренер, тьютор
Не просто как провел тренинг, а шел ли по сценарию, какие практические активности задействовал, что конкретно из слайдов пропускал, сколько времени тратил и на какую конкретную активность, выключал ли камеру, как вовлекал обучающихся, какие задавал вопросы, как реагировал на сложности во время обучения.
Контент и методология
Все о программе обучения: вовлеченность участника на том или ином модуле программы, какие блоки пропускаются и почему.
Все больше компаний уходят в накопление цифрового следа и обработку массивов данных, принимают на основе этих данных стратегически важные решения. Этот подход называется Data Driven
В образовании — Data Driven Education
Из чего состоит цифровая аналитика
Образовательная аналитика в онлайне, как и любая другая аналитика данных, может проходить через несколько этапов. Разные эксперты называют разное их количество. Мы остановились на четырех: дескриптивный (описательный), диагностический, предиктивный и прескриптивный. На каждом этапе нужны ответы на свои вопросы. Количество этапов может меняться в зависимости от задачи.
«Что происходит?» Этап дескриптивной аналитики, на котором эксперт мониторит процессы, собирает информацию, выявляет и оценивает проблемы. Это база, без которой невозможны остальные этапы.
«Почему так произошло?» Диагностический этап, на котором эксперт использует полученную информацию, чтобы найти причину возникшей проблемы.
«Что могло бы произойти?» Предиктивный этап, на котором прогнозируются возможные сценарии развития событий. Здесь уже может подключаться Data Science: большие данные (Big Data), сценарное моделирование, машинное обучение и как раз EDM — интеллектуальный анализ данных.
«Что делать?» Прескриптивный этап аналитики, который помогает найти решение. Здесь также могут использоваться инструменты Data Science: машинное обучение, сценарное моделирование, математическая оптимизация.
Какие решения можно принимать на основе цифровых данных
Любые, которые сделают обучение эффективнее. Вот что можно сделать после проведения аналитической работы:
Контент
Улучшить методологию обучения: выявить слабые места в образовательных программах сотрудников, изменить или дополнить их.
Форма обучения
Выбрать подходящую форму обучения для изучения и отработки конкретных знаний и навыков: синхронный онлайн-тренинг, асинхронный курс, смешанный вариант — и тренинги, и курсы.
Виды онлайн-обучения по версии ТренингСпэйс
Метод обучения
Подобрать методику, которая покажет максимально эффективный результат.
Обучение тьютора или тренера
Подтянуть навыки эксперта, который проводит обучение или сопровождает обучающихся.
Аналитика в онлайн-обучении : практика
Разберем теорию на простых примерах из практики ТренингСпэйс.
Кейс 1
Клиент — крупная производственная компания с численностью персонала свыше 50 тысяч человек. Корпоративный университет этой компании запускает онлайн-программу для развития управленческих компетенций у руководителей. Десять тренеров должны вести обучение по одному сценарию в течение пяти месяцев. Все предтренинги, посттренинги, онлайн-тренинги и электронные курсы подчинены единому жесткому стандарту.
1. Дескриптивный этап
Через месяц, когда первая группа численностью 200 человек завершила обучение, в КУ посмотрели на результат проделанной работы. Выяснили, что у шести тренеров процент завершения программыПроцент завершения программы — общий показатель, который учитывает весь образовательный цикл обучающегося: участие в
В ТренингСпэйс эксперты могут следить за уровнем вовлеченности участников в каждой активности, смотреть на социометрию и работу пользователей в мозговых штурмах и модерациях, на досках и флипчартах, отслеживать работу по пре- и посттренинговым материалам. И, конечно, изучать результаты опросов, социометрии и анкеты обратной связи. А еще — зайти во время онлайн-тренинга в комнату в режиме супервизии и проследить за действиями тренера
2. Диагностический этап
В КУ начинают углубляться в аналитику, чтобы найти причины снижения вовлеченности участников в обучение.
Смотрят, как проходят тренинги у шести тренеров с высоким процентом завершения программы. Как идут по сценарию, на каком слайде и какой активности участники чаще всего отваливаются. В целом это происходит в последние 20 минут тренинга — нормальный показатель.
Изучают, как работают четыре тренера с низким процентом завершения программы. Что видят: кто-то пропускает слайды с практическими заданиями и ведет занятие как вебинар, а
кто-то плохо владеет навыками ораторского искусства, и тренинг проходит очень скучно.
3. Прескриптивный этап
Поиск решения на этом этапе не требовал сложных вычислительных подходов, поэтому обошлись без инструментов и методов Data Science.
Что сделали. Еще раз запустили программу подготовки диджитал-тренеров, где заточили все нужные для программы обучения навыки. Поняли, что один из тренеров вообще не подходит для онлайн-тренингов, и сняли его с этой программы.
Результат. Процент завершения программы вырос и больше не снижался до низких показателей.
Кейс 2
Клиент — крупный российский ретейлер. Запустили две программы на одну и ту же целевую аудиторию с одними и теми же тренерами. Одна программа была направлена на развитие коммуникативных навыков, другая — на уверенное поведение и влияние. Сценарии проведения обучения единые, не допускающие вольного отклонения от стандартов.
1. Дескриптивный этап
Во время мониторинга процессов обнаружили, что в одной программе процент завершения высокий, а в другой — ниже 50%. Аудитория одна и та же, тренеры одни и те же — в чем проблема?
2. Диагностический этап
В компании начинают изучать работу программ изнутри и понимают, что в одной из них контент составлен больше с теорией, а в другой — больше с практикой. В одной программе — 40 слайдов теории и одна практическая активность, в другой — три слайда теории, а все остальное — это активная работа с командой.
3. Прескриптивный этап
Что сделали. Методологи пересмотрели и собрали программу заново.
Результат. Процент завершения программы вырос, и обе программы начали работать одинаково эффективно.
Что в итоге
Так как же аналитика улучшает онлайн-образование? Вернемся к ситуации из начала статьи: сотрудники — менеджеры отдела продаж прошли дистанционный курс, получили высокий балл за тест, но в разговоре с клиентами допускают те же ошибки, что и до обучения. Что делать?
Неправильно
Бросаться вслепую перестраивать все процессы. Ругать сотрудников, ругать тренеров и методологов, вложить больше денег в программу или, наоборот, закрыть ее как неэффективную. Что-то да сработает. Правда, бизнес при этом потеряет деньги, руководители функции обучения — время, а сотрудники и тренеры — мотивацию. Но сработает.
Правильно
Воспользоваться данными, учесть ключевые факторы и проанализировать весь путь, от первичного запроса на обучение до впечатлений сотрудников о тренинге в анкете обратной связи. А главное — посмотреть изнутри, как проходило обучение. Узнать не только как часто сотрудник отвлекался на соседние вкладки и насколько был активен на уроке, но и соответствовало ли в целом обучение стандартам компании. Тем более что теперь это тоже можно быстро отследить.
И еще несколько слов
Образовательная аналитика помогает быстро и эффективно менять процессы обучения. Компании, уходящие в онлайн, накапливают цифровой след, который в ближайшем будущем сильно упростит им работу — особенно тем, кто обучает сотрудников на профессиональных цифровых платформах, где собирается много разных данных.
При этом важно помнить, что одни только вычисления не заменят эксперта, который разбирается в тонкостях обучения. Для качественной работы с аналитикой нужны толковые специалисты, многих из которых еще предстоит вырастить.
Бонус от ТренингСпэйс
Начните анализировать процессы онлайн-обучения в компании уже сегодня. Скачивайте чек-лист, отвечайте на вопросы и получайте общую картину развития ваших сотрудников.
Комментарии
Комментировать