Владимир Горощенко, главный специалист «Виртуальной школы» СберУниверситета, — о том, как в крупнейшем банке России обучают сотрудников, оценивают их знания, защищаются от взломов и проводят тысячи тестирований каждый год.
О компании: СберУниверситет — один из самых крупных корпоративных университетов в России. В кампусе ежегодно обучается 55 тысяч человек, а на образовательной платформе СберУниверситета «Виртуальная школа» — больше 300 тысяч сотрудников и внешних клиентов. В Университете более 500 образовательных программ и 340 преподавателей и спикеров.
Как устроен СберУниверситет?
В Сбере работают сотни тысяч человек, а услугами банка пользуется 104 миллиона клиентов. Развитие самого Сбера требует постоянного переобучения сотрудников.
С этой мыслью в компании и создавали корпоративный университет, который, кроме того, должен был помочь выстроить единую культурную среду и культурный код.
В рамках СберУниверситета запустились программы развития как профессиональных, так и «софтовых», в особенности лидерских качеств. Первыми студентами стали 30 тысяч руководителей банка.
При этом в СберУниверситете понимали, что без личного общения и обмена опытом обучение будет не столь эффективным. Так у учреждения появился кампус. Сегодня Университет — это отдельная организация: сотрудники школ и академий; методологи, которые создают контент; IT-подразделение; и медиастудия, которая занимается VR- и AR-технологиями, видеосъёмкой для всех образовательных курсов.
В том же 2012 году была создана и «Виртуальная Школа» — онлайн-платформа для обучения. Сначала это был портал для самообразования, в котором руководители могли изучать курсы, смотреть видеоматериалы и читать полезные им книги. Но постепенно он превратился в полноценную образовательную систему, которая работает 24/7.
Доступ в неё получили все сотрудники Сбера, больше 300 тысяч человек. Сегодня обучение в Университете проходит во всех форматах — не только очно или онлайн, но и гибридно. Так, программы для некоторых руководителей подразумевают годовое или более длительное обучение, в рамках которого необходимо проходить дистанционные курсы, читать литературу и выполнять диагностические задания, а потом приезжать на интенсивы в кампус СберУниверситета, которые могут длиться от 2 до 7 дней. В некоторые месяцы бывает так, что кампус загружен на 100%, все аудитории заняты.
Обучение такого большого количества слушателей в какой-то момент актуализировало вопрос – как контролировать процесс обучения, создать полностью защищенную систему тестирования знаний?
В компании устроили конкурс и выбрали StartExam.
«Знаешь ли ты?..» Зачем проверять знания сотрудников
Как понять, получили ли сотрудники новые знания или нет? По словам Владимира, зачастую в российских компаниях тестируют персонал один раз за всё время обучения. Сотрудники узнают друг у друга правильные ответы и, чтобы не тратить лишнее время, «протыкивают» их в тесте. Формально обучение пройдено, но сделает ли оно работу эффективнее?
В СберУниверситете стоят три цели проверки знаний:Поэтому без качественного тестирования практически невозможно обеспечить получение качественных знаний.
-
Диагностическая. Перед началом программы студента проверяют на готовность к усвоению знаний. Возможно, ему предварительно стоит пройти какой-то базовый курс. И наоборот — если сотрудник уже знаком с определёнными модулями, ему сразу зачтут их.
-
Формирующая. Во время обучения тестирование используется для закрепления знаний. Проходя тест, сотрудник тоже обучается, развивает творческие способности.
-
Итоговая. Тестирование, чтобы проверить, насколько усвоен материал по итогам обучения.
Тесты в основном создаются методологами СберУниверситета, представителями профильных подразделений банка или при поддержке внешних экспертов. Помимо классических образовательных программ бывают ситуационные — когда заказчик решает определённую задачу. В таких случаях проводят обучение, тестирование, а потом по бизнес-показателям отслеживают, что проблема стала проявляться реже.
StartExam и СберУниверситет: 5 миллионов сессий и 6 плодотворных лет вместе
В самом начале сотрудничества StartExam использовался точечно на важных программах. Но уже скоро проект разросся на весь Университет.
Сегодня у СберУниверситета более 70 центров тестирования в системе — у каждой академии и бизнес-заказчика своё собственное пространство с контрольными материалами. Это значит, что 300 менеджеров (это сотрудники как СберУниверситета, так и Сбера, работающие с платформой) не мешают друг другу. Всё благодаря гибкой системе ролей:
-
доступ к каждому центру есть у 5-10 заинтересованных лиц, они работают только с тестами своей программы/направления;
-
в системе отображается история действий. Если какой-то сотрудник внёс изменения в общую структуру (например, удалил или создал тест) или изменил мелкие детали — вопросы, шкалы, список участников, — их увидят администраторы;
-
это исключает случайности — никто из менеджеров не удалит чужой тест или не внесёт неотслеживаемые изменения. Кроме того, если сами менеджеры проходят обучение, им можно будет закрыть доступ к ответам;
-
при помощи доступа по ссылке преподаватели проверяют работу студентов напрямую без авторизации.
StartExam закрывает для СберУниверситета целый спектр задач:
Проверка знаний
За 6 лет в СберУниверситете создали около 10 тысяч тестов, которые прошли больше 5 миллионов раз.
Массовые тестирования
Как мы уже упоминали выше, тесты в СберУниверситете используют не только для проверки знаний, но и в качестве непосредственного элемента обучения. Особенно, если нужно массово и быстро передать новые знания большому числу сотрудников.
Так было весной 2020 года, в разгар первой волны коронавируса. Всё происходило очень быстро, и буквально за неделю решался вопрос о том, чтобы переводить всех сотрудников на удалёнку. Для этого надо было подготовить технологическую базу, обучить, объяснить, что можно делать из дома, а что нельзя, как заходить в удалённые системы, использовать VPN, дополнительные одноразовые пароли, как установить приложения.
В кратчайшие сроки обучение и тестирование прошли сотни тысяч сотрудников Сбера. Владимир особенно отмечает исключительную надёжность системы StartExam:
Тестирование технических специалистов (с защитой от взлома)
Самый активный пользователь StartExam — Академия технологии и данных СберУниверситета, факультет с IT-уклоном. По словам Владимира, тестирование программистов — это особый квест, потому что они всё время пытаются проверить систему на прочность.
Но StartExam за годы совместной работы превратилась в практически невзламываемое решение. Приведем несколько кейсов по «взлому»:
-
Намеренное «притормаживание» таймера, чтобы получить больше времени на прохождение. В системе хранится как клиентское, так и серверное время. По расхождениям видно все попытки «читерства».
-
Смена часовых поясов. Если время начала теста установлено на 10:00 по местному времени, то попытка начать его раньше или позже ни к чему не приведет – система отслеживает часовые пояса.
-
Поиск правильных ответов в консоли. Ответы не хранятся в коде, сопоставление происходит на сервере.
-
Создание и рассылка скриншотов. Тесты для СберУниверситета создаются с использованием большого банка заданий. Это значит, что в каждой сессии в случайном порядке собирается уникальный тест.
-
Вход с двух устройств. Система фиксирует такие попытки и позволяет зайти с одного устройства за раз.
-
Подстановка значений регистрационной анкеты. Пользователи «Виртуальной школы» получают уникальные закодированные ссылки на тесты. По ним невозможно зарегистрироваться за другого человека.
Кросс-рецензирование
Чтобы снять нагрузку с преподавателей, во многих тестах СберУниверситета используется кросс-рецензирование. Это особый тип задания в StartExam, которое студенты должны проверить друг у друга. Ещё это важный инструмент социального обучения, поскольку сотрудники получают фидбек от коллег своего уровня из разных подразделений.
Задание полностью автоматизировано — можно указать дедлайн и количество людей для проверки, итоговую дату получения результата. А чтобы исключить человеческий фактор и предвзятость, StartExam автоматически отбрасывает самые низкие и самые завышенные оценки.
Защита от списываний
Самые важные тестирования в СберУниверситете проводятся с использованием прокторинга. Благодаря интеграции StartExam с системой Examus экзамены становятся максимально объективными.
Проведение опросов
Опросы проводятся как на «входе» обучения, чтобы понять аудиторию курса, так и по его итогам, чтобы улучшить материалы. Даже после разовых мероприятий (митапов, вебинаров) преподаватели выводят на экране QR-код с ссылкой на анкету. Результаты этой обратной связи внесены в KPI СберУниверситета.
Через опросы в компании также в короткие сроки собирают информацию от сотрудников: сведения для выдачи сертификатов или оформления виз, заявки на трансферы и проживание в кампусе, в пандемию коронавируса — статусы по прививкам и тестам.
Улучшение внутренних сервисов
В компании проводят опросы «Голос внутреннего клиента», чтобы определить качество работы отдельных подразделений Университета. Например, ресторан может узнать, устраивает ли посетителей разнообразие и вкус блюд, время работы, сервис. Каждое подразделение может запускать такие проекты по собственной инициативе, а раз в год опрос проводят среди всех сотрудников.
На сайте gvk.startexam.ru больше 50 сервисов (охрана, заказ пропусков, питание, трансфер, проверка договоров и т.д.). Получив обратную связь, внутренние подразделения проводят работу над ошибками.
Какие доработки были внесены в систему благодаря СберУниверситету
СберУниверситет — один из самых активных пользователей системы. 70+ центров тестирования, 300+ активных пользователей, миллионы тестов приводят к возникновению особенных запросов на новую функциональность. За 6 лет совместной работы мы внедрили множество новинок по заказу Университета. В этом параграфе расскажем о некоторых из них.
Интеграция с внутренней LRS
Все действия студентов в StartExam — клики, переходы к вопросам, время тестирования — передаются в корпоративную Learning Record System СберУниверситета. Когда студенты зачисляются на курс, им автоматически присваиваются ссылки на будущие тестирования.
Проверка качества заданий
Поскольку у «Виртуальной школы» большая аудитория, любая, даже мелкая орфографическая ошибка, приводит к потоку обращений в техподдержку.
Поэтому по запросу СберУниверситета в StartExam появился отчёт по качеству заданий. Он позволяет понять, что задание слишком лёгкое или, наоборот, сложное, ответ слишком очевиден или, напротив, его почему-то не выбирают даже самые успешные студенты.
Ещё на этапе подготовки тест отправляют методологам на проверку и затем строят отчёт по качеству заданий, в котором отображается сложность, дискриминативность, среднее количество правильных ответов. Таким образом, перед выпуском на большую аудиторию можно что-то поправить и избежать негатива.
Генератор ссылок для обратной связи
В ссылках прописываются даты и программа обучения, аудитория, модуль, группа, преподаватели. Благодаря этому менеджеры могут отсортировать обратную связь по итогам обучения и точечно посмотреть, с какими проблемами сталкиваются ученики.
Опросы CSI и NPS
Ещё два инструмента, крайне полезные для оценки программ обучения — опросы CSI (Customer Satisfaction Index) и NPS (Net Promoter Score).
Бесшовный опыт тестирования
Специально для СберУниверситета мы забрендировали систему под дизайн-код компании. В результате пользователи при переходе из «Виртуальной школы» не ощущают «скачок» в дизайне и шрифтах. Домен также подменяется под корпоративный, поэтому у сотрудников создаётся ощущение бесшовного обучения.
Доступность на любых устройствах
StartExam работает на любых устройствах, включая смартфоны и планшеты, и во всех современных браузерах. Кроме того, пользователи могут объединять возможности своих устройств. Так, отсканировав специальный QR-код на компьютере, с которого проходится тест, можно прикрепить файл с ответом прямо со своего смартфона.
Итоги
СберУниверситет сегодня — крупнейший корпоративный университет в России, и продолжает своё развитие как центр лидерских компетенций не только для сотрудников Сбера, но и для всех желающих. В компании особенно внимательно относятся к обратной связи студентов — на её основе как разрабатываются новые программы, так и ставятся «на паузу» устаревшие.
Все оценки в анкетах, опросах NPS и CSI в режиме реального времени собираются в единый дашборд. Кроме того, сейчас внедряется инструмент Self-Efficacy — это самооценка сотрудником своих навыков и возможностей их применения до программы, сразу после и через какое-то время. Кроме того, собирается и оценка от руководителей, насколько успешно их подчинённые после прохождения обучения освоили новые навыки.
Говоря о работе со StartExam, Владимир особенно отмечает быстрые взаимодействия, отзывчивость и надёжность системы.
По опыту взаимодействия с разработкой мы всегда ставим StartExam в пример другим компаниям. Нам сразу говорят, могут ли осуществить наш запрос или нет, и сколько на это понадобится времени.
У нас полное доверие к нашим партнёрам, в качестве работы которых мы уверены. Сформировали требование, отдали, прошло оговоренное время — и мы получили результат.
Важно, чтобы была обратная связь и контакт. Мне приводили пример, что крупные компании что-то реализуют, но им обратная связь пользователей не особенно важна. Они считают, что надо сделать только так и никак иначе. Непопулярные решения откатываются и исправляются только после вала негатива. Пользователь и разработчик очень далеки друг от друга, и между ними невидимая стена.
При взаимодействии со StartExam всё ровно наоборот — могу отметить отличные человеческие отношения и понимание. Мы можем объяснить нашу проблему, её поймут, сделают всё возможное, чтобы качество продукта было высочайшим.
Всего 2 письма в месяц, внутри — только полезные материалы, кейсы и исследования.
