СберУниверситет и StartExam: как оценивать знания 300+ тысяч сотрудников

Время чтения: 12 минут
Дата публикации: 03.10.2022
СберУниверситет и StartExam: как оценивать знания 300+ тысяч сотрудников
Даниэль Виленчук Главный редактор
Поделиться:

Содержание статьи

Владимир Горощенко, главный специалист «Виртуальной школы» СберУниверситета, — о том, как в крупнейшем банке России обучают сотрудников, оценивают их знания, защищаются от взломов и проводят тысячи тестирований каждый год.

О компании: СберУниверситет — один из самых крупных корпоративных университетов в России. В кампусе ежегодно обучается 55 тысяч человек, а на образовательной платформе СберУниверситета «Виртуальная школа» — больше 300 тысяч сотрудников и внешних клиентов. В Университете более 500 образовательных программ и 340 преподавателей и спикеров.

Как устроен СберУниверситет?

В Сбере работают сотни тысяч человек, а услугами банка пользуется 104 миллиона клиентов. Развитие самого Сбера требует постоянного переобучения сотрудников.

Создавать новые продукты и разрабатывать прорывные технологии невозможно без повышения уровня сотрудников. Мы не можем бесконечно находить персонал, который обладает нужными нам навыками, извне. Его может быть мало или не быть вообще. Поэтому единственный выход — растить сотрудников с нужными нам навыками и компетенциями, хардами, софтами, лидерскими или экспертными характеристиками внутри компании.
Владимир Горощенко главный специалист «Виртуальной школы» СберУниверситета

С этой мыслью в компании и создавали корпоративный университет, который, кроме того, должен был помочь выстроить единую культурную среду и культурный код.

В рамках СберУниверситета запустились программы развития как профессиональных, так и «софтовых», в особенности лидерских качеств. Первыми студентами стали 30 тысяч руководителей банка.

При этом в СберУниверситете понимали, что без личного общения и обмена опытом обучение будет не столь эффективным. Так у учреждения появился кампус. Сегодня Университет — это отдельная организация: сотрудники школ и академий; методологи, которые создают контент; IT-подразделение; и медиастудия, которая занимается VR- и AR-технологиями, видеосъёмкой для всех образовательных курсов.

Кампус СберУниверситета

В том же 2012 году была создана и «Виртуальная Школа» — онлайн-платформа для обучения. Сначала это был портал для самообразования, в котором руководители могли изучать курсы, смотреть видеоматериалы и читать полезные им книги. Но постепенно он превратился в полноценную образовательную систему, которая работает 24/7.

Доступ в неё получили все сотрудники Сбера, больше 300 тысяч человек. Сегодня обучение в Университете проходит во всех форматах — не только очно или онлайн, но и гибридно. Так, программы для некоторых руководителей подразумевают годовое или более длительное обучение, в рамках которого необходимо проходить дистанционные курсы, читать литературу и выполнять диагностические задания, а потом приезжать на интенсивы в кампус СберУниверситета, которые могут длиться от 2 до 7 дней. В некоторые месяцы бывает так, что кампус загружен на 100%, все аудитории заняты. 

Обучение такого большого количества слушателей в какой-то момент актуализировало вопрос – как контролировать процесс обучения, создать полностью защищенную систему тестирования знаний?

В компании устроили конкурс и выбрали StartExam.

«Знаешь ли ты?..» Зачем проверять знания сотрудников

Как понять, получили ли сотрудники новые знания или нет? По словам Владимира, зачастую в российских компаниях тестируют персонал один раз за всё время обучения. Сотрудники узнают друг у друга правильные ответы и, чтобы не тратить лишнее время, «протыкивают» их в тесте. Формально обучение пройдено, но сделает ли оно работу эффективнее? 

Поэтому без качественного тестирования практически невозможно обеспечить получение качественных знаний.

В СберУниверситете стоят три цели проверки знаний:
  • Диагностическая. Перед началом программы студента проверяют на готовность к усвоению знаний. Возможно, ему предварительно стоит пройти какой-то базовый курс. И наоборот — если сотрудник уже знаком с определёнными модулями, ему сразу зачтут их.

  • Формирующая. Во время обучения тестирование используется для закрепления знаний. Проходя тест, сотрудник тоже обучается, развивает творческие способности.

  • Итоговая. Тестирование, чтобы проверить, насколько усвоен материал по итогам обучения.

Тесты в основном создаются методологами СберУниверситета, представителями профильных подразделений банка или при поддержке внешних экспертов. Помимо классических образовательных программ бывают ситуационные — когда заказчик решает определённую задачу. В таких случаях проводят обучение, тестирование, а потом по бизнес-показателям отслеживают, что проблема стала проявляться реже.

StartExam и СберУниверситет: 5 миллионов сессий и 6 плодотворных лет вместе

В самом начале сотрудничества StartExam использовался точечно на важных программах. Но уже скоро проект разросся на весь Университет.

Сегодня у СберУниверситета более 70 центров тестирования в системе — у каждой академии и бизнес-заказчика своё собственное пространство с контрольными материалами. Это значит, что 300 менеджеров (это сотрудники как СберУниверситета, так и Сбера, работающие с платформой) не мешают друг другу. Всё благодаря гибкой системе ролей:

  • доступ к каждому центру есть у 5-10 заинтересованных лиц, они работают только с тестами своей программы/направления;

  • в системе отображается история действий. Если какой-то сотрудник внёс изменения в общую структуру (например, удалил или создал тест) или изменил мелкие детали — вопросы, шкалы, список участников, — их увидят администраторы;

  • это исключает случайности — никто из менеджеров не удалит чужой тест или не внесёт неотслеживаемые изменения. Кроме того, если сами менеджеры проходят обучение, им можно будет закрыть доступ к ответам;

  • при помощи доступа по ссылке преподаватели проверяют работу студентов напрямую без авторизации.

StartExam закрывает для СберУниверситета целый спектр задач:

Проверка знаний

За 6 лет в СберУниверситете создали около 10 тысяч тестов, которые прошли больше 5 миллионов раз.

Frame 40.png

Массовые тестирования

Как мы уже упоминали выше, тесты в СберУниверситете используют не только для проверки знаний, но и в качестве непосредственного элемента обучения. Особенно, если нужно массово и быстро передать новые знания большому числу сотрудников.

Так было весной 2020 года, в разгар первой волны коронавируса. Всё происходило очень быстро, и буквально за неделю решался вопрос о том, чтобы переводить всех сотрудников на удалёнку. Для этого надо было подготовить технологическую базу, обучить, объяснить, что можно делать из дома, а что нельзя, как заходить в удалённые системы, использовать VPN, дополнительные одноразовые пароли, как установить приложения.

В кратчайшие сроки обучение и тестирование прошли сотни тысяч сотрудников Сбера. Владимир особенно отмечает исключительную надёжность системы StartExam:

StartExam справляется с нагрузкой и обеспечивает необходимое количество сессий. Всё работает бесперебойно. У нас в договоре прописана возможность «ухода» системы в простой на 87 часов за год для обновлений, но по факту даже этот объём не используется. Последнее отсутствие сервиса на 15 минут было 1 год назад, а на 40 минут — несколько лет назад.
Владимир Горощенко главный специалист «Виртуальной школы» СберУниверситета

Frame 41.png

Тестирование технических специалистов (с защитой от взлома)

Самый активный пользователь StartExam — Академия технологии и данных СберУниверситета, факультет с IT-уклоном. По словам Владимира, тестирование программистов — это особый квест, потому что они всё время пытаются проверить систему на прочность.

Но StartExam за годы совместной работы превратилась в практически невзламываемое решение. Приведем несколько кейсов по «взлому»:

  • Намеренное «притормаживание» таймера, чтобы получить больше времени на прохождение. В системе хранится как клиентское, так и серверное время. По расхождениям видно все попытки «читерства».

  • Смена часовых поясов. Если время начала теста установлено на 10:00 по местному времени, то попытка начать его раньше или позже ни к чему не приведет – система отслеживает часовые пояса.

  • Поиск правильных ответов в консоли. Ответы не хранятся в коде, сопоставление происходит на сервере.

  • Создание и рассылка скриншотов. Тесты для СберУниверситета создаются с использованием большого банка заданий. Это значит, что в каждой сессии в случайном порядке собирается уникальный тест. 

  • Вход с двух устройств. Система фиксирует такие попытки и позволяет зайти с одного устройства за раз.

  • Подстановка значений регистрационной анкеты. Пользователи «Виртуальной школы» получают уникальные закодированные ссылки на тесты. По ним невозможно зарегистрироваться за другого человека.

Кросс-рецензирование

Чтобы снять нагрузку с преподавателей, во многих тестах СберУниверситета используется кросс-рецензирование. Это особый тип задания в StartExam, которое студенты должны проверить друг у друга. Ещё это важный инструмент социального обучения, поскольку сотрудники получают фидбек от коллег своего уровня из разных подразделений.

Задание полностью автоматизировано — можно указать дедлайн и количество людей для проверки, итоговую дату получения результата. А чтобы исключить человеческий фактор и предвзятость, StartExam автоматически отбрасывает самые низкие и самые завышенные оценки.

Защита от списываний

Самые важные тестирования в СберУниверситете проводятся с использованием прокторинга. Благодаря интеграции StartExam с системой Examus экзамены становятся максимально объективными.

Проведение опросов

Опросы проводятся как на «входе» обучения, чтобы понять аудиторию курса, так и по его итогам, чтобы улучшить материалы. Даже после разовых мероприятий (митапов, вебинаров) преподаватели выводят на экране QR-код с ссылкой на анкету. Результаты этой обратной связи внесены в KPI СберУниверситета.

Через опросы в компании также в короткие сроки собирают информацию от сотрудников: сведения для выдачи сертификатов или оформления виз, заявки на трансферы и проживание в кампусе, в пандемию коронавируса — статусы по прививкам и тестам.

Улучшение внутренних сервисов

В компании проводят опросы «Голос внутреннего клиента», чтобы определить качество работы отдельных подразделений Университета. Например, ресторан может узнать, устраивает ли посетителей разнообразие и вкус блюд, время работы, сервис. Каждое подразделение может запускать такие проекты по собственной инициативе, а раз в год опрос проводят среди всех сотрудников.

Опрос «Голос внутреннего клиента»

На сайте gvk.startexam.ru больше 50 сервисов (охрана, заказ пропусков, питание, трансфер, проверка договоров и т.д.). Получив обратную связь, внутренние подразделения проводят работу над ошибками.

Маленький пример. Мы находимся за городом. Есть трансфер, который привозит сотрудников в 9 утра, а в 18 часов увозит. В кампусе у нас есть бассейн, хамам, сауна, спортзал, стадион, теннис и так далее — многие хотят позаниматься после учёбы. Но трансфер уходит в шесть, под конец учебного дня, а личные автомобили есть не у всех. Через опрос мы узнали о таком запросе, и через некоторое время был запущен второй трансфер в восемь вечера.
Владимир Горощенко главный специалист «Виртуальной школы» СберУниверситета

Какие доработки были внесены в систему благодаря СберУниверситету

СберУниверситет — один из самых активных пользователей системы. 70+ центров тестирования, 300+ активных пользователей, миллионы тестов приводят к возникновению особенных запросов на новую функциональность. За 6 лет совместной работы мы внедрили множество новинок по заказу Университета. В этом параграфе расскажем о некоторых из них.

Интеграция с внутренней LRS

Все действия студентов в StartExam — клики, переходы к вопросам, время тестирования — передаются в корпоративную Learning Record System СберУниверситета. Когда студенты зачисляются на курс, им автоматически присваиваются ссылки на будущие тестирования.

Проверка качества заданий

Поскольку у «Виртуальной школы» большая аудитория, любая, даже мелкая орфографическая ошибка, приводит к потоку обращений в техподдержку. 

Поэтому по запросу СберУниверситета в StartExam появился отчёт по качеству заданий. Он позволяет понять, что задание слишком лёгкое или, наоборот, сложное, ответ слишком очевиден или, напротив, его почему-то не выбирают даже самые успешные студенты. 

Ещё на этапе подготовки тест отправляют методологам на проверку и затем строят отчёт по качеству заданий, в котором отображается сложность, дискриминативность, среднее количество правильных ответов. Таким образом, перед выпуском на большую аудиторию можно что-то поправить и избежать негатива.

Генератор ссылок для обратной связи

В ссылках прописываются даты и программа обучения, аудитория, модуль, группа, преподаватели. Благодаря этому менеджеры могут отсортировать обратную связь по итогам обучения и точечно посмотреть, с какими проблемами сталкиваются ученики.

Опросы CSI и NPS

Ещё два инструмента, крайне полезные для оценки программ обучения — опросы CSI (Customer Satisfaction Index) и NPS (Net Promoter Score).

Бесшовный опыт тестирования

Специально для СберУниверситета мы забрендировали систему под дизайн-код компании. В результате пользователи при переходе из «Виртуальной школы» не ощущают «скачок» в дизайне и шрифтах. Домен также подменяется под корпоративный, поэтому у сотрудников создаётся ощущение бесшовного обучения.

Тест в системе StartExam

Доступность на любых устройствах

StartExam работает на любых устройствах, включая смартфоны и планшеты, и во всех современных браузерах. Кроме того, пользователи могут объединять возможности своих устройств. Так, отсканировав специальный QR-код на компьютере, с которого проходится тест, можно прикрепить файл с ответом прямо со своего смартфона.

Итоги

СберУниверситет сегодня — крупнейший корпоративный университет в России, и продолжает своё развитие как центр лидерских компетенций не только для сотрудников Сбера, но и для всех желающих. В компании особенно внимательно относятся к обратной связи студентов — на её основе как разрабатываются новые программы, так и ставятся «на паузу» устаревшие.

Все оценки в анкетах, опросах NPS и CSI в режиме реального времени собираются в единый дашборд. Кроме того, сейчас внедряется инструмент Self-Efficacy — это самооценка сотрудником своих навыков и возможностей их применения до программы, сразу после и через какое-то время. Кроме того, собирается и оценка от руководителей, насколько успешно их подчинённые после прохождения обучения освоили новые навыки.

Говоря о работе со StartExam, Владимир особенно отмечает быстрые взаимодействия, отзывчивость и надёжность системы.

По опыту взаимодействия с разработкой мы всегда ставим StartExam в пример другим компаниям. Нам сразу говорят, могут ли осуществить наш запрос или нет, и сколько на это понадобится времени.

У нас полное доверие к нашим партнёрам, в качестве работы которых мы уверены. Сформировали требование, отдали, прошло оговоренное время — и мы получили результат.

Важно, чтобы была обратная связь и контакт. Мне приводили пример, что крупные компании что-то реализуют, но им обратная связь пользователей не особенно важна. Они считают, что надо сделать только так и никак иначе. Непопулярные решения откатываются и исправляются только после вала негатива. Пользователь и разработчик очень далеки друг от друга, и между ними невидимая стена.

При взаимодействии со StartExam всё ровно наоборот — могу отметить отличные человеческие отношения и понимание. Мы можем объяснить нашу проблему, её поймут, сделают всё возможное, чтобы качество продукта было высочайшим.

Владимир Горощенко главный специалист «Виртуальной школы» СберУниверситета

Подпишитесь на рассылку от «звёзд» оценки!

Всего 2 письма в месяц, внутри — только полезные материалы, кейсы и исследования.

Я прочитал политику обработки персональных данных и даю согласие на обработку своих данных.

Был ли вам полезен материал?

Поделиться:

Продукты для оценки и развития

Повышайте эффективность сотрудников вместе со StartExam

Оценка 360º

Выявляйте сильные стороны и точки роста сотрудников по методу 360 градусов.

Система тестирования

Гибкая платформа для тестирования и оценки знаний с продвинутой аналитикой

Рекомендуемое

«Траектория будущего» и StartExam: как сделать олимпиаду для 27 тысяч человек самой прозрачной в России

Рассказываем, как команда «Траектории будущего» не только автоматизировала отбор олимпиады, но и сделала её результаты максимально объективными.

«Траектория будущего» и StartExam: как сделать олимпиаду для 27 тысяч человек самой прозрачной в России Даниэль Виленчук
10 минут

Объездили школы в 40 регионах России, заработали 110 миллионов в 2021 — как мы создали StartExam

Холодные звонки, 200 тысяч рублей за 4-х лидов, кодинг по ночам – в остросюжетном рассказе от первого лица.

Объездили школы в 40 регионах России, заработали 110 миллионов в 2021 — как мы создали StartExam Сергей Свечников
7 минут

«Т Плюс» и StartExam: как создать кадровый резерв с эффективностью выше 95%

История успеха «Т Плюс» — о комплексной программе развития сотрудников и эффективном кадровом резерве.

«Т Плюс» и StartExam: как создать кадровый резерв с эффективностью выше 95% Даниэль Виленчук
10 минут

Сколтех и StartExam: как отбирать лучших из 17 тысяч абитуриентов каждый год

История успеха от одного из ведущих технологических университетов России.

Сколтех и StartExam: как отбирать лучших из 17 тысяч абитуриентов каждый год Даниэль Виленчук
7 минут

Совкомбанк и StartExam: как ежегодно оценивать 500+ руководителей

История успеха про оценку 360 для 500+ руководителей.

Совкомбанк и StartExam: как ежегодно оценивать 500+ руководителей Даниэль Виленчук
10 минут
Успешно!
Спасибо, ваша заявка отправлена!
Ожидайте, в ближайшее время с вами свяжутся.