что такое асинхронный прокторинг
Прокторинг: что нужно знать hr-у
Что такое прокторинг?
Четкого и единого определения в русскоговорящей среде еще не сложилось, сам термин для многих является новым, хотя подобные технологии развиваются уже не один год. Тем не менее, общее определение может звучать так: прокторинг (от англ. «proctor» — надзиратель) — это автоматизированная процедура наблюдения и контроля за дистанционным испытанием.
Зародился прокторинг в электронном обучении: нужно было технологично присматривать за студентами на онлайн экзаменах, чтобы те не списывали. Теперь же он развивается не только в образовании, но и в HR — результаты онлайн-тестов для персонала также должны быть защищены от возможных фальсификаций.
То, как организуется сеанс прокторинга, зависит от провайдера, но суть остается неизменной. Система собирает данные с камеры, микрофона и экрана компьютера респондента, анализирует процесс тестирования, подтверждает личность, фиксирует возможные нарушения. И в итоге предоставляет организатору тестирования видеозапись процесса и оценку достоверности полученных результатов.
Как работает система прокторинга
Сервис призван автоматически отслеживать и пресекать следующие распространенные нарушения:
Что произойдет, если будет зафиксировано нарушение? Организатор самостоятельно определяет, как поведет себя программа:
Какие технологии используются в системе онлайн прокторинга?
Программа анализирует большой объем поступающих данных. Это и видео, и аудио, и события в браузере респондента. Для этого используется машинное обучение — класс методов искусственного интеллекта — специальные алгоритмы, обученные модели, которые в режиме реального времени способны определить нарушения.
Помимо технических возможностей системы, стоит отметить еще и ее психологический эффект. Осознание того, что за тобой наблюдают, заставляет отказаться от попыток обмана. И сам факт наблюдения становится большим подспорьем в обеспечении достоверности результатов тестирования.
Этапы работы с системой: что делает организатор
Правила проведения: что делает респондент
Порядок проведения сеанса прокторинга зависит от требований организатора и конкретного испытания. Но правила стандартной процедуры таковы:
Прокторинг в подборе и оценке персонала
Проблема фальсификации результатов оценочных процедур стара как мир. Всем знаком образ школьника, списывающего на контрольной, студента, который сдает экзамен со шпаргалками… И с возрастом это не проходит, напротив, чем дальше — тем выше ставки, и тем сильнее желание попробовать во что бы то ни стало «пройти тест». Тестирование при приеме на работу или формировании кадрового резерва, прохождение аттестации: проблема «списываний» становится головной болью уже не работников сферы образования, а HR-ов. Причем сильной.
HR-ы до недавнего времени боролись с этой проблемой примерно так же, как и экзаменаторы в учебной аудитории: вживую наблюдали за респондентами, своими силами администрировали процесс. Но все это работает лишь в индивидуальной оценке, максимум — в малых группах. А развитие дистанционных оценочных процедур накладывает свои требования. Российский Стандарт тестирования персонала прямо указывает на то, что при применении открытого дистанционного онлайн тестирования в ситуации экспертизы гарантия достоверности результатов отсутствует и полученные таким образом данные диагностики не могут влиять на окончательные управленческие решения.
Эти две причины — сильное стремление респондентов показать наилучший результат и развитие массового дистанционного онлайн тестирования — создают столь высокую потребность в применении технологий прокторинга именно в HR-практике.
Конечно, такое дистанционное наблюдение в подборе и оценке персонала прежде всего актуально при тестировании знаний и интеллекта. Что же делать с личностными опросниками? При их применении могут проявиться более тонкие факторы, снижающие достоверность результатов. Например, мотивационные искажения: стремление соответствовать пожеланиям работодателя, выглядеть в лучшем свете («Просто надо быть правдивым, благородным, справедливым, умным, честным, сильным, добрым — только и всего!»). Только лишь наблюдать за респондентом в этой ситуации уже недостаточно. В психометрике есть ответы и на эти вопросы. Всесторонне эта тема раскрыта в статье Алёны Мезенцевой, Руководителя отдела исследований и разработок Лаборатории «Сам Абрам дался в обман, или фальсификация результатов тестирования и как с ней бороться».
Возвращаясь к прокторингу подчеркнем, что он точечно решает конкретную проблему, для которой предназначен, не больше и не меньше. Но делает это хорошо: легко и технологично, занимая заслуженное место в ряду современных, автоматизированных и удобных HR-решений.
Интеграция системы тестирования Maintest и прокторинга
Лаборатория «Гуманитарные Технологии» не является непосредственным поставщиком программного обеспечения для прокторинга. На этом специфическом рынке есть свои профессионалы. У каждого провайдера есть свои возможности и особенности, свой тарифный план. Вы можете выбрать того, кто больше других подходит под требования и условия конкретной процедуры тестирования. А мы предлагаем вам интеграцию систем.
Интеграция — это процесс объединения частей в целое. В данном случае это объединение сеанса тестирования, который осуществляется в нашей оболочке Maintest, с сеансом прокторинга (платформа предоставляется выбранным провайдером). Две системы незаметно для пользователя взаимодействуют между собой, а управлять всеми процессами можно из единого личного кабинета в Maintest.
На что мы обращаем особое внимание при осуществлении интеграции
Рис. 2 – Предупреждение респондента о нарушении процесса тестирования.
В личном кабинете Maintest пользователь может управлять настройками прокторинга:
Варианты подключения услуги
Авторы: Григорий Красночуб, программист Human Technologies;
Татьяна Преснова, редактор информационных ресурсов Human Technologies.
В вашей почте раз в неделю. А еще: новости, акции и мероприятия для HR.
Технологии прокторинга
Для обеспечения качества и достоверности оценивания при онлайн-обучении, в НИУ ВШЭ используются технологии прокторинга (англ. «proctor» – контролировать ход экзамена). Все процессы по проведению онлайн-экзаменов администрирует специальное подразделение, Центр прокторинга. Он же обеспечивает обучение и координацию прокторов из числа сотрудников факультетов. Технологическим партнером является компания «Экзамус», приложения которой используются для организации экзаменов.
Университет использует несколько видов прокторинга:
1. Синхронный прокторинг с прокторами компании «Экзамус»
обычно используется при письменных экзаменах (тестировании). За ходом экзамена в режиме реального времени онлайн наблюдает сторонний проктор, сотрудник «Экзамуса». Его задача – проконтролировать соблюдение условий проведения оценивания. Проктор проводит идентификацию личности студента (проверяет паспорт), контролирует соблюдение процедуры экзамена, может комментировать действия студента в специальном чате (письменно). Ведется видеозапись двух потоков видео: с веб-камеры студента и рабочего стола его компьютера. Проктор может прервать экзамен, пометив его как “недостоверный”, в случае возникновения перечисленных в его инструкции ситуаций: например, студент списывает и не реагирует на замечания проктора в чате. Один проктор может одновременно сопровождать экзамены 8 студентов. Это самый точный и самый ресурсоемкий вид прокторинга.
2. Синхронный прокторинг с прокторами факультетов НИУ ВШЭ
функционально полностью соответствует предыдущему виду прокторинга, но прокторами выступают предварительно обученные сотрудники факультетов НИУ ВШЭ. В таком формате проводятся все вступительные экзамены в онлайн-формате, т.к. их должны принимать члены приемной комиссии. Технически один проктор может одновременно наблюдать за 8 студентами во время выполнения письменной части (теста).
3. Асинхронный прокторинг с постпроверкой прокторами факультетов НИУ ВШЭ
идентификация личности, а также весь ход экзамена обеспечивается программно, система в автоматическом режиме отслеживает некоторые запрещенные действия, такие как отсутствие в кадре студента, второй человек в кадре, разговор во время экзамена, подключение второго монитора, и помечает видео соответствующего экзамена как недостоверное, но экзамен не прерывает. К сожалению, система может допускать ошибки, поэтому требуется перепроверка видео с выявленными нарушениями. Во время экзамена ведется видеозапись с веб-камеры студента и рабочего стола его компьютера, последующую проверку которых осуществляет сотрудник факультета НИУ ВШЭ, который либо подтверждает нарушение процедуры сдачи экзамена со стороны студента, либо признаёт экзамен сданным. Наименее затратный по ресурсам вид прокторинга, т.к. не требует согласования графиков прокторов и предполагает выборочную, а не полную перепроверку видеозаписей.
Человек-паук не поможет сдать экзамен. О том, как не стоит обманывать прокторинг
В 2021 году студенты продолжат обманывать автоматические системы проверки экзаменов. Рассказываем, как они прокололись в разгар пандемии.
Системы онлайн-прокторинга в России начали развиваться ещё во второй половине 2010-х. Их подключили передовые университеты, такие как ВШЭ и РАНХиГС, а также компании, которые с их помощью проводили удалённые тестирования сотрудников. Во время пандемии спрос на прокторинг вырос в несколько раз — вузам пришлось проводить в онлайне выпускные экзамены и сессии. После победы над COVID-19 потребность в нём неизбежно снизится, однако сервисам есть куда расти: спрос на качественные онлайн-экзамены сохранится и в образовании, и в бизнесе.
Недовольные студенты, столкнувшиеся с прокторингом во время пандемии, рисуют страшные картины дегуманизации образования, в которых их судьбу решают бездушные машины. Однако пока прокторинговые системы далеки от совершенства и за ними присматривают обычные люди, не лишённые сострадания и чувства юмора. Мы попросили сотрудников крупнейшей по выручке российской прокторинговой компании «Экзамус» рассказать о курьёзных случаях из их работы.
Журналист с широким кругом интересов, пишет про бизнес, культуру и международную политику. Сотрудничает с РБК, Republic и «Ножом».
Что такое прокторинг
Сам по себе термин «проктор» очень старый. Должность проктора появилась в английских университетах ещё в позднем Средневековье. В обязанности прокторов входил контроль за дисциплиной студентов — причём не только на экзаменах, но и во время всего обучения.
Сегодня прокторингом называют технологии, которые позволяют контролировать проведение испытания. В основном это понятие касается онлайн-экзаменов.
На российском рынке прокторинговых систем всего два крупных частных игрока — ProctorEdu и «Экзамус». Кроме того, существуют прокторинговые системы, которые вузы разработали для себя. По оценке РБК, «Экзамус» крупнее — в 2020 году его выручка составила 83 млн, в то время как у главного конкурента — 51 млн. Во время пандемии около 20 российских вузов ввели прокторинг на экзаменах — большинство таких заказов получил именно «Экзамус».
В 2020 году сотрудники «Экзамуса» провели более миллиона экзаменов в России и ещё полмиллиона за рубежом. Выручка выросла в пять раз, но и штат пришлось увеличить в четыре раза.
«Сказать, что мы озолотились во время пандемии, мы не можем. Но мы выросли, вышли на новый уровень, и теперь у нас есть ресурсы для уверенного выхода на международные рынки, на что мы и сделаем акцент в 2021 году», — рассказывает Skillbox Media директор «Экзамуса» по маркетингу Марина Новосёлова.
По словам Новосёловой, вузы, которые заключили с «Экзамусом» контракты ещё до пандемии, продолжают пользоваться его услугами. Новые клиенты, которые пришли в 2020 году, тоже пока остаются с «Экзамусом», однако некоторые из них поговаривают о возвращении к очным формам аттестаций.
В компании уверены, что вступительные экзамены и олимпиады в вузах точно останутся удалёнными. Возможность проводить приёмную кампанию дистанционно позволяет отбирать абитуриентов, которые в других условиях не могли бы приехать на очный экзамен, из разных уголков страны и мира.
Как работает прокторинг и кому он сегодня нужен
У «Экзамуса» есть три прокторинговых режима. В автоматическом система контролирует всё сама, без участия человека; есть опция, когда проктор присутствует только при идентификации сдающих. В асинхронном режиме запись экзамена целиком отсматривает проктор после его завершения. В синхронном он следит за сдачей вместе с системой.
Прокторинговый сервис работает через браузер. Сначала система проверяет камеру, микрофон и рабочий стол пользователя — не ведётся ли запись экрана, а затем идентифицирует сдающего с помощью системы распознавания лиц.
Во время экзамена программа следит за лицом и глазами сдающего — не смотрит ли он куда-то не туда, наблюдает за комнатой — не появится ли там кто-то лишний, ищет посторонние голоса, а также контролирует экран компьютера. Все данные записываются, система регистрирует каждое событие, выбивающееся из протокола, а по итогам экзамена рассчитывает общую вероятность нарушений.
По словам Марины Новосёловой, автоматический прокторинг заказывают крайне редко, а самый востребованный режим — асинхронный. В таком режиме корпорации проводят оценку кандидатов, аттестацию действующих сотрудников, отбор на программы обучения или итоговую оценку знаний после их прохождения.
Основные клиенты «Экзамуса» — крупные университеты. Как правило, они работают по годовой подписке, в которую входит пакет экзаменов. Более мелкие клиенты чаще платят за отдельный экзамен.
Баги вместо злых прокторов: студенты о своём опыте взаимодействия с «Экзамусом»
Весной 2020 года многие студенты опасались прокторинговых систем. Ходили слухи о том, что они действуют очень жёстко — например, считают нарушением даже продолжительный взгляд в сторону. Многим, особенно первокурсникам, эта паника сильно потрепала нервы.
Студенты вузов рассказали Skillbox Media, что боялись сдавать с прокторингом, однако в итоге панические слухи оказались преувеличением — с несправедливым отношением со стороны прокторов никто не сталкивался. В то же время многие пожаловались на то, что система часто сбоила, — однако такие ситуации решались в пользу студентов.
По словам студента магистратуры ВШЭ, у него и многих однокурсников возникли проблемы с проверкой компьютера и подключением к прокторинговой системе, однако сам экзамен прошёл нормально. В следующий раз система не отправила ответы, и пришлось вмешаться учебному офису.
У студента бакалавриата ВШЭ, который сдавал в «Экзамусе» сессию, не возникло никаких претензий к прокторингу.
«Даже те, у кого появлялись технические сложности, говорили, что университет быстро решил проблему: их просто переводили в Zoom, и они сдавали там».
Другая студентка бакалавриата ВШЭ рассказала, что проблемы у многих её одногруппников и у неё самой начались ещё при регистрации в системе. Во время экзамена у некоторых сервис просто вылетел, и им пришлось пересдавать в резервный день. Те, у кого прокторинг работал нормально, очень переживали из-за того, что и у них он тоже будет сбоить. По словам девушки, это привело к тому, что многие сдали гораздо хуже, чем могли бы.
Студентке СПбГУ ошибки прокторинговой системы изрядно помотали нервы — программа увидела нарушения, которых не было.
«Я сидела не шелохнувшись и смотрела исключительно в монитор, чтобы точно было не к чему придраться, но мне за день до пересдачи пришло сообщение о том, что я что-то нарушила, — рассказывает девушка. — Такие же сообщения получили и однокурсники. В итоге учебному отделу пришлось разбираться — но ему удалось решить проблему».
По словам студентки, которая в 2020 году сдавала через «Экзамус» вступительный экзамен в МГЮА, списать было бы не так уж и сложно, так как прокторы тогда ещё не просили показывать комнату (а теперь просят). Действий рук не видно, камера снимала только по грудь. «Если правильно подобрать свет, то твои зрачки и видно не будет, проктор не сможет оценить, куда ты смотришь», — говорит студентка. Главной технической проблемой стало то, что длинную юридическую задачу программа вывела в крошечном окошке и сдающим приходилось много раз прокручивать текст вверх и вниз.
Прокторы о неудачном списывании и курьёзных случаях на экзамене
Мы попросили прокторов «Экзамуса» рассказать нам о забавных и курьёзных случаях на своей работе, а также о том, как сдающие пытаются их провести.
Их рассказы производят двойственное впечатление. С одной стороны, некоторых онлайн-формат будто бы раскрепощает, снимает дисциплинарные условности, которые сопутствуют очным экзаменам в строгих кабинетах и аудиториях. С другой стороны, некоторые истории звучат так, будто бы они могли случиться и на обычном экзамене: многие студенческие уловки, ошибки и трагедии кажутся вечными и универсальными.
Взятки, подложные ноутбуки и крем на веб-камере — самые частые случаи
Чаще всего сдающие пытаются ухудшить качество видеосъёмки, наклеивая скотч или намазывая крем на камеру, сажают рядом с собой людей, которые тихонько (но всё же заметно) нашёптывают ответы. За такое прокторы банят сразу.
Также нередко сдающие пытаются договориться с проктором — например, предложить ему взятку. Они почему-то забывают, что и эти разговоры тоже записываются. В таких случаях прокторы вежливо рекомендуют вернуться к решению теста.
Сотрудники корпораций во время экзаменов нередко подменяют ноутбуки. Запись рабочего стола ведётся с MacOS, а при демонстрации рабочего места сдающий показывает стационарный компьютер или вообще красный ноутбук Lenovo на Windows. Этот момент вычисляется сразу.
Студент утёр нос системе
Однажды студент сдал часовой экзамен за 40 минут, ничем не выделяясь. Но в конце экзамена ему, по словам сотрудника «Экзамуса», захотелось утереть нос системе. Он отклеил шпаргалку от монитора и победоносно продемонстрировал её проктору, сообщив, что списал. Проктор отклонил всю сессию — видимо, сдающий не знал, что это можно сделать в любой момент, пока идёт запись.
Проктор в центрифуге
Прокторы жалуются, что очень часто сдающие, когда их просят показать комнату, начинают яростно вращать камеру вокруг себя. «Почему-то многим кажется, что это лучший способ показать стол и комнату, хотя для этого совершенно не обязательно разворачивать ноутбук вверх ногами» — говорит проктор.
Мастер над шептунами
Студент, который сдавал в общежитии, рассадил вокруг себя сразу нескольких помощников, которые спрятались от камеры. На все замечания проктора он отвечал, что вокруг никого нет. Когда проктор попросил показать комнату, сдающий подождал, пока все помощники выйдут, и только потом повертел камерой вокруг себя. Затем помощники вновь незаметно проскользнули в комнату и заняли свои позиции. История повторилась дважды — в итоге проктор всё-таки отклонил сессию.
Хитрая схема списывания, которая раскрылась до начала теста
Однажды сдающий и три его помощника разработали целую схему для помощи в решении теста. Проктор рассказал, что они построили хитрую систему передачи сигналов, которая работала с помощью зеркала: спрятавшиеся помощники могли видеть экран и при этом не попадать в камеру. Их план мог сработать, однако они почему-то решили ещё раз обговорить свои действия уже после того, как началась сессия, и сами раскрыли проктору свой замысел.
По словам прокторов, им часто приходится успокаивать расплакавшихся сдающих, которые получили плохую оценку или перенервничали во время экзамена. В таких случаях прокторы рекомендуют сдающему вернуться к решению теста. «В наши обязанности это не входит, но по-человечески их жалко», — говорит сотрудник «Экзамуса».
Несколько раз прокторам удавалось заметить хитрое и аккуратное списывание благодаря тому, что в одной аудитории сдавали сразу несколько человек. Сдающие виртуозно прятались от своей камеры, но их уловки были видны в камерах их соседей. Наблюдал за ними один-единственный проктор, который замечал эти нарушения.
Это любимая история прокторов. Сперва сдающая девушка довольно ловко прятала на столе второй ноутбук. Через некоторое время проктор всё же заметил его и потребовал убрать.
Ещё во время показа рабочего места проктор увидел под столом у девушки лишние ноги. Сдающая сказала, что ему показалось. Её допустили к сдаче экзамена, но через десять минут в кадре вновь появились эти ноги — при этом камера смотрела на лицо и грудь сдающей. Оказалось, что помощник пытался незаметно подобраться к девушке, но двигался по стульям, опираясь на стены руками. Почему он выбрал именно такой путь, а не попытался проскользнуть по полу, где его точно никто бы не увидел, прокторы так и не поняли.
Студент, уснувший на экзамене
Однажды студент уснул прямо во время сдачи теста, и камеры записали его получасовой сон. Прокторы решили, что бедняга слишком сильно вымотался, сдавая сессию, и не стали его будить.
Опекающие родители и миссия проктора
«Когда мы смотрим на прилежных студентов с особыми возможностями здоровья, — говорит проктор, — но с огромным желанием учиться, или, к примеру, на третьеклассника, который пришёл писать олимпиаду по физике, мы понимаем, зачем всё это и какую важную миссию мы выполняем».
Andrea Piacquadio / Photomix-company / Shuttesrtock / Polina Vari для Skillbox
Онлайн-прокторинг:
для кого, зачем и как он работает
Спрос на онлайн-образование постепенно растет, а онлайн-экзамены и сертификаты давно стали нормой. Однако большинство университетов, школ и других учреждений столкнулось с тем, что в удаленном режиме практически невозможно отследить, насколько ученики вовлечены в процесс обучения. Кроме того, при сдаче экзаменов в онлайн-формате у студентов появляется множество возможностей для списывания и других способов облегчения тестирования.
Коронакризис и вынужденный перевод всех студентов на удаленку поставил перед образовательными учреждениями задачу решить проблемы контроля как можно быстрее. На помощь пришли системы онлайн-прокторинга на основе ИИ-технологий (AI online proctoring).
Что такое онлайн-прокторинг
Типы прокторинга
1. Синхронный прокторинг с прокторами
Обычно используется на письменных экзаменах (тестировании). За ходом экзамена в режиме реального времени наблюдает сторонний проктор. Его задача – контролировать прозрачность проведения экзамена. Проктор проводит идентификацию личности студента, контролирует соблюдение всех процедур и может комментировать действия студента в специальном чате. Ведется видеозапись с двух потоков: с веб-камеры студента и рабочего стола его компьютера. Проктор может прервать экзамен, пометив его как недостоверный, в случае возникновения перечисленных в инструкции нарушений: например, студент списывает и не реагирует на замечания проктора в чате. Один проктор может одновременно сопровождать экзамен для 6 студентов. Это самый точный, но и самый затратный вид прокторинга.
2. Асинхронный прокторинг с постпроверкой
Идентификация личности, а также весь ход экзамена обеспечивается программно, система в автоматическом режиме отслеживает некоторые запрещенные действия:
1. отсутствие в кадре студента;
2. второй человек в кадре;
3. разговор во время экзамена;
4. подключение второго монитора.
3. Автоматический мониторинг
Мониторинг полностью проходит без участия человека. Его главное преимущество – низкая стоимость. Однако во многих ситуациях человеческое участие незаменимо, ведь даже самый совершенный ИИ может ошибаться.
Как работает прокторинг
Для студента процесс онлайн-прокторинга довольно прост и не вызывает стресса. К примеру, у нас в “Экзамус” (Examus) процесс устроен следующим образом:
Перед началом экзамена
Шаг 1. Система прокторинга запрашивает доступ к камере и микрофону.
Шаг 2. Решение удаленного прокторинга проверяет стабильность интернет-соединения.
Шаг 3. Система прокторинга проверяет наличие второго экрана и все попытки симулировать или имитировать экран.
Шаг 4. Процесс идентификации студента (если все вышеперечисленные требования выполнены), то есть тестируемый должен будет сфотографировать себя и представить его в систему вместе с документом, удостоверяющим личность (это могут быть водительские права, студенческий билет или кредитная карта).
Шаг 5. Начните экзамен и покажите свои знания!
Во время экзамена система онлайн-прокторинга анализирует поведение испытуемого. Если учащимся разрешено пользоваться калькуляторами или бумагой и ручкой в определенных ситуациях – правила системы могут быть соответствующим образом скорректированы. Как правило, системы онлайн-прокторинга отслеживают следующие параметры:
• аномалии в направлении взгляда;
• закрытие части лица;
• наличие других лиц в кадре;
• обнаружение человеческого голоса;
• обнаружение переключения монитора;
• обнаружение вторичных гаджетов;
• обнаружение книг и заметок;
• обнаружение калькулятора (если это не разрешено);
• обнаружение широковещательного ПО;
• обнаружение переключения вкладок в браузере;
• обнаружение сторонних алгоритмов;
• обнаружение невербальной коммуникации.
Решение автоматически помечает все подозрительные действия и добавляет их в отчет. Каждая запись в нем включает разбивку по типу нарушения и соответствующую метку времени.
После экзамена
Система прокторинга собирает и объединяет информацию из всех источников в единую комбинированную запись. После этого программа рассчитывает общую вероятность нарушений во время экзамена: зеленая зона означает низкую вероятность, желтая — среднюю, а красная – высокую. Основываясь на полученных результатах, система Examus способна:
• Показать записи с камеры, микрофона и рабочего стола;
• Показать все возможные нарушения в хронологическом порядке;
• Показать подробную информацию по каждому нарушению (с указанием типа и метки времени).