Нет активных сеансов прокторинга что это значит
Что может, а чего не может делать пользователь на экзамене с прокторингом
Чтобы определиться с тем, какие действия на экзамене с онлайн-прокторингом совершенно точно запрещены, а какие позволительны, необходимо разобраться, как работает прокторинг и кто контролирует действия пользователей.
В большинстве случаев за ходом экзамена наблюдает киберпроктор на основе AI-технологий и/или специально обученный человек – проктор. Часть нарушений при помощи компьютерного зрения фиксирует робот, а другие точно может установить только человек.
Работая сообща, AI и проктор могут отследить:
● Присутствие/отсутствие студента или других лиц в кадре;
● Любые посторонние голоса в комнате;
● Использование экзаменуемым шпаргалок, конспектов, телефонов, планшетов и прочих технических средств;
● Использование виртуальных машин, программ для демонстрации экрана и других инструментов для сдачи экзамена посторонним лицом;
● Смену окон на рабочем столе пользователя;
● Попытки невербального общения со стороны экзаменуемого.
Что нельзя делать на экзамене
1. Надолго уводить взгляд с экрана в сторону. Нарушение заметит и киберпроктор, и человек. Речь, конечно же, не идет о том, что нужно обязательно неотрывно смотреть в монитор. Мы понимаем, что иногда человек может задуматься или отвлечься и инстинктивно сосредоточить свое внимание на каком-то предмете в комнате. Однако нужно помнить, что даже кратковременные, но систематические отводы взгляда на один и тот же объект вне поля зрения камеры могут быть расценены как попытка списывания.
2. Отсутствовать в кадре. Если пользователь не в поле зрения камеры полностью или его лицо чем-то закрыто, AI автоматически зафиксирует нарушение. Конечно, робот может ошибиться (экзаменуемый может, к примеру, просто машинально прикрыть часть лица рукой), поэтому такие инциденты всегда разбирают люди.
3. Во время экзамена в комнате запрещено находиться посторонним людям – AI мгновенно фиксирует присутствие третьих лиц. По той же причине рекомендуется убирать со стен картины с лицами – киберпроктор может автоматически принять портрет Менделеева за подсказчика. Присутствие домашних животных не возбраняется.
4. Чтобы киберпроктор работал без ошибок и не фиксировал ложные нарушения, ему необходимо хорошее освещение рабочего пространства. Лампы нужно располагать так, чтобы они не находились прямо за спиной студента и не “слепили” систему компьютерного зрения.
5. Категорически запрещено подменять тестируемого на другого человека – в любом случае, это заметят. Даже если вы попробуете сдать экзамен вместо брата-близнеца.
6. Увы, но в кадре запрещено разговаривать вслух – даже если это сам сдающий. Дело в том, что тестируемый может таким образом надиктовывать вопросы для «слива» информации другому человеку.
7. Как правило, сменять окна на рабочем столе тоже запрещено. Из окна с тестом нельзя перемещаться в поисковую систему или открывать стороннее приложение.
8. Категорически запрещено использовать TeamViewer, Skype, RemoteAdmin и любые программы для трансляции рабочего стола или виртуальные машины для сдачи экзамена посторонним человеком.
9. Также не разрешается пользоваться дополнительными мониторами, телефоном, планшетом, ноутбуком и другими техническими средствами.
Что можно делать на экзамене
1. Можно ненадолго уводить взгляд с экрана (например, взглянуть на домашнего питомца в углу комнаты), если вы задумались над вопросом в тесте. Главное – не делайте это настолько часто и систематически, что проктор задаст вопрос: не припрятана ли у вас в комнате шпаргалка?
2. При синхронном типе прокторинга проктор проверяет картинку в режиме реального времени. В этом случае ему можно задавать вопросы в специальном чате (не по существу экзамена). К примеру, если у вас возникли технические проблемы, вы спокойно можете обсудить это с ним.
3. Все нестандартные ситуации (на которые пользователь не может повлиять) рассматриваются с точки зрения здравого смысла и рационального подхода. К примеру, если у студента упала ручка, и он наклонился ее поднять, на стол запрыгнула кошка, внезапно заплакал ребенок в соседней комнате или позвонили в дверь, ни один проктор не пометит это как нарушение. Однако помните, что если вы сдаете экзамен в крупной учебной аудитории или в офисе, где нет возможности избежать присутствия других людей и посторонних шумов, все действия и звуки будут детально анализироваться.
Опционально некоторые школы и университеты могут разрешать в процессе экзамена использование наушников (аудирование при сдаче языковых тестов) учебников, конспектов, черновиков или калькуляторов – так называемый формат “open-book”. В этом случае действия студента будут трактоваться в зависимости от правил проведения конкретного экзамена. Если вуз разрешил пользоваться калькулятором или писать что-то на листе бумаги во время тестирования – вас не осудят. Но помните: вы должны быть на 100% уверены, что это разрешено. Если у вас есть сомнения – задайте вопрос проктору в чате.
Соблюдайте эти простые правила, и вам не придется волноваться, как пройдет экзамен. Удачи!
Списать не дам: что такое онлайн-прокторинг и как он работает
Что прокторинг представляет собой сегодня
Об экспертах:
Прокторинг — это процедура контроля за ходом дистанционного испытания (в английском языке «proctor» — это наблюдатель на экзаменах в вузе).
Это понятие уже достаточно хорошо знакомо не только экспертам. Но как он обеспечивается на самом деле и какой ценой? Необходима ли нам такая тотальная система контроля?
Исследователи выделяют следующие прокторинговые системы.
Он осуществляется путем отслеживания приложений, с которыми работают учащиеся на своих ПК, и переключений на другие сервисы во время экзамена.
Например, с помощью приложения «Блокировка браузера» закрывается доступ к другим приложениям во время экзаменов.
Так, онлайн-контроль происходит без экзаменатора, без участия человека. Записываются видео и звук, автоматически выявляется подозрительное поведение человека и фиксируются нарушения. За грубое несоблюдение правил (подмена экзаменуемого, копирование заданий) программа автоматически блокирует доступ к системе.
Реализуется аналогично пассивному, но с добавлением мониторинга в режиме реального времени. Один проктор (наблюдатель) может следить за несколькими учащимися одновременно.
Ограничения и последствия онлайн-прокторинга
Возможности прокторинга ограничены, что иногда вынуждает изменять процедуры многих экзаменов и усложнять их техническое оснащение.
Так, осуществление онлайн-контроля предполагает упрощение заданий экзамена. Это связано с сокращением времени на обдумывание ответов и соблюдением ряда ограничительных мер. Также не все экзамены возможно осуществлять в дистанционном формате.
Согласно апрельскому опросу НКО Educause, главными проблемами, с которыми сталкиваются образовательные учреждения во время внедрения прокторинговых систем, являются стоимость онлайн-контроля (58% респондентов), а также обеспечение конфиденциальности данных учащихся (51%).
Казалось бы, пандемия предоставила прекрасный шанс «переключить» образование на дистанционный формат, но именно вынужденный форсированный перевод процесса в онлайн выявил неподготовленность к этому преподавателей, учащихся, всей системы образования в целом. Он же позволил акцентировать внимание на связанных с этим проблемах, одной из которых является сама оценка.
Кто выступает против онлайн-прокторинга и почему
В некоторых университетах отказываются использовать прокторинговые системы из-за дороговизны процедуры. В России, например, рынок онлайн-прокторинга вообще не развит: на прокторинг вузы выделяют только около 5% своих расходов на онлайн-образование. Также многие эксперты отмечают, что эта технология не является полноценной заменой классической процедуры экзамена. Так, в связи с пандемией коронавируса руководство многих университетов стремилось отсрочить курсы и итоговые экзамены для дальнейшего возобновления процесса обучения в традиционном формате.
Такого же мнения часто придерживаются и сами учащиеся. К примеру, в Техасском технологическом университете (США) студенты негативно отнеслись к введению прокторинга, который воспринимался ими как вторжение «большого брата» в личную жизнь. Учащиеся университета Тилбурга (Нидерланды) создали петицию, призывающую отменить использование прокторинговых систем.
Чем внедрение прокторинга напоминает компьютеризацию шахмат
Любопытно, что проблема имеет место в совершенно, казалось бы, не родственной деятельности, а именно — игре в шахматы. И там можно считать, ситуация уже подходит к своему логическому завершению: внедрение разных программ против читинга (или «читерства»), т.е. мошенничества, приводит к изменению классических шахмат.
Началось все в конце XX века: сначала компьютер победил чемпиона мира Гарри Каспарова в блиц, потом обыграл его в одной из партий матча в классические шахматы, и наконец, выиграл сам матч. Само по себе это было бы не страшно, но параллельно практически линейно снижалась стоимость владения шахматным помощником за счет общего развития ИТ.
С тех пор любой человек, который умеет ходить фигурами и записывать ходы, может обыграть очень сильного гроссмейстера, если у него в доступе будет компьютер с установленной программой.
Таким образом, компьютерные технологии предоставили новичкам новые возможности для читинга — пользования программами во время игры и обращения за советом к профессионалу или просто человеку, имеющему доступ к компьютерным сервисам.
В ответ начали появляться различные модификации классических шахмат. К примеру, шахматы Фишера-960, шахматы с выбранной случайной расстановкой фигур, которые не предоставляют игрокам возможности использовать заученные ходы в начальной части партии. В итоге было создано множество радикальных модификаций классических шахмат, которые фактически представляют собой уже новые игры с сохранением только внешнего вида и основных принципов (к примеру, гексагональные шахматы Глинского, шахматы Капабланки).
Самих же турниров по классическим шахматам проводится все меньше. Так, согласно статистике сайта «Результаты шахматных турниров» (РШТ), в марте 2020 года в России состоялись 175 шахматных турниров, из которых «классика» составила только 38 состязаний, остальное — рапид (в большей степени) и блиц.
В итоге статус-кво в шахматах сейчас таков.
Если применить «шахматные» выводы к образованию, то напрашивается почти полная аналогия. Реально применимы лишь четыре сценария использования онлайн-режима оценивания:
Но ставить вопрос о качестве прокторинга в целом преждевременно, так как процесс оценки в онлайн-режиме меняет в принципе подход к оценке и к ее процедурам. К тому же в связи с переходом на дистанционный формат обучения многие студенты находятся в состоянии стресса и беспокойства, и дополнительный контроль может только навредить.
Прокторинговые системы особенно эффективны в рамках корпоративного обучения, когда нужно охватить большое число экзаменуемых, находящихся, например, в разных уголках страны и мира, или же когда крупной компании необходимо провести оценку большого числа своих сотрудников.
Таким образом, возможности применения онлайн-оценивания действительно ограничены, и можно предполагать, что в самое ближайшее время статус-кво онлайн-тестирования будет сильно изменен.
Прокторинг на стероидах, или как контролировать онлайн-экзамены
Недавно ProctorEdu и КРОК запустили систему для контроля онлайн-тестирования на экономическом факультете МГУ. Она помогает наблюдать за студентами, которые сдают экзамен.
Эта система «подсвечивает» нарушения, подсказывает, на кого и на что обратить внимание. В результате один преподаватель может контролировать разом несколько десятков студентов, сидящих у себя дома.
Такой подход к онлайн-обучению, прокторинг, первыми внедрили Coursera и Udemy. Разработчики ProctorEdu задумали собственную систему прокторинга в 2016 году именно для учебных заведений, но вскоре поняли, что она способна решать другие, более серьезные задачи.
В конце концов, многие хотя бы раз в жизни списывали в школе или вузе, и мир до сих пор не рухнул, но в некоторых ситуациях жульничество на экзаменах приводит к серьезным последствиям.
А ведь есть ответственная и опасная работа, где от знания должностных инструкций и техники безопасности зависят жизни людей.
Примеров много: от управления поездом до вахты на буровой платформе в открытом море. Это не говоря об экстремальных ситуациях, когда раздумывать просто некогда и нужны готовые, заученные решения.
Как правило, во всех этих сферах сотрудников регулярно обучают, тестируют и аттестуют, но часто это воспринимается, как формальность. К тому же, при популярных сейчас онлайн-экзаменах контролировать соблюдение правил довольно сложно.
Конечно, можно приставить к каждому участнику по проктору, следящему за соблюдением регламента из объектива веб-камеры, но чтобы всерьез протестировать персонал крупной компании за разумные сроки, потребуется целый взвод наблюдателей.
Разработчики ProctorEdu решают эту проблему при помощи нейронных сетей и нескольких десятков других алгоритмов, которые распознают нарушения по набору настраиваемых параметров.
Как это работает
Во время экзамена ProctorEdu ведет запись с камеры, микрофона и экрана компьютера.
Система отслеживает, кто находится в кадре: сравнивает человека с фотографией, сделанной перед началом тестирования, или со сканом паспорта, загруженного перед экзаменом.
Она проверяет, куда смотрит участник, нет ли в кадре других людей, и не говорит ли кто-то поблизости. Кроме того, ProctorEdu следит за тем, чтобы браузер был развернут на весь экран, детектирует переключение на другие окна и подключение дополнительных мониторов, периодически проверяет состояние сетевого подключения. Система собирает статистику по часто используемым диграфам и с ее помощью отслеживает манеру набора текста на клавиатуре.
Обычно, когда алгоритм фиксирует нарушения, например, теряет человека из виду, система сначала выводит на экран предупреждение. Если участник не реагирует, ProctorEdu приостанавливает тестирование, до тех пор, пока он не исправится. При этом делается отметка о нарушении регламента, к которой можно вернуться позже при просмотре видеозаписи экзамена.
На основе нарушений по формуле рассчитывается рейтинг достоверности результатов экзамена.
E ∈ [0, 100] ‒ оценка доверия (если E
Оценка доверия базируется на всех метриках, которые отслеживает система (если они включены в настройках конкретного экзамена) и весовых коэффициентах, которые подобраны опытным путем. Оценка показывает суммарный средний процент нарушений за весь сеанс.
Протокол сеанса в PDF-формате
ProctorEdu может работать в полностью автоматическом режиме, передавать рейтинг в систему тестирования, которая аннулирует результаты с низким рейтингом достоверности. Но для большей объективности обычно приглашают живого проктора. Он может просматривать записи участников с низким рейтингом доверия уже после экзамена, а может участвовать в нем с самого начала.
В таком сценарии проктор может эффективно контролировать до 30 участников. Ему практически не нужно вмешиваться в ход экзамена. Система сообщает о нарушениях в реальном времени и подсказывает, на кого из подопечных обратить внимание.
Проктор может развернуть видео на весь экран и приглядеться к происходящему, объяснить участнику, что тот делает не так, предупредить о нарушении, приостановить или досрочно завершить экзамен.
Такая технологическая поддержка облегчает работу проктора, ускоряет проведение онлайн-экзаменов и аттестаций и позволяет сохранить высокую достоверность результатов.
Ограничения браузера и детекция лиц
Запись камеры и экрана, распознавание лиц, логирование клавиатуры… Это звучит не секьюрно, поэтому разработчики ProctorEdu сознательно отказались от идеи устанавливать свое ПО на компьютеры участников экзамена.
ProctorEdu работает через браузер при помощи супервизор SDK — JavaScript-библиотеки, в которой реализованы алгоритмы машинного обучения.
SDK не требует установки расширений и плагинов. ProctorEdu интегрируется с сервисом онлайн-тестирования при помощи стандарта IMS LTI или нескольких API-команд. Система запускается на странице тестирования и работает параллельно с ним.
Это удобно для пользователей, и браузер с его политикой безопасности дает независимую гарантию того, что данные собираются только во время экзамена.
Конечно, с таким подходом связаны определенные сложности. Разработчики сами наложили на себя ограничения, с которыми теперь вынуждены жить. Например, у системы нет доступа к оборудованию, процессам, окнам и другим ресурсам компьютера. Поэтому тестирование проходит в той же вкладке, где работает прокторинг. Это позволяет отслеживать переключение фокуса на другие вкладки и окна. Есть и нюансы, связанные с архитектурой и нейросетями.
Распознавание лиц в ProctorEdu реализовано при помощи сверточных нейросетей с использованием OpenCV и Dlib. Они регулярно переобучаются на свежесобранных данных. Для детекции лиц используется отдельная модель.
Разработчики с самого начала планировали запустить эти алгоритмы в браузере. Обычно такие задачи решают при помощи компиляции C++ в WebAssembly (Wasm). Считается, что это хорошая практика.
Чисто теоретически Wasm работает быстрее, чем JavaScript сценарий, но на практике выяснилось, что он медленнее, потребляет больше памяти и процессора, весит больше. Только загрузчик такого кода получается от 10 МБ.
Пришлось разрабатывать на JavaScript в несколько итераций. Первые версии были слабенькими и часто ошибались, но со временем команда ProctorEdu добилась стабильной работы и вывела это решение в продакшн.
Получилось быстро и компактно, но через какое-то время Сколтех пожаловался, что система не видит некоторых студентов. Оказалось, что курсы этого института проходит много чернокожих ребят, которые подключаются прямо из Африки, и алгоритм действительно не всегда их замечает.
За время обучения нейронка видела достаточно людей разных рас и возрастов, никто не ожидал возникновения такой проблемы. В конце концов выяснилось, что сетка здесь ни при чем, а дело в засветке. Африка просто слишком солнечная.
Если за спиной студента окно, или он сидит на ярком солнце в белой с иголочки рубашке, камера выставляет экспозицию по самому светлому участку изображения. Черты лица затемняются, сливаются, и алгоритму не с чем работать. Пришлось добавить рекомендации по освещению в инструкцию для участников экзамена.
Сейчас разработчики планируют перенести в браузер и алгоритм распознавания лиц. Пока что модель великовата (20—30 Мбайт с учетом сжатия), это в то время как все SDK весит около 1 мегабайта. Но здесь стоит постараться и найти решение.
Когда все изображения будут распознаваться в браузере, расходы на хостинг сократятся на добрых 30%. К тому же, на сервер будут передаваться только дескрипторы, по которым нельзя восстановить оригинальное изображение, а фото и документы так и останутся на компьютерах пользователей.
Серверная часть ProctorEdu
Кстати, об архитектуре системы.
Основной компонент ProctorEdu — сервер приложений. Он работает на Node.js и занимается обработкой веб-запросов и веб-сокетных соединений. Сервер приложений связан с базой MongoDB. Там хранятся все данные, не являющиеся бинарными объектами. Для файлов, изображений, записей экзаменов предусмотрено отдельное S3-совместимое объектное хранилище.
Архитектура ProctorEdu включает отдельный сервис под API распознавания лиц и документов, и TURN-сервер для координации WebRTC-подключений между компьютерами участников.
Раньше для видеосвязи использовался медиасервер, через который проходили видеопотоки всех клиентов. Но разработчики быстро поняли, как тяжело приходится онлайн-кинотеатрам: то соединения отваливаются, то данные не передаются, то память переполняется — вечно какие-то сложно диагностируемые проблемы. Когда они перешли на p2p архитектуру, проблемы решились сами собой.
Вся система поддерживает горизонтальное масштабирование. Ее компоненты упакованы в контейнеры. Их можно разбросать по разным физическим серверам и собрать кластерную конфигурацию в режиме мастер-мастер. Тогда нагрузка будет распределяться равномерно.
Обычно ProctorEdu разворачивают на базе одного из российских хостингов, поддерживающих хранение персональных данных, но систему можно запустить и на локальном сервере, как в проекте с МГУ и КРОК.
Требования к железу невысокие: компьютер с восьмиядерным процессором и 8 ГБ оперативной памяти потянет порядка 500 одновременных сессий. Однажды ProctorEdu обслуживала больше 5 тыс. одновременных участников экзамена и понадобилось всего 6 серверов для обработки клиентских запросов.
Можно ли обмануть систему?
Можно, но не так, как это обычно пытаются сделать.
В торговых сетях, где используют ProctorEdu, часто бывает так, что один сотрудник пытается пройти тесты за весь магазин. Порой пользователи подменяют видео с камеры на какую-нибудь видеотрансляцию. Так, однажды разработчики наблюдали, как тесты по технике безопасности на предприятии проходила известная порноактриса.
Был случай, когда один из участников подготовился особенно серьезно: напечатал чужое фото на листе А4, вырезал глаза, привязал резинку и использовал как маску.
Конечно, это все легко детектируется.
Раньше можно было поставить смартфон перед монитором так, что его не было видно с фронтальной камеры. Казалось, что участник постоянно смотрит только на монитор. Теперь ProctorEdu обеспечивает и боковой обзор. К системе подключается вторая камера или тот же смартфон.
Еще можно попробовать списывать при помощи удаленного рабочего стола или виртуальной машины. Отследить их с вкладки браузера практически невозможно. Чтобы закрыть эту возможность, в систему добавили интеграцию с Safe Exam Browser.
Это браузер с открытым исходным кодом, который блокирует компьютер на время экзамена. Он не позволяет использовать удаленный рабочий стол, посторонние программы, а также распознает виртуальные машины.
Конечно, и это не панацея. Если постараться, Safe Exam Browser можно обмануть. Еще можно раздобыть скрытые наушники или аппаратный сплиттер для мониторов. Любой алгоритм можно обойти, вопрос лишь в том, сколько усилий для этого потребуется. ProctorEdu делает так, чтобы было проще выучить, чем смухлевать. И наши клиенты подтверждают, что система успешно справляется с этой задачей.
Как обойти систему прокторинга
Обучение на карантине больше напоминает самообразование. Преподаватели редко ведут пары и не дают адекватную обратную связь, а на плечи студентов сваливаются горы домашней работы. Если к истории и философии у инженеров мы уже привыкли, то тесты по физкультуре стали неприятным сюрпризом для всех. Как бы ни проходил семестр, итоговые экзаменационные мероприятия никто не отменял, а потому нас ждет сессия в новом дистанционном формате.
Часто дистанционные экзамены напрямую связаны со страшным словом «прокторинг» (процедура контроля, при которой наблюдающий может следить за действиями экзаменуемого с помощью веб-камеры и демонстрации экрана). Что же делать? Представляем наш гайд «Как обойти систему прокторинга».
Способ 1: сервисы удаленного доступа
Сервисы удаленного доступа — это специальные программы, которые позволяют управлять компьютером из любой точки мира. Самая популярная из них — TeamViewer, но не спеши радоваться: её значок отображается на панели задач, поэтому хитрость быстро вычислят. Наиболее подходящий сервис — DeskRoll, его работа никак не отслеживается. Схема до неприличия проста: на компьютер экзаменуемого ставится программа, а второй человек подключается через сайт deskroll.com и получает полный доступ к экрану. Можно гуглить ответы в отдельной вкладке, а потом возвращаться к компьютеру экзаменуемого и проставлять ответы. От сдающего экзамен требуется только имитация мыслительного процесса. Не забудь закрыть окно программы до начала экзамена, чтоб не попасться. Не волнуйся, ничего не отключится.
Ещё один вариант. Нам понадобится помощник, который сядет вне обзора камеры, но так, чтоб видеть происходящее на мониторе. Если помощник недостаточно зоркий, можно увеличивать масштаб страницы. Предварительно выработайте систему знаков и подсказок, но помни: нельзя надолго отводить глаза от монитора, а то карета превратится в тыкву (высокий балл в незачет).
Способ 3: заранее приготовленная запись
Не нашлось партнера? Не беда, но придется заморочиться. Как правило, у всех экзаменов с прокторингом примерно одна структура: фотографирование экзаменуемого, предъявление документов для дальнейшей идентификации личности и непосредственно решение теста. Идея в том, чтобы заранее снять видео со всеми этими этапами, а потом установить телефон с готовой записью напротив веб-камеры (штатив или подставка из книг в помощь). Здесь важно рассчитать, какое время требуется на каждое действие. Вряд ли с первого раза получится удовлетворительный результат, поэтому придется потренироваться. Например, попробовать пройти демонстрационный вариант теста. На официальном экзамене твоя кибер-версия будет находиться в кадре, а ты сможешь спокойно подглядывать ответы. Способ больше годится для экзаменов с автопрокторингом, где за процессом следит программа. Он хорош тем, что сделанную запись можно использовать повторно на других тестированиях.
Общие советы при прохождении теста с прокторингом:
В слепой зоне камеры можно делать все, что угодно, только незаметно. Многое напрямую зависит от твоей способности включить pokerface и режим «самая быстрая рука на Диком Западе». Есть множество и других способов списать: развес шпаргалок вокруг монитора, установка телефона под экран и прочее. Мы же привели те, которые действительно работают.
Однако не стоит злоупотреблять списыванием, ведь учимся мы прежде всего для самих себя. Если потребность списать возникает систематически, задумайся, тем ли делом ты занимаешься. В остальных случаях — смело пользуйся нашим гайдом. Желаем легких экзаменов и высоких баллов!
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter или Control+Enter