XVII Международный конкурс научно-исследовательских и творческих работ учащихся
Старт в науке
Изучение возможностей использования системы идентификации лиц в процедуре прокторинга
Автор работы награжден дипломом победителя I степени
Полная версия работы доступна во вкладке "Файлы работы" в формате PDF
Введение
Пандемия показала, что система отечественного образования срочно нуждается в модернизации, а также готовности перейти на онлайн-формат. При этом одни учебные заведения готовы к нему, другие – нет. Одним из новейших решений стала система прокторинга. Прокторинг — процедура наблюдения и контроля за дистанционным испытанием. Личный контакт с преподавателем (особенно на экзамене) многих пугает, как и ожидание перед дверью, тишина и зоркое внимание экзаменатора за каждым движением. Стоит преподавателю просто заподозрить обман, он может выставить учащегося для пересдачи. Это вносит оттенок субъективности. С онлайн-прокторингом все стало объективнее и проще. Контроль осуществляет проктор – администратор, который наблюдает за процессом через веб-камеру. Проктор – это не экзаменатор, а независимое лицо, которое никаким образом не заинтересовано и не участвует в учебном процессе. Онлайн-прокторинг позволяет подтвердить личность студента или ученика, исключить использование шпаргалок и помочь преподавателю объективно оценить знания. Где можно использовать прокторинг? Эта система может быть полезной в следующих сферах. Подбор персонала. Руководители и менеджеры по персоналу могут проводить собеседования и проверку профессиональных навыков кандидатов со всех уголков страны (и даже за ее пределами) без потери времени и денег. Онлайн-обучение. Компании выгодно отправлять сотрудников на обучение. Но обучение в офлайне приводит к отрыву персонала от работы и большим финансовым вложениям. Обучение сотрудников онлайн с последующей сдачей экзаменов в системе прокторинга – это проверка профпригодности и повышение квалификации персонала без отрыва от производства. А еще работодатель всегда может быть уверен, что его вложения в сотрудников оправданы, так как на экзамене за участниками будут следить. Тестирование/аттестация сотрудников. Систему прокторинга используют для определения у персонала hard skills. Это нужно, когда сложно принять решение о надбавках. Система появилась в Америке еще в 2008 году. Сегодня технологии прокторинга достаточно развиты. Особенно инновационным вариантом является автопрокторинг: программа автоматически распознает личность учащегося, мониторит его поведение, следит за направлением взгляда, анализирует появление посторонних предметов и звуков в помещении, ищет нарушения на видео и делает на основании полученных данных отчеты. Значительную часть кода программы составляет система идентификации лица. В связи с этим у нас возникла идея исследования возможностей применения в сфере прокторинга платформы для распознавания лиц, которой мы занимались в ходе работы над прошлым проектом, и ее технической интеграции в локальной системе «Сетевой город».
Цель и задачи работы
Целью работы является: изучение интеллектуальной биометрической платформы для идентификации личности тестируемых и определение ее возможностей в процедуре прокторинга. Цель работы предполагала решение следующих задач:
- изучить доступных литературных и интернет – ресурсов по вопросам технологий биометрии, идентификации лица человека, сферы прокторинга и уже имеющихся технических и программных решений;
- на основе изученных литературных и интернет – источников подобрать модель интеллектуальной системы для проведения тестирования учащихся;
- разработать концептуальный вариант биометрической платформы для прокторинга при взаимодействии с локальной сетью «Сетевой город»;
- определить возможности системы распознавания лиц в процедуре прокторинга.
Понятие «прокторинг»
Прокторинг – это процедура контроля за ходом аттестационного испытания, которое проводится в дистанционном режиме. Это направление очень развито в США, где прокторинговые компании работают в основном с образовательными учреждениями. В России университеты только начинают использовать его при приёме экзаменов. Российские стартапы «ProctorEdu» и «Examus», разработавшие системы прокторинга, уверены, что инструмент будет востребован при проведении аттестаций в коммерческих компаниях. Есть несколько вариантов отслеживания онлайн-тестирования: проктор-человек, автопрокторинг и комбинированный способ (программа и человек) Могут быть вариации. Например, весь процесс может контролировать программное обеспечение, подавая проктору сигналы о нарушениях. Есть другой вариант, когда администратор в онлайн-режиме сам отслеживает деятельность одновременно нескольких учащихся в программе. Второй способ в настоящее время считается более надежным. Проктором может быть преподаватель из других учебных заведений или специально обученный человек. Вуз может использовать синхронный прокторинг (администратор в режиме онлайн следит за тестируемыми) и асинхронный (система ведет запись всего процесса с фиксацией нарушений без прерывания экзамена, а запись потом проверяют специальные люди).
Прокторинг в онлайн-экзаменах: как это работает?
Как проходит экзамен с применением прокторинга? Экзамен в системе прокторинга можно пройти в любом месте, где есть надежный интернет и веб-камера. Учащемуся нужно заранее установить на свой компьютер специализированное ПО, которое будет записывать экран. Процедура выглядит следующим образом. Студент включает компьютер примерно за 20 минут до начала и регистрируется в системе. Затем он тестирует оборудование на соответствие техническим требованиям, пропускает ли устройство экзамен (не закрыты ли порты, не запрещен ли доступ). После подключиться к видеотрансляции, дает разрешение системе вести запись с экрана компьютера, верифицировать свою личность с предъявлением документов на камеру (водительские права или паспорт) или по изображению лица, показывает помещение, рабочий стол (если попросит проктор) и начинает проходить экзамен. В начале каждого сеанса (при использовании технологии распознавания лиц) автоматически делается фотография лица студента, эта фотография проходит процедуру идентификации личности, и определяется процент схожести лица в сеансе с фотографией из профиля. На протяжении всего экзамена осуществляется непрерывная верификация личности человека за компьютером, которая основана на методах автоматического обнаружения и распознавания лиц. Также может применяться метод анализа клавиатурного почерка. Есть четкий порядок действий, которые можно совершать во время экзамена в системе прокторинга. Например, можно пользоваться рукописным конспектом, звонить проктору, если возникли технические проблемы (пропал интернет, отключили свет). А вот чего делать нельзя: перемещаться по другим вкладкам в браузере; быть в наушниках; использовать подсказки или помощь третьих лиц во время экзамена; уходить без предупреждения или делать звонки по телефону. Если проктор обнаружит хотя бы одно нарушение, он зафиксирует все и передаст замечания преподавателю. Если студент совершает сразу несколько грубых нарушений или не реагирует на замечания проктора, экзамен можно прервать или даже аннулировать. При необходимости проктор может отвести 2 - 3 минуты для посещения туалета. Обычно информация о технологиях, используемых в системе онлайн-прокторинга, не раскрывается. Это способ не дать студентам разобраться в них, чтобы потом искать методы обхода. С первого взгляда может показаться, что система прокторинга в электронном обучении слишком строга. На самом деле сдать в ней экзамен гораздо проще, чем у преподавателя. Здесь отсутствует субъективное отношение, человеческий фактор в виде плохого настроения/самочувствия преподавателя. Можно надеяться только на свои знания.
Технологии биометрической идентификации
Биометрические технологии, в определённой мере, существуют ещё со времён глубокой древности. В Древнем Египте ещё строителями пирамид признавались методы идентификации рабочих по заранее записанным телесным признакам. Только в конце 19 века начали появляться сообщения и методики использования отпечатков пальцев и прочих физических характеристик для идентификации людей. С тех пор биометрическая идентификация людей по отпечаткам пальцев стала широко внедряться, особенно в криминальной практической деятельности с целью определения и поиска преступников. Остальные направления биометрической идентификации практически не развивались до шестидесятых годов прошлого века. В конце 1960-х и 70-х годах были также разработаны технологии идентификации по голосу и подписи. Первая работающая технология, на основе идентификации радужной сетчатки глаз человека, была представлена в 1985 году. В начале 21 века биометрия начала развиваться, как перспективное направление, на уровне ажиотажного спроса, который наблюдается и в настоящее время. За последние двадцать лет, открыто и разработано множество биометрических платформ и систем, позволяющих идентифицировать и установить личность человека:
- по микровибрации пальцев;
- по сердцебиению;
- по геометрии сердца;
- голосовая биометрия;
- анализ действий пользователя (по поведению);
- стилометрия (по почерку человека);
- анализ рисунка вен на ладони;
- тест ДНК;
- фотометрия (по множественным характеристикам и особенностям изображения лица человека).
Даже далеко не полное перечисление биометрических технологий, показывает их бурное развитие и широкое многообразие. Но в современное время, наиболее продвинутыми и широко распространёнными, являются методы идентификации по отпечатку пальцев и изображению лица.
Технологии распознавания лиц
Технология распознавание лиц (Face Recognition) — это один из наиболее перспективных методов биометрической бесконтактной идентификации человека по лицу. Впервые подобные системы были реализованы как определённое программное обеспечение, устанавливаемое на компьютер. В современное время технология распознавания лиц наиболее часто используется в системах видеонаблюдения, контроля доступа, на разнообразных мобильных и облачных платформах. По своей структурной реализации можно выделить три распространенные схемы. Принципиально система представляет процесс сопоставления лиц с базой данных ранее сохраненных и идентифицированных изображений. Непосредственно, технология реализации системы будет зависеть от трёх основных факторов:
- алгоритм распознавания;
- базы данных распознанных лиц (эталонов);
- быстродействие алгоритма.
Для создания алгоритма распознавания лиц существует несколько системных подходов. Первоначально использовался, так называемый, эмпирический подход. В его основе лежат некоторые базовые правила, которые использует человек для детектирования лица. Для определения лиц производится значительное уменьшение участка изображения, где предполагается наличие лица, или строятся перпендикулярные гистограммы. Эти методы легко реализовать, но они практически непригодны при наличии большого количества посторонних объектов на фоне, нескольких лиц в кадре или при изменении ракурса. Более рациональным подходом является использование инвариантных признаков. В основе такого подхода лежит попытка внедрения системы «думать» как человек, которая базируется на нейросетях. Нейронная сеть — это последовательность нейронов, соединенных между собой синапсами. Структура нейронной сети пришла в мир IT прямиком из биологии. Благодаря такой структуре, машина обретает способность анализировать и даже запоминать различную информацию. Нейронные сети также способны не только анализировать входящую информацию, но и воспроизводить ее из своей памяти. Нейрон — это вычислительная единица, которая получает информацию, производит над ней простые вычисления и передает ее дальше. В том случае, когда нейросеть состоит из большого количества нейронов, вводят термин слоя. Соответственно, есть входной слой, который получает информацию, n скрытых слоев, которые ее обрабатывают, и выходной слой, который выводит результат. У каждого из нейронов есть два основных параметра: входные данные (input data) и выходные данные (output data). В случае входного нейрона: input = output. В остальных, в поле input попадает суммарная информация всех нейронов с предыдущего слоя, после чего, она нормализуется, с помощью функции активации. Синапс — это связь между двумя нейронами. У синапсов есть один параметр — вес. Благодаря ему, входная информация изменяется, когда передается от одного нейрона к другому. Функция активации — это способ нормализации входных данных. Пропустив информацию из output через функцию активации, можно получить значение в нужном диапазоне. Так или иначе, все современные технологии распознавания лиц используют системы, обучающиеся с помощью тестовых изображений. Каждый фрагмент исследуемого изображения характеризуется как вектор признаков, с помощью которого классификаторы (алгоритмы для определения объекта в кадре) определяют, является данная часть изображения лицом или нет. Алгоритм определения лица можно свести к следующему:
- камера обнаруживает лицо человека;
- снимается фотография лица и начинается его анализ. Используются форматы 2D-изображения или 3D-изображения. Каждое лицо составлено из различимых ориентиров или узловых точек (большинство программ работает по 80 узловым точкам);
- анализ лица конвертируется в математическую формулу, черты лица становятся числовым кодом;
- числовой код сравнивается с базой данных отпечатков лиц. В этой базе данных имеются фотографии с идентификаторами, которые можно сравнивать.
Аппаратно – программный комплекс
Работа системы распознавания лиц в реальных условиях — это целый комплекс программно аппаратного взаимодействия. Для организации таких взаимодействий существует большое количество интегрированных платформ, позволяющей настраивать взаимодействия с системами контроля доступа, системами видеонаблюдения, охранными системами.
В качестве аппаратной базы для платформы был выбран комплекс «Ximiir» (производитель Китай). Сертификация: FCC - Европейский сертификат соответствия. Характеристики:
- номер модели: MD-9S;
- ёмкость изображений: до 2000;
- операционная система: LINUX System;
- дисплей сенсорный 4.3 дюйма;
- связь с персональным компьютером и контроллером: TCP / IP, порт USB типа A; дополнительный WI-FI;
- камера 2 миллиона пикселей на дюйм;
- скорость распознавания лица менее 0,3 с;
- питание устройства - 12V DC.
Системный блок камеры идентификации лица
Камера поддерживает несколько кодеков сжатия видео (H.265, H.264, MPEG-4 и MJPEG) Конструктивно представляет собой двухлинзовую камеру с бинокулярной технологией. Она оснащена объективом с фиксированным фокусным расстоянием 4 мм, угол обзора равен 86°. Предусмотрено автоматическое переключение между режимами дневной и ночной съемки. Инфракрасная подсветка действует на расстояние до 10 метров. Алгоритм распознавания лиц - «Xeoma». Модуль «Xeoma» представляет несколько методов определения лиц — с помощью статического анализа изображения или используя массивы искусственного интеллекта. Эти методы отличаются своими механизмами работы и формируют свои базы данных разными способами. Базы данных для методов распознавания «Статистический анализ» и «Искусственный интеллект» формируются разными способами отдельно друг от друга. Это значит, что, переключившись с одного метода на другой, формируется своя база данных для «нового» метода распознавания.
Методы распознавания модуля «Xeoma»:
- статистический анализ - средний показатель успешности распознавания 75%. Статистический анализ изображения позволяет добавить в базу данных неограниченное количество людей, поэтому для систем с большим количеством людей в базе данных этот метод более выгоден. В настройках модуля «Распознавание лиц» необходимо указать имя человека (или иной идентификатор) и подключить функцию «Обучить распознаванию», когда в кадр попадёт то лицо, которое нужно сохранить, программа добавит это лицо в свою базу данных, предварительно привязав к нему указанное имя (или иной идентификатор). Если необходимое лицо уже попадало в поле зрения камеры, то можно зайти в архив и добавить его оттуда;
- распознавание лиц, метод «Искусственный интеллект»: Средний процент успешного распознавания этого метода 90%. Для распознавания с помощью опции «Искусственный интеллект» доступна возможность «Автообучения лицам» — добавление людей (лиц) в группы на основе частотности их обнаружения. Полуавтоматическое обучение (по внешним фото): если необходимо обучить систему, имея в наличии только фото нужных лиц, то можно с помощью метода «Искусственный интеллект» создать архив данных. Прежде всего - все фотографии необходимо перевести в формат JPEG. В программе «Xeoma» создаётся цепочка. В модуле «Распознавание лиц» выбираем «Искусственный интеллект» в графе «Алгоритм распознавания лиц». В модуле «Чтение файла» прописываем путь до одной из фотографий. В модуле «Распознавание лиц» вводим уникальное имя в графу «Имя человека» для распознавания и нажимаем «Обучить распознаванию». Таким образом поступаем для всех фотографий и создаём архив.
Массовое обучение (создание обширной базы данных): для обучения большим массивам данных, используется следующий алгоритм (доступно только для распознавания лиц с помощью опции «Искусственный интеллект»):
- через программу «Xeoma» проводится обучение одного человека. Это нужно для создания папки «Xeoma\FaceDetector\DNN» (появляется автоматически после того, как первого человека обучили через программу);
- в папке «Xeoma\FaceDetector\DNN\Recognition» создаёте папку с именем человека только в формате HEX (конвертировать можно через онлайн-конвертеры типа https://codebeautify.org/string-hex-converter);
- в эту папку кладем любое изображения человека, которого нужно добавить. Это фото будет использоваться для обучения, и качество распознавания будет зависеть от качества этой фотографии. Изображение должно быть хорошего качества, само лицо должно быть хорошо видно (рекомендуется, что лицо должно быть минимум 160х160 пикселей на дюйм).
- в папку «Xeoma\FaceDetector\DNN\Person» копируем изображение лица этого же человека (можно вырезать с той же фотографии). Это фото будет выводиться на превью при узнавании этого человека.
Формат: bmp. Имя файла должно быть идентичным имени человека (тоже HEX).
- повторяем шаги для других людей из базы (для больших баз данных стоит создать скрипт с этими действиями).
- перезапускаем программу. После перезапуска «Xeoma» обучится на всех добавленных людей. Таким образом производится быстрое автоматическое обучение многочисленным массивам лиц.
Предполагаемая техническая интеграция системы распознавания лиц при создании сети прокторинга в локальной системе «Сетевой город»
Базовый мощный компьютер, используемый сотнями параллельных пользователей, связанных с машиной через терминалы. Многопользовательская система – это система, используемая многими пользователями одновременно. Использует для обработки очень большие объемы данных. Это большая универсальная ЭВМ (высокопроизводительный компьютер) со значительным объемом оперативной и внешней памяти, предназначенный для организации централизованных хранилищ данных большой емкости. Обязательным условием является наличие сервера хранения данных. Система идентификации интегрирована, через программное обеспечение, с системными программами компьютера по обработке данных и выходом в программное обеспечение «Сетевого города». Тип рабочей нагрузки - обработка задания в реальном времени (online). Видеокамера идентификации объекта осуществляет работу с архивом базы данных обучающихся и реальным объектом на экране монитора. Подобную схему взаимодействия, можно осуществить, через широко распространённое программное обеспечение «Сетевой город». Принципиально схему взаимодействия можно представить следующим образом:
- создание тестовой базы данных. Объединяет в себя лучшие практические наработки тестовых задний по всем уровням – местный, областной/региональный, российский, по всем общеобразовательным предметам. Регулятором создания базы данных может является методический совет (на уровне городского управления образования). База может постоянно пополнятся, за счёт проведения определённых проверочных тестов и срезов, рекомендованных для проведения проверки знаний;
- создание архивной базы данных, обучающихся в учебных заведениях локальной сети. Информация предоставляется всеми учебными заведениями локальной сети «Сетевого города». База данных формируется в сервере хранения информации и через программное обеспечение, связана с базой данных устройства идентификатора;
- при поступлении запроса на проведение контрольного теста, от учебного заведения/управления образования, выбирается необходимый базовый контрольный тест, назначается время (оно может занимать значительный промежуток времени, поскольку обучающиеся выходят в систему «Сетевого города» самостоятельно со своих ПК);
- при проведении теста, первоначально идентификатор подтверждает личность обучающегося и даёт разрешение на проведение теста (возможно проведение за определённый промежуток времени). Потоковое видео может не только идентифицировать обучающегося, но и проводить видеонаблюдение в ходе тестирования (с сохранением информации);
- результаты прохождения теста передаются адресату (учебное заведение, управление образования), анализируются и оцениваются, с осуществлением обратной связи с обучающимися. Возможно реализовать мгновенную оценку теста, с передачей данных соответствующим лицам, осуществляющих контроль.
Всё управление системой осуществляется провайдером прокторинга.
Схема интеграции системы прокторинга в локальную систему «Сетевой город»
Общая схема предполагаемой реализации локальной системы прокторинга
Определение возможностей системы распознавания лиц в процедуре прокторинга
Для того, чтобы определить степень пригодности рассматриваемой платформы распознавания лиц в процедуре прокторинга, нужно оценить качество идентификации лиц системой. Для выполнения данной задачи мы провели ряд экспериментов. В базу данных системы было загружено несколько фотографий в ракурсе анфас (это можно сделать как напрямую через камеру устройства, так и при помощи специального ПО на компьютере), и к ним был прикреплен соответствующий идентификатор личности. После этого мы провели испытания, цель которых – оценить вероятность успешного распознавания зарегистрированного лица при разных ракурсах, освещении и фоне и вероятность ложной идентификации незарегистрированных пользователей. Результат этих экспериментов положителен, так как система не допустила ошибок. Для распознавания ей нужно было менее 0,3 секунды. Несмотря на небольшой объем тестовой выборки и количества тестов, можно сделать вывод, что платформа достаточно эффективна для того, чтобы идентифицировать учащегося в момент начала экзамена и в течение всего его написания. Но для распознавания запрещенных во время экзамена действий по видеопотоку необходимо совершенствование программного кода. В связи с этим процедура прокторинга с применением данной системы требует участия проктора и еще далека до полной автоматизации.
Выводы
В результате проделанной работы можно сделать следующие выводы:
- изучены доступных литературных и интернет – ресурсов по вопросам технологий биометрии, идентификации лица человека, сферы прокторинга C уже имеющимися техническими и программными решениями;
- на основе изученных литературных и интернет – источников подобрана модель интеллектуальной системы для проведения тестирования учащихся;
- реализован концептуальный вариант биометрической платформы для прокторинга при взаимодействии с локальной сетью «Сетевой город»;
- определены возможности системы распознавания лиц в процедуре прокторинга.
Список литературных и интернет - источников
1.https://zaochnik.ru/blog/chto-takoe-sistema-proktoringa-i-kak-ee-obojti/ - Прокторинг. Что такое система прокторинга.
2.https://habr.com/ru/company/stepic/blog/329420/ - Прокторинг в онлайн-экзаменах: как это работает?
3.https://finacademy.net/materials/article/proktoring - Что такое прокторинг и чем полезен на экзаменах, тестировании и в обучении.
4.https://trends.rbc.ru/trends/education/5fa01fe49a794782c65b74f9 - Списать не дам: что такое онлайн-прокторинг и как он работает.
5.М. Ю. Михеев, К. В. Гудков, Т. Н. Астахова, Е. Ю. Макарова, Обработка информации в системе идентификации по термограмме лица, 05.13.00 Информатика, вычислительная техника и управление, УДК 004.3, 2017 г.
6.https://www.tadviser.ru/index.php/Статья:Технологии_биометрической_идентификации - Технологии биометрической идентификации, 2019 г.
7.https://www.tadviser.ru/index.php/Статья:Краткая_история_биометрии - Краткая история биометрии.
8.https://securityrussia.com/blog/face-recognition.html - Как работает система распознавания лиц?
9.http://www.techportal.ru/glossary/kontrol-dostupa-po-litsu.html - Технологии распознавания лица.
10.https://www.tadviser.ru/index.php/Статья:Системы_распознавания_лиц_(Facial_recognition) - Системыраспознаваниялиц Facial recognition technology (FRT)
11.https://felenasoft.com/xeoma/ru/articles/face-detector-face-recognition/ - Программное обеспечение.