Новое программное обеспечение, которое с помощью «компьютерного зрения» поможет снизить риски опасных ситуаций на вокзалах, аэропортах, станциях метро и промышленных предприятиях, разработали сотрудники Санкт-Петербургского Федерального исследовательского центра (СПб ФИЦ) РАН, Санкт-Петербургского государственного университета и Новосибирского государственного университета, 26 июля сообщила пресс-служба Минобрнауки.

Надежность отслеживания опасных ситуаций, которое ведется диспетчерами — сотрудниками единых информационных центров, зависит от их физиологического состояния. Снизить риски опасных ситуаций на этих объектах поможет «компьютерное зрение», считают разработчики.

Программный продукт, созданный российскими учеными, с помощью нейросети анализирует такие состояния человека, как сонливость, усталость, голод, и помогает выявить случаи переутомления диспетчеров.

Как рассказал старший научный сотрудник СПб ФИЦ РАН Алексей Кашевник, их научная группа разработала «программное обеспечение, которое при помощи „компьютерного зрения“ по ряду параметров позволяет распознать степень утомляемости оператора компьютера. В первую очередь такая программа поможет избежать ошибок и снижения качества работы для специалистов критически важной для общества и государства инфраструктуры».

Для формирования «компьютерного зрения» используются нейросети openpose и selflow, которые ищут человека в кадре и строят оптический поток, на основе которого создаются графики движения ключевых точек на теле человека и затем анализируются. По сути, компьютерное зрение, распознавая объекты на видеоматериалах, способно отмечать признаки, соответствующие определенному поведению человека, в том числе утомлению.

Кроме признаков усталости, уже использованных в предыдущем проекте ученых Drive Safely, предназначенном для оценки состояния водителя на дороге, таких как зевота, частота вдохов и выдохов и доля времени, в течение которого глаза объекта были закрыты, ученые ввели новые параметры.

Для этого они с помощью специального датчика-трекера изучили стратегию движения глазного яблока оператора, характеризующую утомление центральной нервной системы по ряду факторов: скорость перемещения взгляда, кривизна его траектории и так далее.

«Мы научили программу распознавать стратегии по данным с трекера. И сейчас система работает так: мы загружаем в нее собранную информацию. Затем программа ее размечает и анализирует. На выходе получаем суммарную оценку и рекомендации о том, насколько сильно оператор нуждается в отдыхе. В ближайшее время мы оптимизируем разработку таким образом, чтобы она могла анализировать данные в режиме реального времени», — пояснил Алексей Кашевник.