Эффективный метод развертывания роя спасательных и исследовательских дронов разработала команда ученых Сколковского института науки и технологий, 31 октября сообщает пресс-служба Сколтеха.

Направлять каждый дрон в заданную точку оператору позволяет шлем виртуальной реальности и тактильный интерфейс, который имитирует серию выстрелов из лука. Столкновения дронов в рое удается избежать с помощью глубокого обучения искусственного интеллекта с подкреплением.

Результаты своих исследований команда представила на XXI Международном симпозиуме IEEE по смешанной и дополненной реальности в докладе «DroneARchery: взаимодействие человека и дрона посредством дополненной реальности с тактильной обратной связью и предотвращением столкновений нескольких БПЛА на основе глубокого обучения с подкреплением».

Руководитель Лаборатории интеллектуальной космической робототехники и этого исследования доцент Сколтеха Дмитрий Тетерюков пояснил задачу, поставленную перед собой учеными:

«Стив Джобс перевернул представление о том, как человек может интуитивно взаимодействовать с цифровым миром, предложив использовать сенсорные экраны и жесты. Цель наших исследований — преодолеть еще более сложный вызов: каким образом пользователь без опыта управления дроном сможет в считанные секунды развернуть целый рой!»

Первый автор исследования, выпускница магистратуры Сколтеха Екатерина Доржиева дополнила:

«Сегодня существует не так много интерфейсов для развертывания роя дронов. Управлять одним дроном удобно при помощи джойстика, а для управления целым роем требуется либо несколько операторов, либо очень сложное программное обеспечение, позволяющее автоматически учитывать множество разных данных. Мы предлагаем альтернативное решение этой задачи».

Тактильный интерфейс, который решили использовать исследователи, был придуман аспирантом Сколтеха Мигелем Альтамирано. Его разработка опиралась на интерфейс LinkTouch, созданный в Японии Тетерюковым.

Управляя роем дронов оператор использует VR-шлем, перчатки с маркерами и тактильный дисплей. Вокруг него располагается система захвата движения из нескольких IR-камер, которые отслеживают положение перчаток и дронов.

Тактильный дисплей позволяет оператору чувствовать, как при изменении расстояния между перчатками меняется натяжение виртуальной «тетивы», и эта обратная связь позволяет задавать ему расстояние до точки, где должен оказаться дрон. Одновременно VR-шлем показывает ему траекторию дрона.

Разжимая кулак в перчатке, что отслеживается камерой, оператор «спускает тетиву» и дрон направляется по заданной траектории. Достигнувший заданной цели дрон переходит на традиционный способ управления и выполнение своей задачи.

Такой миссией, поясняет исследовательница, может стать спасательная операция, выявление лесных пожаров, мониторинг состояния природных ресурсов или загрязнения окружающей среды, определение индекса роста сельскохозяйственных культур, геологоразведка, а также осмотр или техническое обслуживание объектов инфраструктуры.

Доржиева указала на преимущество использования траектории летящей стрелы: «Для человека такая траектория представляется вполне естественной, что позволяет быстро развернуть группировку дронов, не допуская их столкновения с препятствиями».

Отказаться от оператора можно, но в этом случае каждому дрону будет нужна камера, чтобы с помощью программного обеспечения выстраивать для себя траекторию для обхода препятствий, пояснила она.

Результаты проведенных экспериментов показали, что разработанная система повышает точность прогнозирования траектории на 63,3% за счет применения технологии дополненной реальности и передачи тактильной обратной связи о силе тяги.

Метод глубокого обучения с подкреплением позволяет программному обеспечению дронов предвидеть столкновения с другими дронами и соответствующим образом перестраивать свою траекторию.

При этом использование дополненной реальности позволяет оператору не находиться в непосредственной близости от места развертывания роя. Поэтому любые суровые условия, в которых будут работать дроны — мороз, пожары, радиоактивность, труднодоступная местность — не коснутся оператора. При этом от оператора не требуется специальных навыков и длительного обучения.

Кроме того, отмечают разработчики, виртуальная реальность в сочетании со «стрельбой из лука» имеет перспективы применения этой разработки в индустрии развлечений или видеоигр.