ИИ-навигатор для слабовидящих людей разработали в НГТУ НЭТИ

В Новосибирском государственном техническом университете НЭТИ разработали навигатор с искусственным интеллектом для распознавания препятствий, который поможет незрячим и слабовидящим людям ориентироваться на местности.

Межфакультетская команда разработчиков с факультета радиотехники и электроники и факультета автоматики и вычислительной техники НГТУ НЭТИ создала видеонавигатор для инвалидов по зрению на основе искусственного интеллекта, который отличается эффективностью и простотой. По словам разработчиков, все, что требуется — это телефон на базе Android.

«Человек загружает разработанную нами программу, включает камеру и закрепляет гаджет на груди. Дальше работает специально обученная нейросеть. Из видеопотока кадров ИИ распознает обстановку, расстояние до потенциально опасных объектов и звуком оповещает об этом пользователя», — рассказал студент третьего курса АВТФ Егор Авдеев.

Для распознавания объектов разработчики используют модель сверточной нейронной сети, которую обучают на вручную размеченных данных. ИИ умеет предупреждать об объектах на расстоянии около пяти метров, чтобы не перегружать пользователя информацией, а также реагировать на неожиданно появившиеся препятствия, такие как машины или закрывшиеся ворота, — приложение обрабатывает кадры за 300 мс.

От отечественных и зарубежных аналогов разработка студентов новосибирского вуза отличается тем, что способна работать в офлайн-режиме и не содержит рекламы и платной подписки. Кроме того, в программе появится возможность предлагать свои объекты для распознавания, чтобы можно было обеспечить максимальный комфорт при перемещении.

Команда в настоящее время работает над основным режимом работы данного приложения. «За три месяца мы постараемся выпустить версию, которая сможет помочь с распознаванием препятствий и ориентированием. Также есть идеи для добавления других функций в приложение, например, построение маршрута по голосовому запросу адреса или поиск объектов по названию», — рассказал Егор Авдеев.

Проект, по словам разработчиков, почти готов. Перед выпуском новой версии команда проведет тестирование и в дальнейшем планирует в оперативном режиме исправлять мелкие проблемы, не влияющие на работу основного функционала приложения.

Инициатором проекта выступил доцент кафедры радиоприемных и радиопередающих устройств факультета радиотехники и электроники Андрей Никулин, который в прошлом году разработал ручной помощник для незрячих и слабовидящих людей.

Проект команды с АВТФ уже получил высокую оценку жюри в конкурсе студенческих проектов старшей лиги и завоевал первое место среди ИТ-проектов.