Компания Caltech на базе очков виртуальной и дополненной реальности Microsoft HoloLens разработала VR-/AR-помощника для слабовидящих и слепых людей Cognitive Augmented Reality Assistant (CARA). Как сообщает интернет-издание “Хайтек”, используя компьютерное зрение и идентификацию объектов в пространстве, очки CARA позволят слабовидящим людям понимать, что находится перед ними.
CARA посредством камер и датчиков видит все объекты, расположенные вокруг человека, а затем определяет их и произносит название. При этом применяется технология пространственного звука – слово «стул» прозвучит именно с той стороны, с которой он в данный момент стоит. Отдаленность же объекта от человека определяется частотой звука, на которой произнесено слово – чем выше звук, тем ближе находится объект.
Очки могут работать в нескольких режимах. Первый объяснит пользователю нахождение вещей, на которые тот смотрит. Второй режим — сканирования — позволит понять, как выглядит комната, где именно стоят вещи и какого они цвета. А третий режим позволит сконцентрироваться только на одном объекте. То есть система может автоматически называть все появляющиеся неподалеку предметы, а также целенаправленно найти в помещении предмет, который назовет человек.
CARA может работать в роли «навигатора» аналогичного автомобильным — она проведет человека по найденному маршруту к указанной им точке.
Учёные провели тест, результат которого был удачным – несколько слепых приняли участие в эксперименте, где требовалось пройти через здание Caltech, используя устройство CARA. Эксперимент был успешным, виртуальный помощник подсказывал хозяевам путь, где необходимо повернуть, где расположена лестница, поручни и т.д. В будущем планируется улучшить технологию CARA, добавив больше мест и предметов для распознавания, чтобы у слепых людей была возможность ходить в магазин и другие общественные места, не прибегая к чей-либо помощи.
Источник: