Больше никаких парящих в воздухе менюшек, джойстиков в руках и тому подобного. Теперь авторы приложений для VR-шлемов смогут разместить весь интерфейс прямо на ладонях пользователя.

В обычной жизни никто не ходит с портативным контроллером или всплывающим перед глазами меню, так зачем мириться с подобными ограничениями в виртуальной реальности? Аспирант Вимал Моллин из Университета Карнеги-Меллона представил технологию EgoTouch, которая размещает «сенсорные экраны» прямо на телах VR-пользователей. Задумка не только убирает лишние окна, но и отличается скоростью, точностью и эргономикой в сравнении с обычным дизайном.

Одна из основных проблем нательных интерфейсов в необходимости использовать камеры с датчиками глубины, которые будут отслеживать местоположение конечностей пользователя. Но EgoTouch идет по простому пути и эксплуатирует уже готовую оптическую RGB-камеру, установленную на VR-гарнитуре. Остается дело за малым: уловить тени и деформации кожи, когда палец нажимает на ладонь, а после наложить поверх виртуальное меню.

Чтобы обучить алгоритм улавливать изменения кожи, команда Моллина собрала группу добровольцев. Те, в свою очередь, примерили RGB-камеры на голову, закрепили сенсорный датчик на пальце и просто тыкали в различные места на своей руке. По итогу система научилась определять не только место прикосновения, но и интенсивность с длительностью. Более того, с разными оттенками кожи, густотой волос и освещением.