Потрясающее видео использования очков дополненной реальности Microsoft HoloLens, совместно с роботом из конструктора Makeblock, Arduino и Raspberry Pi для создания виртуального интерфейса робота.
Разработчики из Калифорнийского университета создали необычную песочницу на базе 3D-сенсора Microsoft Kinect, проектора и специализированного ПО.
Пластиковым совком можно убирать или добавлять песок, а система сразу обнаруживает все выемки и возвышенности, подкрашивая их так же, как это принято на географических картах (даже может наполнить выемки «водой»).
Знаменитый ролик про KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera
В рамках проекта Point Cloud Library (PCL) реализуется open source версия технологии KinectFusion — 3D-реконструкция по данным от OpenNI-совместимых камер.
Демонстрационное видео:
Touch me – технология управления роботами с использованием дополненной реальности.
Думаю, в ROS, с использованием программы визуализации — rviz и интерактивных маркеров вполне можно повторить это дело :)