Эгоцентрические видео для обучения роботов 🧵 Исследователи из NYU и UC Berkeley опубликовали исследование, в котором разработали систему под названием EgoZero, которая обучает роботов с использованием видео демонстраций людей, записанных с помощью умных очков. 👓 Система преобразует действия человека от первого лица в 3D представления состояния-действия на основе точек. Политики, выполняемые на роботе с захватом, достигли 70% успеха в нулевом испытании по семи задачам манипуляции, с использованием всего 20 минут данных от человека на задачу. EgoZero является одним из убедительных эмпирических доказательств того, что эгоцентрическое видео с умных очков, собранное из повседневного человеческого поведения, может служить мощными и масштабируемыми данными для обучения реальных роботов. @vincentjliu @AdemiAdeniji