Vidéos égocentriques pour l'entraînement des robots 🧵 Des chercheurs de NYU et de l'UC Berkeley ont publié des recherches où ils ont développé un système appelé EgoZero qui entraîne des robots en utilisant des vidéos de démonstration humaine enregistrées avec des lunettes intelligentes. 👓 Le système convertit les actions humaines à la première personne en représentations d'état-action basées sur des points 3D. Les politiques exécutées sur un robot équipé d'une pince ont atteint un taux de succès de 70 % en zéro-shot sur sept tâches de manipulation, avec seulement 20 minutes de données humaines par tâche. EgoZero se présente comme l'une des preuves empiriques solides que les vidéos collectées avec des lunettes intelligentes, provenant du comportement humain quotidien, peuvent servir de données d'entraînement puissantes et évolutives pour l'apprentissage réel des robots. @vincentjliu @AdemiAdeniji