Egozentrische Videos für das Training von Robotern 🧵 Forscher der NYU und der UC Berkeley veröffentlichten eine Studie, in der sie ein System namens EgoZero entwickelten, das Roboter mit menschlichen Demovideos trainiert, die mit Smart Glasses aufgenommen wurden. 👓 Das System wandelt menschliche Handlungen aus der Ich-Perspektive in 3D-Punkt-basierte Zustands-Aktions-Darstellungen um. Die auf einem mit einem Greifer ausgestatteten Roboter ausgeführten Politiken erreichten eine Erfolgsquote von 70 % im Zero-Shot über sieben Manipulationsaufgaben, mit nur 20 Minuten menschlicher Daten pro Aufgabe. EgoZero ist ein solides empirisches Beweisstück dafür, dass egozentrische Videos von Smart Glasses, die aus dem alltäglichen menschlichen Verhalten gesammelt wurden, als leistungsstarke, skalierbare Trainingsdaten für das echte Roboterlernen dienen können. @vincentjliu @AdemiAdeniji