Filmy egocentryczne do treningu robotów 🧵 Naukowcy z NYU i UC Berkeley opublikowali badania, w których opracowali system nazwany EgoZero, który trenuje roboty za pomocą filmów demonstracyjnych ludzi nagrywanych za pomocą inteligentnych okularów. 👓 System przekształca działania ludzi z perspektywy pierwszej osoby w 3D oparte na punktach reprezentujących stany i działania. Polityki realizowane na robocie wyposażonym w chwytak osiągnęły 70% wskaźnik sukcesu w trybie zero-shot w siedmiu zadaniach manipulacyjnych, przy zaledwie 20 minutach danych ludzkich na zadanie. EgoZero stanowi jeden z solidnych empirycznych dowodów na to, że filmy z inteligentnych okularów zbierane z codziennego zachowania ludzi mogą służyć jako potężne, skalowalne dane treningowe dla rzeczywistego uczenia się robotów. @vincentjliu @AdemiAdeniji