Super podekscytowany, aby przedstawić Aurora (Audio-driven Ultra-Realistic Rendering of Reactive Avatars) – nasz najnowszy przełom techniczny: nowy model podstawowy AI do generowania wideo z awatarami. Z jednego obrazu + klipu audio, Aurora produkuje fotorealistyczne wideo osoby mówiącej lub śpiewającej — z pełnym wyrazem ciała, a nie tylko synchronizacją ust. Aurora to model multimodalny oparty na dyfuzji, który łączy audio, obraz i opcjonalne dane tekstowe, aby generować czasowo spójną, emocjonalnie dopasowaną ruchomość w obrębie twarzy, oczu, rąk i ogólnej postawy. Zobacz pokazy + pełny szczegółowy post na blogu tutaj: 🔗 Co czyni to potężnym: - Generacja zero-shot z najwyższą wiernością wizualną - Spójność tożsamości w długich filmach - Naturalne gesty, niuanse twarzy i subtelny ruch - Solidna wydajność w różnych scenariuszach To jeden z najbardziej naturalnych, ekspresyjnych i kontrolowanych modeli awatarów, jakie widzieliśmy — i jestem niesamowicie dumny z mojego zespołu za to, że to zrealizował.