Vi er veldig glade for å introdusere Aurora (Audio-driven Ultra-Realistic Rendering of Reactive Avatars) – vårt siste tekniske gjennombrudd: en ny toppmoderne AI-grunnmodell for generering av avatarvideo. Fra ett enkelt bilde + et lydklipp produserer Aurora en fotorealistisk video av en person som snakker eller synger – med uttrykksfullhet i hele kroppen, ikke bare leppesynkronisering. Aurora er en diffusjonsbasert multimodal modell som smelter sammen lyd, bilde og valgfrie tekstinnganger for å generere tidsmessig sammenhengende, følelsesmessig justert bevegelse over ansiktet, øynene, hendene og den generelle holdningen. Se demoer + fullstendig detaljert blogginnlegg her: 🔗 Hva gjør dette kraftig: - Zero-shot-generering med høyeste visuelle gjengivelse Identitetskonsistens over lange videoer - Naturlige bevegelser, ansiktsnyanser og subtile bevegelser - Robust ytelse på tvers av ulike scenarier Det er en av de mest naturlige, uttrykksfulle og kontrollerbare avatarmodellene vi har sett – og jeg er utrolig stolt av teamet mitt for å få det til.