Aurora(Audio-driven Ultra-Realistic Rendering of Reactive Avatars)という最新の技術的ブレークスルーである、アバタービデオ生成のための新しい最先端のAI基盤モデルを導入できることを非常に嬉しく思います。 Auroraは、1枚の画像+オーディオクリップから、口パクだけでなく全身表現力のある、話したり歌ったりする人のフォトリアリスティックなビデオを作成します。 Aurora は、オーディオ、画像、およびオプションのテキスト入力を融合して、顔、目、手、および全体的な姿勢全体にわたって時間的に首尾一貫した感情的に一致した動きを生成する拡散ベースのマルチモーダル モデルです。 デモ + 詳細なブログ投稿はこちらからご覧ください。 🔗 これが強力な理由: - 最高の視覚的忠実度を備えたゼロショット生成 長い動画での ID の一貫性 - 自然なジェスチャー、顔のニュアンス、微妙な動き - 多様なシナリオにわたる堅牢なパフォーマンス これは、私たちが見た中で最も自然で表現力豊かで、制御可能なアバターモデルの1つであり、それを実現させた私のチームを非常に誇りに思っています。