Je suis ravi d'annoncer l'inférence de conteneur dédiée - l'un des produits que j'étais tellement excité de construire lorsque j'ai rejoint @togethercompute et maintenant, 6 mois plus tard, nous sommes en ligne ! Un grand bravo à l'équipe - cela facilite l'exécution de l'inférence pour des modèles à forte demande de calcul, tels que la vidéo, l'audio et la génération d'avatars, avec des primitives pour l'auto-scaling, la mise en file d'attente, les priorités, les métriques, la journalisation et plus encore. Si vous travaillez dans ce domaine, j'aimerais avoir de vos nouvelles !