Użycie Trinity, zwłaszcza podczas korzystania z openrouter za darmo, było niesamowite. Rzeczywiście udało nam się obsłużyć 3 razy większy przepustowość na naszym klastrze inferencyjnym, niż szacowaliśmy. Ale nasza TPS spadła, ponieważ użycie wciąż rośnie. Przenieśliśmy część obliczeń treningowych do inferencji (nie było to tak proste, jak myślałem) i powinniśmy wrócić do pełnej prędkości. Dajcie z siebie wszystko.