Việc sử dụng từ Trinity, đặc biệt là khi miễn phí trên openrouter, thật tuyệt vời. Chúng tôi thực sự đã quản lý để xử lý gấp 3 lần lưu lượng trên cụm suy diễn của mình so với ước tính. Nhưng TPS của chúng tôi đã giảm mạnh khi việc sử dụng tiếp tục tăng. Chúng tôi đã chuyển một số tính toán đào tạo sang suy diễn (không đơn giản như tôi nghĩ) và chúng tôi nên trở lại tốc độ tối đa. Hãy cho chúng tôi tất cả những gì bạn có.