Chúng tôi đã hoàn thành vòng gọi vốn series D với 2,1 tỷ USD. Điều này xảy ra 8 tháng sau vòng gọi vốn series C, điều này có vẻ quá nhanh cho đến khi bạn xem xét các sự thật: 2 năm tăng trưởng trong 8 tháng, gần như không có khách hàng rời bỏ, biên lợi nhuận khỏe mạnh, và các số liệu NDR theo quý được coi là hàng đầu theo năm. Nhu cầu thị trường về suy diễn có độ trễ thấp, linh hoạt và đáng tin cậy là không thể thỏa mãn. Và sự tập trung sớm của chúng tôi vào việc xây dựng một devex để hỗ trợ các mô hình tùy chỉnh thực sự đã được đền đáp: mọi người muốn có quyền lực và tầm nhìn về cách các mô hình của họ được tối ưu hóa, triển khai và phục vụ; không phải là một API suy diễn hộp đen. Về mặt độ trễ, các công ty mà chỉ một năm trước đã nói "độ trễ không phải là ưu tiên hàng đầu" đang làm việc với chúng tôi để giảm đi hàng chục mili giây vì tác động đến cả trải nghiệm người dùng và lợi nhuận. Lý do mà độ trễ của chúng tôi không thể so sánh được là vì chúng tôi đã từ chối hai cách tiếp cận cực đoan: a) đi hết mình vào một thư viện mã nguồn mở như vllm, hoặc b) xây dựng một hệ thống suy diễn của riêng mình từ đầu. Miền đất hứa nằm ở giữa: tận dụng những gì tốt nhất từ các khung mã nguồn mở khác nhau và đóng góp lại, trong khi xây dựng alpha trên đó (ví dụ: động cơ suy đoán, hạt nhân tùy chỉnh, lưu trữ kv phân tán, viết lại các đường dẫn nóng bằng rust, v.v.). Baseten hôm nay tròn 6 tuổi. Chúc mừng thêm 6 năm nữa. Tôi chắc chắn rằng mọi thứ chỉ trở nên khó khăn hơn từ đây.