24 milyar parametreli bir model bir dizüstü bilgisayarda çalıştı ve doğru aracı yarım saniyeden kısa sürede seçti. Gerçek hikaye, araç çağıran ajanların nihayet yazılım gibi hissettirecek kadar hızlı hale gelmesi. Liquid, 1:3 oranında gruplanmış sorgu dikkatiyle karıştıran hibrit bir mimari kullanarak LFM2-24B-A2B üretti. Tam model 24 milyar token barındırmasına rağmen her token için sadece 2,3 milyar parametre aktive oluyor. Bu seyrek aktivasyon deseninin sebebi, M4 Max'te 14,5 GB belleğe sığmasının ve araçları 385 milisaniyede göndermesinin sebebi. Mimari, donanım-döngü araması yoluyla tasarlandı; yani model yapısını doğrudan üzerinde çalışacağı çiplerde test ederek optimize ettiler. Bulut çeviri katmanı yok. API gidiş-dönüş yok. Model, araçlar ve veriniz makinede kalır. Bu, daha önce pratik olmayan üç şeyi ortaya çıkarıyor: 1. Düzenlenen sektörler, çalışanların dizüstü bilgisayarlarında veri cihazdan çıkmadan ajanları çalıştırabilir. 2. Geliştiriciler, API anahtarlarını veya hız sınırlarını yönetmeden çoklu araç iş akışlarını prototip yapabilir. 3. Güvenlik ekipleri, tedarikçi alt işlemcileri dahil olmadan tam denetim izleri alır. Model, 13 MCP sunucusunda 67 araç üzerinde tek adımlı araç seçiminde %80 doğruluk sağladı. Bu performans ölçekte geçerliyse, iki varsayımın güncellenmesi gerekir. Birincisi, cihaz üzerindeki ajanlar artık pil ömrü karşısında bir takas değildir; Bunlar bir uyum özelliği. İkinci olarak, ajanik iş akışlarındaki darboğaz, model kapasitesinden araç ekosisteminin olgunluğuna kayıyor.

Harika çalışmalar: @liquidai @ramin_m_h