På bara 48 timmar på @RunAnywhereAI byggde vi MetalRT: slog @Apple på deras eget spel och levererade den SNABBASTE LLM-inferensmotorn på marknaden för Apple Silicon just nu. - 570 tok/s avkodning @liquidai LFM 2.5-1.2B 4-bit - 658 tok/s avkodning @Alibaba_Qwen Qwen3-0.6B, 4-bitars - 6,6 ms tid till första token - 1.19× snabbare än Apples egen MLX (identiska modellfiler) - 1,67× snabbare än llama.cpp i genomsnitt Vi krossade Apple MLX, llama.cpp, uzu (av TryMirai) och Ollama över fyra olika 4-bitarsmodeller, inklusive den on-device optimerade LFM2.5-1.2B på en enda M4 Max. Ser fram emot den här! #ycombinator #runanywhere #ondeviceai #applesilicon #mlx