Провожу тестирование производительности на последней версии @exolabs, это здорово! Я нашел конечную точку /bench/chat/completions, которая отключает кэш между вызовами! Именно то, что мне нужно! Давайте разгоним эти M3 Ultras!