Vi avsluttet vår serie D på 2,1 milliarder dollar. Det skjedde 8 måneder etter vår serie C, noe som virker for raskt før du vurderer fakta: 2 års vekst på 8 måneder, praktisk talt 0 kundefrafall, sunne marginer og QoQ NDR-tall som regnes som toppnivå på årsbasis. Markedets etterspørsel etter lav latens, elastisk og pålitelig slutning er umettelig. Og vårt tidlige fokus på å bygge en devex for å støtte tilpassede modeller har virkelig lønnet seg: folk vil ha makt og synlighet over hvordan modellene deres optimaliseres, distribueres og betjenes; ikke et blackbox-inferens-API. Og på latensfronten jobber selskaper som for bare et år siden sa at "latens ikke er en topp prioritet" med oss for å barbere av 10-talls millisekunder på grunn av innvirkningen på både brukeropplevelsen og bunnlinjen. Grunnen til at latensene våre er uovertrufne er fordi vi avviste de to ekstreme tilnærmingene: a) gå all in på en oss-lib som vllm, eller b) bygge vår egen slutningsstabel fra grunnen av. Det lovede landet er i midten: utnytt det beste fra de forskjellige oss-rammeverkene og bidra tilbake, mens du bygger alfa på toppen av det (f.eks. spekulasjonsmotor, tilpassede kjerner, distribuert kv-lagring, omskriving av varme baner i rust, etc). Baseten er 6 år gammel i dag. Skål for en annen 6. Jeg er sikker på at det bare blir vanskeligere herfra.