Naši sérii D jsme uzavřeli na 2,1 miliardy USD. Stalo se to 8 měsíců po naší sérii C, což se zdá příliš rychlé, dokud nevezmete v úvahu fakta: 2letý růst za 8 měsíců, prakticky 0 odchodů zákazníků, zdravé marže a mezičtvrtletní čísla NDR, která jsou považována za meziroční nejvyšší úroveň. Tržní poptávka po nízké latenci, elastické a spolehlivé inferenci je nenasytná. A naše počáteční zaměření na budování devexu pro podporu vlastních modelů se skutečně vyplatilo: lidé chtějí mít moc a přehled o tom, jak jsou jejich modely optimalizovány, nasazovány a obsluhovány; nikoli rozhraní API pro inferenci černé skříňky. A pokud jde o latenci, společnosti, které ještě před rokem tvrdily, že "latence není nejvyšší prioritou", s námi spolupracují na zkrácení 10 milisekund kvůli dopadu na jejich UX i konečný výsledek. Důvodem, proč jsou naše latence bezkonkurenční, je to, že jsme odmítli dva extrémní přístupy: a) jít do toho naplno oss lib jako vllm, nebo b) vytvořit si vlastní inferenční stack od základů. Země zaslíbená je uprostřed: využít to nejlepší z různých oss frameworků a přispívat zpět, zatímco na nich budujeme alfu (např. spekulativní engine, vlastní jádra, distribuované úložiště KV, přepisování horkých cest v rustu, atd.). Basetenovi je dnes 6 let. Na zdraví dalším 6. Jsem si jistý, že odsud to bude jen těžší.