Construim un cip LLM care oferă un throughput mult mai mare decât orice alt cip, atingând totodată cea mai mică latență. Îl numim MatX One. Cipul MatX One se bazează pe o matrice sistolică splittable, care are eficiența energetică și a zonei pentru care sunt faimoase matricele sistolice mari, beneficiind totodată de o utilizare ridicată pe matrici mai mici cu forme flexibile. Cipul combină latența scăzută a designurilor SRAM-first cu suportul pe termen lung al HBM. Aceste elemente, împreună cu o abordare nouă a numericii, oferă un debit mai mare pe LLM-uri decât orice sistem anunțat, în timp ce se potrivesc simultan cu latența proiectelor SRAM-first. Un debit mai mare și latența mai mică îți oferă modele mai inteligente și mai rapide pentru abonamentul tău. Am strâns un Seria B de 500 de milioane de dolari pentru a încheia dezvoltarea și a scala rapid producția, cu tapeout în mai puțin de un an. Runda a fost condusă de Jane Street, una dintre cele mai tehnice firme de pe Wall Street, și Situational Awareness LP, al cărei fondator @leopoldasch scris memoriul definitiv despre AGI. Participanții includ @sparkcapital, @danielgross și @natfriedman's fund, @patrickc și @collision, @TriatomicCap, @HarpoonVentures, @karpathy, @dwarkesh_sp și alții. De asemenea, primim investitori din întregul lanț de aprovizionare, inclusiv Marvell și Alchip. @MikeGunter_ și cu mine am început MatX pentru că am considerat că cel mai bun cip pentru LLM-uri ar trebui să fie proiectat pornind de la principii fundamentale, cu o înțelegere profundă a ceea ce au nevoie LLM-urile și cum vor evolua. Suntem dispuși să renunțăm la performanța modelelor mici, la volumul redus de sarcini și chiar la ușurința programării pentru a livra pe un astfel de cip. Acum suntem o echipă de 100 de persoane, cu oameni care se gândesc la totul, de la programe de învățare, la programări Swing Modulo, la părți de gardă/rotundă/lipicioasă, la conexiuni blind-mate — toate în aceeași clădire. Dacă doriți să ne ajutați să arhitectăm, proiectăm și implementăm mai multe generații de cipuri în volum mare, luați în considerare să ni vă alăturați.