Мы разрабатываем чип LLM, который обеспечивает гораздо большую пропускную способность, чем любой другой чип, при этом достигая самой низкой задержки. Мы называем его MatX One. Чип MatX One основан на делимом систолическом массиве, который обладает энергоэффективностью и эффективностью по площади, за которые известны большие систолические массивы, при этом обеспечивая высокую загрузку на меньших матрицах с гибкими формами. Чип сочетает в себе низкую задержку дизайнов с приоритетом SRAM с поддержкой длинного контекста HBM. Эти элементы, плюс новый подход к числам, обеспечивают более высокую пропускную способность на LLM, чем любая анонсированная система, одновременно соответствуя задержке дизайнов с приоритетом SRAM. Более высокая пропускная способность и более низкая задержка дают вам более умные и быстрые модели за ваши подписочные деньги. Мы собрали 500 миллионов долларов в рамках раунда Series B, чтобы завершить разработку и быстро масштабировать производство, с выходом на рынок менее чем за год. Раунд возглавила компания Jane Street, одна из самых технологически продвинутых фирм на Уолл-стрит, и Situational Awareness LP, основатель которой @leopoldasch написал определяющую записку о AGI. Участниками стали @sparkcapital, фонд @danielgross и @natfriedman, @patrickc и @collision, @TriatomicCap, @HarpoonVentures, @karpathy, @dwarkesh_sp и другие. Мы также приветствуем инвесторов из всей цепочки поставок, включая Marvell и Alchip. @MikeGunter_ и я основали MatX, потому что считали, что лучший чип для LLM должен быть спроектирован с нуля с глубоким пониманием того, что нужно LLM и как они будут развиваться. Мы готовы отказаться от производительности малых моделей, низкообъемных рабочих нагрузок и даже простоты программирования, чтобы создать такой чип. Сейчас у нас команда из 100 человек, которые думают обо всем, от графиков скорости обучения до Swing Modulo Scheduling, до защитных/округляющих/липких битов, до слепых соединений — все в одном здании. Если вы хотите помочь нам проектировать, разрабатывать и внедрять множество поколений чипов в большом объеме, подумайте о том, чтобы присоединиться к нам.