Päättelylaskenta on matkalla olemaan valtava laskentakuorma tämän vuosikymmenen loppuun mennessä. Uskon, että se tulee olemaan paljon suurempaa kuin koulutus (varsinkin jos otat käyttöön oikean elämän käyttöönotto- ja päättelytarpeet koulutuksessa). Ja pelikenttä on edelleen avoin laitteiston, alustojen ja mallien osalta. On myös yhä selvempää, että ihmiset ovat valmiita maksamaan lisämaksun vähemmästä viiveestä. Laitteistopuolella on useita mielenkiintoisia suuntia, joita kannattaa seurata: - SRAM-tyyliset kokoonpanot vaikuttavat lupaavilta (GPT Spark Cerebrasilla, Groqin hankinta Nvidialta) - Erilliset järjestelmät (esitäyttö yhdellä koneella / prosessorilla, generointi toisella) ovat todennäköisesti järkeviä. Esitäytön ja dekoodauksen laskennalliset ominaisuudet eroavat niin paljon, että laitteistotasolla erikoistuminen tuottaa tehokkuusparannuksia - En myöskään sulkisi pois eksoottisempia teknologioita, kuten Taalas-piiriä / lähes muistilaskentaa / jne. Vaikka ne ovat vielä melko kaukana laajamittaisesta käyttöönotosta, taloudellinen paine tehokkuuden parantamiseksi voi olla katalysaattori Algoritmin / arkkitehtuurin puolella: - Käytännössä jokaisessa merkittävässä avoimen painon mallissa on vähintään yksi optimointi, joka nopeuttaa päättelyä. Olipa kyseessä sitten MoE, SSM (tai muu hybridimuoto), liukuva ikkuna tai harva huomio. Eroja on enemmän kuin vuosi sitten. Ja on mielenkiintoista nähdä, missä kohtaamme kohtaamisen. - Yhdistävätkö diffuusiomallit esitäyttö- ja dekoodausjaon? - Uskon edelleen, että mallin, laitteiston ja työkuorman yhteissuunnittelussa on suuria hyötyjä En myöskään usko, että tulevaisuudessa tulee olemaan yhtä kaikille sopivaa ratkaisua: - Pilvipohjaiset mallit voivat näyttää hyvin erilaisilta kuin reunaoptimoidut mallit - Mallit saattavat olla yhä enemmän yhteissuunniteltuja laitteiston mukaan, joille ne on asennettu - Vähintään yksi säädin vaihtaa viiveen ja energiatehokkuuden / kustannusten välillä.