Ik heb gewerkt aan een nieuw LLM-inferentie-algoritme. Het heet Speculative Speculative Decoding (SSD) en het is tot 2x sneller dan de sterkste inferentie-engines ter wereld. Samenwerking met @tri_dao @avnermay. Details in de thread.