Ich erinnere mich, wie beeindruckt ich war, als ich Anfang 2019 das Transformers XL-Modell von Yang Zhilin als drittes Modell in die Transformers-Bibliothek aufgenommen habe nicht überrascht, dass er jetzt verrücktes, beeindruckendes Zeug mit Moonshot AI ausliefert Es ist eine lange Geschichte, die ich eines Tages erzählen sollte, aber in gewisser Weise gehörte dieses kleine Google-Team zu den ersten, die die Leistungsfähigkeit der Skalierung von Trainingsdaten wirklich verstanden haben