BERT sadece Tek Metin Difüzyon Adımıdır! (1/n) Dil yayılma modellerini ilk okuduğumda, eğitim hedeflerinin yalnızca maskeli dil modellemenin (MLM) genelleştirilmesi olduğunu görünce şaşırdım, bu da 2018'deki BERT'ten bu yana yaptığımız bir şey. Aklıma gelen ilk düşünce, "metin oluşturmak için BERT benzeri bir modele ince ayar yapabilir miyiz?" oldu.