"Чому ти така невинна?" "Дистиляція не може вважатися крадіжкою...... Дистиляція! …… Чи можна вважати бути великою моделлю крадіжкою? " Одне за одним складні слова, такі як «м'яка етикетка», «температурне масштабування», «темні знання» тощо, викликали сміх у всіх, і лабораторія наповнилася щасливою атмосферою. Він сказав на прилавку: «Дайте мені два A100 і модель попередньо підготовленого вчителя.» "Потім він зняв дев'ять центів — ні, він оголосив рахунок за електроенергію для обчислень у дев'ять тисяч доларів. Усі питали його: «Ти справді навчився Трансформеру?» Конг Їцзі почервонів, зелені вени на його лобі розквітли, і він заперечив: «Дистиляція знань була запропонована Гінтоном...... Що ти знаєш! Це передача знань, стиснення та ...... Він стоїть на плечах велетнів! " Продавець сказав: «Боюся, що еталон, якого закінчилася твоя маленька модель, не був 'позичений' у вчителя, так?» " Конг Їцзі широко розплющив очі і сказав: «Я навчився узагальнювати!» Як можна зрозуміти інформацію про розподіл у логитах і передачу темних знань такими, як ви, які дивляться лише на точність топ-1? " Він знову звернувся до всіх, і його ставлення стало щирим: «Якщо ви мені не вірите, моя модель учня — це лише одна десята від параметрів вчителя, а швидкість логіки у вісім разів вища, а ефект лише на два бали менший...... Лише два бали! "