🧠 Làm thế nào chúng ta có thể trang bị cho LLM khả năng ghi nhớ cho phép chúng liên tục học hỏi những điều mới? Trong bài báo mới của chúng tôi với @AIatMeta, chúng tôi cho thấy cách tinh chỉnh thưa thớt các lớp bộ nhớ cho phép cập nhật có mục tiêu cho việc học liên tục, với sự can thiệp tối thiểu vào kiến thức hiện có. Trong khi việc tinh chỉnh toàn bộ và LoRA thấy sự sụt giảm mạnh trong hiệu suất nhiệm vụ giữ lại (📉-89% FT, -71% LoRA trong các nhiệm vụ học tập thực tế), các lớp bộ nhớ học cùng một lượng với việc quên ít hơn nhiều (-11%). 🧵: