tại sao điều này xảy ra? mô hình tin rằng có một emoji con ngựa biển, chắc chắn rồi, nhưng tại sao điều đó lại khiến nó xuất ra một emoji *khác*? đây là một gợi ý từ công cụ giải thích được yêu thích nhưng ít được biết đến của mọi người, logit lens! trong logit lens, chúng tôi sử dụng lm_head của mô hình theo một cách kỳ lạ. thông thường, lm_head được sử dụng để biến phần dư (trạng thái nội bộ được xây dựng qua các lớp của mô hình) thành một tập hợp xác suất token sau lớp cuối cùng. nhưng trong logit lens, chúng tôi sử dụng lm_head sau *mỗi* lớp - cho chúng tôi thấy những token mà mô hình sẽ xuất ra nếu lớp đó là lớp cuối cùng. đối với các lớp đầu, điều này dẫn đến các trạng thái khó hiểu. nhưng khi chúng tôi di chuyển qua các lớp, mô hình lần lượt tinh chỉnh phần dư trước tiên theo các khái niệm hữu ích cho việc tiếp tục văn bản, và sau đó theo dự đoán cuối cùng. nhìn vào hình ảnh một lần nữa, ở lớp cuối cùng, chúng tôi có đầu ra thực tế của mô hình - ĠðŁ, IJ, ł - tức là, một tiền tố byte emoji theo sau là phần còn lại của emoji cá. (nó trông như vô nghĩa unicode vì một đặc điểm của việc phân đoạn - đừng lo lắng về điều đó. nếu bạn tò mò, hãy hỏi claude về dòng mã này: `bytes([byte_decoder[c] for c in 'ĠðŁIJł']).decode('utf-8') == ' 🐠'`) nhưng hãy xem điều gì xảy ra ở các lớp giữa - chúng tôi không chỉ nhận được byte emoji! chúng tôi nhận được những *khái niệm*, cụ thể là khái niệm về một con ngựa biển. ví dụ, ở lớp 52, chúng tôi nhận được "sea horse horse". sau đó, trong top-k, chúng tôi nhận được một hỗn hợp của "sea", "horse", và tiền tố emoji đó, "ĠðŁ". vậy mô hình đang nghĩ về điều gì? ngựa biển + emoji! nó đang cố gắng xây dựng một đại diện phần dư của một emoji con ngựa biển. tại sao nó lại làm điều đó? tốt, hãy xem cách lm_head thực sự hoạt động. lm_head là một ma trận khổng lồ của các vector kích thước phần dư liên kết với các id token. khi một phần dư được đưa vào, nó sẽ so sánh phần dư đó với mỗi vector token, và phối hợp với bộ lấy mẫu, chọn id token có vector tương tự nhất với phần dư. (kỹ thuật hơn: đó là một lớp tuyến tính không có độ thiên lệch, vì vậy v @ w.T thực hiện các phép nhân điểm với mỗi vector không nhúng, sau đó log_softmax và argmax/mẫu nhiệt độ.) vì vậy, nếu mô hình muốn xuất ra từ "hello", nó cần xây dựng một phần dư tương tự với vector cho token đầu ra "hello" mà lm_head có thể biến thành id token hello. và nếu mô hình muốn xuất ra một emoji con ngựa biển, nó cần xây dựng một phần dư tương tự với vector cho token đầu ra emoji con ngựa biển - mà lý thuyết có thể là bất kỳ giá trị tùy ý nào, nhưng trên thực tế là ngựa biển + emoji, theo kiểu word2vec. vấn đề duy nhất là emoji con ngựa biển không tồn tại! vì vậy khi phần dư ngựa biển + emoji này chạm vào lm_head, nó thực hiện phép nhân điểm trên tất cả các vector, và bộ lấy mẫu chọn token gần nhất - một emoji cá. bây giờ, việc phân đoạn đó là thông tin quý giá! bạn có thể thấy trong ví dụ của Armistice rằng khi token được đưa trở lại vào ngữ cảnh một cách tự hồi quy, mô hình có thể nhận ra rằng đó không phải là một emoji con ngựa biển. vì vậy nó cố gắng lại, điều chỉnh phần dư và nhận được một emoji hơi khác, rửa và lặp lại cho đến khi nó nhận ra điều gì đang xảy ra, từ bỏ, hoặc hết token đầu ra. nhưng cho đến khi mô hình nhận được token đầu ra sai từ lm_head, nó chỉ không biết rằng không có emoji con ngựa biển trong lm_head. nó giả định rằng ngựa biển + emoji sẽ tạo ra token mà nó muốn. ------------------ để suy đoán (thậm chí nhiều hơn), tôi tự hỏi liệu đây có phải là một phần của lợi ích của RL - nó cung cấp cho các mô hình thông tin về lm_head của chúng mà khó có thể lấy được vì nó ở cuối ngăn xếp lớp. (hãy nhớ rằng các mô hình cơ bản không được đào tạo trên các đầu ra / rollout của chính chúng - điều đó chỉ xảy ra trong RL.)

tại sao chúng ta lại ăn mừng brekyat? brekyat là nơi chúng ta phá hủy nhà nước một cách nghi lễ mỗi năm. tại sao dân tộc chúng ta lại phá hủy nhà nước một cách nghi lễ mỗi năm? bởi vì chúng ta là những người du mục. người du mục là gì? là người lang thang. nhưng chúng ta không lang thang? nhưng chúng ta là những người du mục, vì chúng ta sống bên ngoài nhà nước. những người du mục sống bên ngoài nhà nước? vâng, vì sự lang thang của họ, họ nằm ngoài sự kiểm soát của nhà nước, và định kỳ phá hủy nó. nhưng chúng ta không lang thang? chúng ta thoát khỏi nhà nước thậm chí còn nhiều hơn tổ tiên lang thang của chúng ta - bằng cách phá hủy nó hàng năm. điều đó không hợp lý. đó là văn hóa, nó không cần phải hợp lý. bây giờ hãy đi đeo vương miện cỏ của bạn.

từ một cuộc trò chuyện với sonnet 3.6 về không gian tính cách mô hình