熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
我一直在思考一個我稱之為「上下文本體」的概念——主要是因為我希望有一個地方可以看到上下文的來源,以及它們在什麼提示中被使用。
對於大型語言模型(LLM)生成響應或採取行動的有用上下文可能包括以下內容:(1)高層次目標,(2)當前任務/關注領域,(3)相關過去任務的總結信息,(4)之前嘗試的學習等。
隨著我們對代理的期望增加(更長的任務、更複雜的項目等),原始記憶很快就會變得令牌重且嘈雜,這降低了LLM輸出的質量。大多數複雜的人工智慧應用都有某種總結的上下文(我想是這樣),以及多個上下文來源。
這裡的想法是定義一個你儲存的上下文本體,如何構建它,以及在你的系統中為每個提示檢索什麼。
*這裡的儲存,我並不一定指的是人工智慧的數據庫。重要的是,考慮儲存在任何應用中的數據作為人工智慧記憶的一部分(例如API/MCP連接)似乎更為整體。也許這個本體應該對此進行說明。
進一步說,你可以將其變成一個動態本體,讓人工智慧可以管理和測試,然後將其放入一個強化學習環境中,讓代理自我改進上下文管理(假設如此)。
不確定總結策略是否應該放在這裡,但從高層次來看是有意義的。更棘手的是,大多數人在攝取信息時會進行總結,因此每次更改時都必須重新總結之前的攝取(用於測試更改和自我改進)——但我想這個問題無論如何都會存在。
我認為這裡沒有什麼特別新的內容。只是我在思考,試圖在內部創建一些框架,以映射我所見過的各種策略。
12.34K
熱門
排行
收藏