Son zamanlarda sürekli öğrenmeyi biraz düşünüyorum, özellikle uzun süreli ajanlarla ilgili (ve MLX ile birkaç oyuncak deney yapmakla). Hızlı sıkıştırma ve özyinelemeli alt ajanların birleşmesi aslında şaşırtıcı derecede etkilidir. Görünüşe göre bu konuda oldukça ileri gidebiliriz. (Prompt sıkıştırma = bağlam penceresi dolmak üzere, model daha kısa bir özet oluşturur, ardından özeti kullanarak sıfırdan başlar. Recursive sub-agents = görevleri sonlu bağlam pencereleriyle ilgilenmek için daha küçük görevlere ayırmak) Rekürsif alt ajanlar muhtemelen her zaman faydalı olacaktır. Ama hızlı sıkıştırma biraz verimsiz (ama oldukça etkili) bir hile gibi görünüyor. Bildiğim iki alternatif daha var: 1. çevrimiçi ince ayar ve 2. hafıza tabanlı teknikler. Çevrimiçi ince ayarlama: bazı LoRA adaptörlerini, modelin dağıtım sırasında karşılaştığı verilerle eğitin. Genel olarak bu konuda daha az iyimser fikirliyim. Her kullanım durumu / kullanıcı için özel modeller/adaptörler dağıtmanın mühendislik zorluklarının yanı sıra bazı temel sorunlar da vardır: - Çevrimiçi ince ayar doğası gereği dengesizdir. Hedef alanındaki veriler üzerinde eğitim yaparsanız, hedeflemediğiniz yetenekleri felaket şekilde yok edebilirsiniz. Bunun bir çözümü, yeni ve eski veri setiyle karışık bir veri seti tutmaktır. Ama bu iş oldukça hızlı bir şekilde karmaşıklaşıyor. - Çevrimiçi ince ayar için veri nasıl görünüyor? Modeli eğitmek için hedef alana göre Q/A çiftleri mi oluşturuyorsunuz? Ayrıca, sonlu kapasite verildiğinde veri karışımındaki bilgiyi önceliklendirme sorunu da yaşarsınız. Bellek tabanlı teknikler: temelde faydalı hafızayı yanında tutmak ve gerekmedikleri atmak için bir politika. Bu, insanların bilgiyi nasıl tuttuğuna çok daha çok benziyor: "kullan ya da kaybet". Bunun çalışması için sadece birkaç şey yeterlidir: - Tahliye/tutma politikası. Bir şey "son 10k token içinde en az bir kez erişildiyse hafıza sakla" gibi bir şey. - Politika verimli şekilde hesaplanabilir olmalıdır - Modelin uzun süreli hafızaya erişmesi ve depolanması için bir yer. Belki seyrek erişilen bir KV önbelleği yeterli olur. Ancak büyük bir belleğe verimli erişim için hiyerarşik bir veri yapısı daha iyi olabilir.