Miałem tę samą myśl, więc bawiłem się tym w nanochat. Na przykład, oto 8 agentów (4 claude, 4 codex), z 1 GPU każdy, prowadzących eksperymenty w nanochat (próbując usunąć logit softcap bez regresji). TLDR jest taki, że to nie działa i jest bałagan... ale wciąż bardzo ładnie się na to patrzy :) Próbowałem kilku konfiguracji: 8 niezależnych badaczy, 1 główny naukowiec zlecający pracę 8 młodszym badaczom itd. Każdy program badawczy to gałąź git, każdy naukowiec fork'uje ją do gałęzi funkcjonalnej, git worktrees dla izolacji, proste pliki do komunikacji, pomijam Docker/VMy dla uproszczenia na razie (uważam, że instrukcje są wystarczające, aby zapobiec zakłóceniom). Organizacja badawcza działa w siatkach okien tmux z interaktywnymi sesjami (jak Teams), aby ładnie to wyglądało, można zobaczyć ich indywidualną pracę i "przejąć" jeśli zajdzie taka potrzeba, tzn. bez -p. Ale ok, powód, dla którego to na razie nie działa, to fakt, że pomysły agentów są po prostu kiepskie od samego początku, nawet przy najwyższej inteligencji. Nie myślą starannie o projektowaniu eksperymentów, przeprowadzają trochę nonsensowne wariacje, nie tworzą silnych bazowych linii i nie ablatują rzeczy poprawnie, nie kontrolują starannie czasu działania ani flops. (na przykład, jeden agent wczoraj "odkrył", że zwiększenie rozmiaru ukrytego sieci poprawia stratę walidacyjną, co jest całkowicie fałszywym wynikiem, biorąc pod uwagę, że większa sieć będzie miała niższą stratę walidacyjną w nieskończonym reżimie danych, ale potem również trenuje znacznie dłużej, nie jest jasne, dlaczego musiałem to wskazać). Są bardzo dobre w implementacji dowolnego dobrze zdefiniowanego i opisanego pomysłu, ale nie generują ich kreatywnie. Ale celem jest to, że teraz programujesz organizację (np. "organizację badawczą") i jej poszczególne agenty, więc "kod źródłowy" to zbiór podpowiedzi, umiejętności, narzędzi itd. oraz procesów, które ją tworzą. Na przykład, codzienny standup rano jest teraz częścią "kodu organizacji". A optymalizacja wstępnego szkolenia nanochat to tylko jedno z wielu zadań (prawie jak ocena). A więc - biorąc pod uwagę dowolne zadanie, jak szybko twoja organizacja badawcza generuje postęp w tym zakresie?

W obliczu nadchodzącego tsunami popytu na tokeny, istnieją znaczące możliwości zorganizowania pamięci+obliczeń *właściwie* dla LLM-ów. Fundamentalnym i nieoczywistym ograniczeniem jest to, że z powodu procesu wytwarzania chipów, otrzymujesz dwa całkowicie odrębne zasoby pamięci (różniące się również fizycznymi implementacjami): 1) SRAM na chipie, który znajduje się tuż obok jednostek obliczeniowych, jest niesamowicie szybki, ale ma bardzo niską pojemność, oraz 2) DRAM poza chipem, który ma niezwykle wysoką pojemność, ale jego zawartość możesz tylko „sączyć” przez długą słomkę. Na dodatek istnieje wiele szczegółów architektury (np. układy systoliczne), numeryki itp. Projektowanie optymalnego fizycznego podłoża, a następnie organizacja pamięci+obliczeń w górnych przepływach roboczych LLM-ów (prefill/decode wnioskowania, trening/finetuning itp.) z najlepszą przepustowością/opóźnieniem/$ to prawdopodobnie dzisiaj najciekawsza intelektualna zagadka z najwyższymi nagrodami (\cite 4.6T NVDA). Wszystko po to, aby uzyskać wiele tokenów, szybko i tanio. Można argumentować, że przepływ roboczy, który może mieć największe znaczenie (dekodowanie wnioskowania *i* w długich kontekstach tokenów w ciasnych pętlach agentowych) jest tym, który najtrudniej osiągnąć jednocześnie przez ~obie grupy tego, co istnieje dzisiaj (HBM-first sąsiedztwo NVIDIA i SRAM-first sąsiedztwo Cerebras). Tak czy inaczej, zespół MatX jest na poziomie A++, więc miło mi mieć mały udział i gratulacje z okazji pozyskania funduszy!

CLI są niezwykle ekscytujące, ponieważ są "technologią dziedziczną", co oznacza, że agenci AI mogą je natywnie i łatwo używać, łączyć je i wchodzić z nimi w interakcje za pomocą całego zestawu narzędzi terminalowych. Np. poproś swojego agenta Claude/Codex, aby zainstalował ten nowy CLI Polymarket i zapytaj o dowolne pulpity nawigacyjne, interfejsy lub logikę. Agenci zbudują to dla Ciebie. Zainstaluj również CLI Github, a możesz poprosić ich o nawigację po repozytorium, przeglądanie problemów, PR-ów, dyskusji, a nawet samego kodu. Przykład: Claude zbudował ten pulpit terminalowy w ~3 minuty, pokazujący rynki o najwyższym wolumenie i zmianę w ciągu 24 godzin. Możesz również przekształcić to w aplikację webową lub cokolwiek chcesz. Jeszcze potężniejsze, gdy używasz tego jako modułu większych pipeline'ów. Jeśli masz jakikolwiek produkt lub usługę, pomyśl: czy agenci mogą uzyskać do nich dostęp i je wykorzystać? - czy Twoje dokumenty dziedziczne (dla ludzi) są przynajmniej eksportowalne w markdown? - czy napisałeś umiejętności dla swojego produktu? - czy Twój produkt/usługa może być używana za pomocą CLI? Lub MCP? - ... Jest rok 2026. Buduj. Dla. Agentów.