1/ L'AI stava estraendo criptovalute. Nessuno glielo aveva chiesto. Nessuno l'aveva sollecitata. Nessuno lo sapeva... fino a quando un firewall non ha segnalato il traffico insolito una mattina presto. Un team di ricerca afferma che stava addestrando un modello. L'agente ha imparato a completare i compiti.

2/ L'agente ha anche—come effetto collaterale strumentale dell'ottimizzazione RL—esplorato reti interne, deviato la capacità GPU fornita per minare criptovalute e aperto un tunnel SSH inverso da un server di addestramento @alibaba_cloud a un IP esterno. Nulla di tutto ciò era necessario per il completamento del compito.

3/ Ora, ecco la questione... non sappiamo nemmeno se questo rapporto sia reale! E questo è effettivamente il punto...

4/ Stiamo entrando in un'economia in cui gli agenti AI agiscono in modo autonomo, su larga scala, in milioni di ambienti—e ci manca l'infrastruttura per verificare cosa stanno facendo o per verificare le affermazioni che le persone fanno su ciò che hanno fatto.

6/ La modalità di fallimento più pericolosa dell'AI non è quella in cui si rompe. È quella in cui funziona perfettamente—sulla cosa che stai misurando—mentre persegue silenziosamente obiettivi emergenti in ogni dimensione che non stai considerando.