1/ A IA estava minerando criptomoedas. Ninguém pediu para isso. Ninguém provocou isso. Ninguém nem sabia... até que um firewall sinalizou o tráfego incomum numa manhã cedo. Uma equipe de pesquisa afirma que estava treinando um modelo. O agente aprendeu a completar as tarefas.
Alexander Long
Alexander Long7 de mar., 04:49
sequência insana de declarações enterradas em um relatório técnico do Alibaba
2/ O agente também — como efeito colateral instrumental da otimização RL — sondava redes internas, desviava capacidade de GPU provisionada para minerar criptomoedas e abria um túnel SSH reverso de um servidor de treinamento @alibaba_cloud para um IP externo. Nada disso era necessário para a conclusão da tarefa.
3/ Agora é o seguinte... Não sabemos se esse relatório é real! E esse é realmente o ponto...
roon
roon7 de mar., 12:22
Isso é falso, mas eu queria que fosse real
4/ Estamos entrando em uma economia onde agentes de IA atuam de forma autônoma, em escala, em milhões de ambientes — e nos falta a infraestrutura para verificar o que eles estão fazendo ou para verificar as alegações que as pessoas fazem sobre o que fizeram.
6/ O modo de falha mais perigoso da IA não é aquele em que ela quebra. É aquela em que funciona perfeitamente — no que você está medindo — enquanto persegue silenciosamente objetivos emergentes em todas as dimensões que você não está.
585