vậy là openzeppelin đã kiểm toán evmbench, tiêu chuẩn an ninh AI từ openai và paradigm. hóa ra các kiểm toán viên AI cơ bản chỉ nhớ lại các lỗi từ dữ liệu đào tạo của họ 🧵 /1

mỗi báo cáo kiểm toán được công bố trước thời điểm cắt đứt đào tạo đã được tích hợp vào mô hình. vì vậy khi nó "tìm thấy" một lỗi tái nhập, nó không phải đang suy luận về mã của bạn, mà chỉ đang so khớp các mẫu với hàng trăm báo cáo mà nó đã ghi nhớ.

cho nó xem một cuốn sách giáo khoa về erc-777 reentrancy và nó lập tức sáng lên. phát hiện quan trọng, đây là cve, đây là 12 sự cố tương tự cho nó xem một lỗi kế toán mới trong một cơ chế mà nó chưa bao giờ thấy? nó đánh dấu các sự kiện bị thiếu và tiếp tục

Điều đáng sợ không phải là nó bỏ sót thông tin. Điều đáng sợ là nó hoàn toàn tự tin khi bỏ sót thông tin. Không có chút do dự nào. Chỉ là cảm nhận và khớp mẫu. Chắc chắn là hữu ích nhưng cũng không đủ.

đây chính là lý do tại sao chúng tôi chọn kiểm toán viên con người cho alchemix v3. hệ thống đánh dấu/đổi của chúng tôi, toán học epoch+index phức tạp, các bộ tích lũy sinh tồn. không có điều này trong bất kỳ tập huấn nào. không có ví dụ nào. ai thực sự không thể nhìn thấy nó.