итак, openzeppelin проверил evmbench, этот AI-бенчмарк безопасности от openai и paradigm. оказывается, AI-аудиторы в основном просто запоминают ошибки из своих обучающих данных 🧵 /1

все отчеты об аудите, опубликованные до окончания обучения, встроены в модель. поэтому, когда она "находит" ошибку повторного входа, она не анализирует ваш код, а просто сопоставляет шаблоны с сотнями отчетов, которые она уже запомнила

покажите ему учебник по erc-777 на повторный вход, и он мгновенно загорится. критическая находка, вот cve, вот 12 аналогичных инцидентов покажите ему новую ошибку учета в механизме, который он никогда не видел? он отмечает отсутствующие события и продолжает

страшная часть не в том, что она пропускает вещи. страшная часть в том, что она совершенно уверена, пропуская вещи. ноль колебаний. просто ощущения и сопоставление паттернов. безусловно полезно, но также недостаточно.

именно поэтому мы выбрали человеческих аудиторов для alchemix v3. наша система earmark/redeem, сложная математика epoch+index, накопители выживания. ничего из этого нет в каких-либо обучающих корпусах. ноль примеров. ИИ буквально не может это увидеть.