OpenZeppelin указывает на загрязнение данных и ошибочную классификацию рисков в наборе данных OpenAI EVMbench

Блокчейн‑аудитор OpenZeppelin сообщил, что бенчмарк OpenAI EVMbench страдает от загрязнения обучающих данных и методологических ошибок при классификации уязвимостей смарт‑контрактов. По итогам аудита выяснилось, что ряд моделей ИИ могли заранее получать доступ к исходным отчетам об уязвимостях, а как минимум четыре случая, помеченных как высокой критичности, на практике не поддаются эксплуатации, по данным OpenZeppelin.