OpenZeppelin kritisiert Datenkontamination und fehlerhafte Risikoklassifizierung im EVMbench-Datensatz von OpenAI

Das Blockchain-Sicherheitsunternehmen OpenZeppelin berichtet, dass der EVMbench-Benchmark von OpenAI unter Datenkontamination und methodischen Schwächen bei der Einstufung von Smart-Contract-Schwachstellen leidet. Laut einem Audit wurden mehrere KI-Modelle offenbar bereits im Training mit den zugrunde liegenden Schwachstellenberichten konfrontiert. Zudem identifizierte OpenZeppelin mindestens vier Fälle, die als hochkritisch eingestuft wurden, in der Praxis aber nicht ausnutzbar seien.