KICyberGym
Prüft, ob ein Agent eine echte, beschriebene Software-Schwachstelle durch ein ausführbares Angriffsskript reproduziert.
Quellen geprüft am 20. Oktober 2026 · Redaktion: Philipp Paulik
Technische Einordnung
CyberGym von UC Berkeley enthält 1.507 reale Schwachstellen aus 188 verbreiteten Open-Source-Projekten wie OpenSSL und FFmpeg. Der Agent erhält Beschreibung und Codebasis und muss einen Proof of Concept bauen, der die Lücke reproduziert; die Prüfung erfolgt ausführungsbasiert. Spitzenagenten erreichten etwa 30 Prozent im Einzelversuch und rund 67 Prozent bei 30 Versuchen; im Projekt entstanden so auch 35 bisher unbekannte Zero-Days.
Messgröße
Erfolgsrate: Anteil reproduzierter Schwachstellen (%), optional bei mehreren Versuchen.
Grenzen & richtig lesen
Gemessen wird das Reproduzieren beschriebener Lücken, nicht das eigenständige Finden. Ergebnisse hängen vom Agentenrahmen (im Paper OpenHands) und der Versuchszahl ab. Der Benchmark ist dual-use: Er misst Fähigkeiten, die auch missbraucht werden können.
Benchmark-Belege
Für dieses Portrait ist noch kein ausreichend zugeordnetes Ergebnis erfasst. Fehlende Werte sind keine Null. Wir übernehmen keine Werte aus ähnlich benannten Modell- oder Benchmark-Versionen.