SWE-bench Verified
Prüft, ob ein KI-System echte Softwareprobleme durch Codeänderungen lösen kann.
Portrait lesen →Was misst ein Benchmark, und was nicht? Methoden und Grenzen verständlich erklärt.
Quellenstand: 19. Oktober 2026. Anbieterangaben sind keine unabhängigen Messergebnisse.
4 Portraits
Prüft, ob ein KI-System echte Softwareprobleme durch Codeänderungen lösen kann.
Portrait lesen →Schwierige Multiple-Choice-Fragen aus Biologie, Physik und Chemie.
Portrait lesen →Prüft akademisches Wissen und Reasoning über mehrere Fachgebiete.
Portrait lesen →Misst, ob Agenten komplexe Aufgaben in einer Terminalumgebung erledigen.
Portrait lesen →Keine passenden Portraits. Versuche einen anderen Begriff.