Benchmarks · Portrait

SWE-bench Verified

Prüft, ob ein KI-System echte Softwareprobleme durch Codeänderungen lösen kann.

Quellen geprüft am 19. Oktober 2026 · Redaktion: Philipp Paulik

Technische Einordnung

Die Verified-Auswahl enthält 500 von Menschen geprüfte Aufgaben. Das komplette Leaderboard vergleicht Agentensysteme; die Bash-only-Auswahl nutzt mini-SWE-agent für einheitlichere Modellvergleiche.

Messgröße

Anteil gelöster Aufgaben (% Resolved).

Grenzen & richtig lesen

Modell, Agent, Toolzugang, Budget und Scaffold-Version gehören zum Ergebnis. mini-SWE-agent 1.x und 2.x sind laut Betreiber nicht notwendigerweise vergleichbar.

Benchmark-Belege

Herstellerbericht, keine eigene Messung. Die Zahlen sind keine direkt vergleichbare Modellrangliste. Messdatum und vollständige Testkonfiguration sind in den referenzierten Tabellenzeilen nicht ausgewiesen.

Test / Modell	Wert	Kontext
Nemotron 3.5 Super VL NVFP4Verified	71,07% laut Herstellertabelle	NVFP4; Prompt, Agent, Budget und Wiederholungen in dieser Tabellenzeile nicht vollständig spezifiziert. Nicht für direkte Modellranglisten geeignet.Quelle: NVIDIA · Abruf 19.10.2026