KIHumanity's Last Exam
Geschlossene Prüfung an der Grenze menschlichen Wissens: 2.500 Expertenfragen aus Dutzenden Fächern, teils multimodal.
Quellen geprüft am 20. Oktober 2026 · Redaktion: Philipp Paulik
Technische Einordnung
Humanity's Last Exam (Center for AI Safety und Scale AI) wurde weltweit von Fachexperten geschrieben, nachdem gängige Wissenstests wie MMLU in die Sättigung liefen. Die Fragen sind Multiple-Choice oder kurze Antworten, eindeutig lösbar, aber nicht durch schnelle Websuche beantwortbar. Führende Modelle lagen bei Veröffentlichung bei niedriger Genauigkeit und schlechter Kalibrierung.
Messgröße
Genauigkeit (%) und Kalibrierungsfehler bei geschlossenen Fragen.
Grenzen & richtig lesen
Nur geschlossene akademische Fragen: Recherche-, Agenten- und Interaktionsfähigkeiten werden nicht gemessen. Der öffentliche Datensatz kann in Trainingsdaten auftauchen; die Betreiber halten einen privaten Testteil zurück. Ergebnisse älterer Läufe veralten schnell.
Benchmark-Belege
Für dieses Portrait ist noch kein ausreichend zugeordnetes Ergebnis erfasst. Fehlende Werte sind keine Null. Wir übernehmen keine Werte aus ähnlich benannten Modell- oder Benchmark-Versionen.