KIMLE-bench
Prüft, ob ein Agent komplette Machine-Learning-Projekte stemmt: Daten vorbereiten, Modelle trainieren, Experimente auswerten.
Quellen geprüft am 20. Oktober 2026 · Redaktion: Philipp Paulik
Technische Einordnung
MLE-bench von OpenAI baut auf 75 echten Kaggle-Wettbewerben auf und vergleicht die Einreichungen der Agenten mit den öffentlichen menschlichen Bestenlisten. Das beste getestete Setup (o1-preview mit AIDE-Scaffold) erreichte in 16,9 Prozent der Wettbewerbe mindestens Bronze-Niveau.
Messgröße
Medaillenrate: Anteil der Wettbewerbe mit mindestens Bronze-Medaille nach Kaggle-Schwellen (%).
Grenzen & richtig lesen
Ergebnisse sind scaffold-abhängig und hängen vom Rechenbudget ab. Da Kaggle-Wettbewerbe öffentlich sind, untersucht das Paper ausdrücklich Verunreinigung durch Trainingsdaten. ML-Engineering in freier Wildbahn ist breiter als der Wettbewerbsausschnitt.
Benchmark-Belege
Für dieses Portrait ist noch kein ausreichend zugeordnetes Ergebnis erfasst. Fehlende Werte sind keine Null. Wir übernehmen keine Werte aus ähnlich benannten Modell- oder Benchmark-Versionen.