KIOSWorld
Prüft multimodale Agenten in echten Computerumgebungen: Betriebssystem, echte Apps und Dateien statt Simulationsumgebung.
Quellen geprüft am 20. Oktober 2026 · Redaktion: Philipp Paulik
Technische Einordnung
OSWorld stellt 369 reale Computeraufgaben auf Ubuntu, Windows und macOS, jede mit definiertem Ausgangszustand und ausführbarem Prüfskript. Bei Veröffentlichung lösten Menschen 72,36 Prozent der Aufgaben, das beste Modell 12,24 Prozent. Die Projektseite führt mittlerweile die überarbeitete Fassung OSWorld-Verified und seit Juni 2026 OSWorld 2.0.
Messgröße
Erfolgsrate: Anteil korrekt abgeschlossener Aufgaben (%), geprüft durch Ausführung der Prüfskripte.
Grenzen & richtig lesen
Ergebnisse hängen stark vom Agenten-Scaffold, den erlaubten Aktionen und dem Budget ab. Acht Google-Drive-Aufgaben können wegen Netzwerkabhängigkeiten ausfallen (dann 361 Aufgaben). Versionen (Original, Verified, 2.0) sind nicht direkt vergleichbar.
Benchmark-Belege
Für dieses Portrait ist noch kein ausreichend zugeordnetes Ergebnis erfasst. Fehlende Werte sind keine Null. Wir übernehmen keine Werte aus ähnlich benannten Modell- oder Benchmark-Versionen.