KIτ²-Bench
Prüft Gesprächsagenten in einer Welt, die Agent UND Nutzer gemeinsam verändern: Wer führt wen wodurch?
Quellen geprüft am 20. Oktober 2026 · Redaktion: Philipp Paulik
Technische Einordnung
τ²-Bench von Sierra erweitert τ-bench um eine Telekommunikations-Domäne mit geteilter Kontrolle (als Dec-POMDP modelliert): Der simulierte Nutzer handelt selbst mit Werkzeugen, und der Agent muss ihn koordinieren und anleiten. Ein generatorischer Aufgabenbaukasten erzeugt prüfbare Aufgaben kontrollierter Komplexität. Die Autoren zeigen deutliche Leistungseinbrüche, sobald der Nutzer mithandelt.
Messgröße
Erfolgsrate der Aufgaben (pass^k über wiederholte Läufe).
Grenzen & richtig lesen
Der Nutzer ist ein Simulator, kein echter Mensch. Die Domänen (Telekom, zuvor Airline und Retail) decken nur einen Ausschnitt echter Support-Arbeit ab. Ergebnisse hängen vom gewählten Nutzersimulator und dessen Modell ab.
Benchmark-Belege
Für dieses Portrait ist noch kein ausreichend zugeordnetes Ergebnis erfasst. Fehlende Werte sind keine Null. Wir übernehmen keine Werte aus ähnlich benannten Modell- oder Benchmark-Versionen.