Evaluation

GDPx: Bei 206 Profi-Aufgaben schafft das beste Modell 12 Prozent

SemiAnalysis testet Agenten in elf Domänen von Chipdesign bis Quant Trading - mit realen Arbeitsumgebungen statt Prompt-Aufgaben. Bestwert: 12,0.

, Redaktion KI Fachblatt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 2 Min. Lesezeit

Schematische Darstellung: drei Bausteine Chipdesign, Finanzen und Cybersicherheit führen zu einem GDPx-Block, daraus ein Ergebnis-Pfeil mit 12 Prozent
206 Aufgaben aus elf Domänen, ein strenger Maßstab: Auf der ersten GDPx-Liste erreicht das beste Modell 12,0 Prozent [1][2]. · Eigene Grafik (Redaktion)
Kurz gesagt
  • GDPx ist ein neuer Agenten-Benchmark von SemiAnalysis: 206 Aufgaben in 11 Domänen, gebaut mit 14 spezialisierten Partner-Startups, gemeldet als pass@1 über drei Versuche [1][2].
  • Bestwert der v1.0-Bestenliste: 12,0 Prozent für Claude Opus 5.5 vor Gemini 4 Carbon (10,9) und GPT-6 Astra (9,6); Finanzen und Recht löst praktisch kein Modell [1][2].
  • Jede Aufgabe bringt eine eigene Arbeitsumgebung mit - etwa einen Datenraum mit rund 4.000 Dateien aus einer echten, anonymisierten Transaktion [1].
  • GDPx ist seit dem 2. November 2026 öffentlich und soll alle drei bis sechs Monate aktualisiert werden; die Partner verkaufen selbst RL-Umgebungen an KI-Labore - ein Interessenkonflikt, den man kennen sollte [1][3].

Wie gut erledigen KI-Agenten echte Facharbeit? Der neue Benchmark GDPx von SemiAnalysis, veröffentlicht am 2. November 2026, misst das mit 206 Aufgaben in elf Domänen - von Chipdesign über Cybersicherheit und Biologie bis zu Finanzen, Recht und Quant Trading. Die These der Autoren Max Kan, Andrew Megalaa und Dylan Patel: Die erste Billion Dollar KI-Umsatz entsteht in wenigen ertragreichen Branchen, also gehören genau diese auf den Prüfstand - eine Gewichtung nach Branchengröße oder Berufsstatistik lehnen sie ab. Staat, Immobilien und Versicherungen sind bewusst ausgenommen [1].

Die Eckdaten

GDPx im Überblick (Angaben von SemiAnalysis) [1][2][3]
EigenschaftWert
Umfang206 Aufgaben, 11 Domänen, 14 Partner-Startups, 20 Modelle auf der Liste
DomänenChipdesign, Cybersicherheit, Biologie, Finanzen, Recht, Quant Trading, rekursive Selbstverbesserung (RSI), Hardware-Design, Materialwissenschaft, Alignment, Software-Engineering
Bewertungpass@1 über drei Versuche; je Domäne binär oder partiell; alle Domänen gleich gewichtet
Zeitlimit8 Stunden pro Aufgabe (Standard), einzelne Aufgaben kürzer
Agenten-Harnessnativ, wo verfügbar (Claude Code, Codex, Antigravity), sonst OpenCode
Update-Rhythmusalle 3 bis 6 Monate geplant

Die erste Bestenliste

Auf der v1.0-Liste führt Claude Opus 5.5 mit 12,0 Prozent vor Gemini 4 Carbon (10,9) und GPT-6 Astra (9,6); Muse Wonder Full liegt bei 9,0, das Schlusslicht GLM 5.3 bei 2,7 [2]. SemiAnalysis hebt hervor, dass Sicherheitsfilter die Gesamtwerte von Opus 5.5 und Astra drücken: Ohne die drei Domänen Cyber, Biologie und Alignment, in denen die Filter anspringen, verschiebt sich die Reihenfolge. Domänen-Sieger sind Opus 5.5 (Quant Trading, Hardware-Design, Chipdesign), Gemini 4 Carbon (Biologie, Software-Engineering) und GPT-6 Astra (RSI, Materialwissenschaft); im Cyber-Bereich führt Muse Wonder Full deutlich [1].

GDPx v1.0: die Bestenliste (Erfolgsquote in Prozent)
Daten als Tabelle
GDPx-Score (Erfolgsquote in %)
Claude Opus 5.512
Gemini 4 Carbon10,9
GPT-6 Astra9,6
Muse Wonder Full9
Claude Fable 5.18,5
GPT 6.1 Sol8,4
Claude Sonnet 5.58,2
Gemini 4 Argon7,3

v1.0-Bestenliste von gdpx.semianalysis.com, abgerufen am 02.11.2026 [2]. GDPx-Score = Erfolgsquote in Prozent (pass@1 über drei Versuche, Domänen gleich gewichtet). Sicherheitsfilter können einzelne Modelle in den Domänen Cyber, Biologie und Alignment ausbremsen [1].

Warum die Aufgaben so schwer sind

Anders als bei Prompt-Prüfungen bekommt das Modell eine ganze Arbeitsumgebung: Die Finanzaufgaben sitzen in einem Datenraum mit rund 4.000 anonymisierten Dateien aus einer echten Transaktion; Cyber-Aufgaben bauen auf echten Zero-Day-Lücken in verbreiteter Open-Source-Software (nur etwa 5 Prozent der gefundenen Lücken werden Aufgaben); Hardware-Aufgaben laufen in lizenzierten Werkzeugen wie Siemens NX oder KiCad, mit Tests auf echten FPGA-Instanzen [1]. Wie hart das ist, zeigt die öffentliche Finanzaufgabe Bellwood-QoE (Qualitätsprüfung eines Ergebnis-Workbooks): Von 25 Versuchen löste kein Modell die Aufgabe vollständig, der beste Einzellauf bestand 8 von 11 Prüfpunkten [1]. Alle Partner mussten die automatisierte Qualitätsprüfung von SemiAnalysis im ersten Anlauf bestehen; dieselbe Prüfung markiert laut den Autoren fast 50 Prozent der Aufgaben von Terminal Bench 4.0 als fehlerhaft [1].

Kritik an GDPval - und die eigenen Flanken

GDPx positioniert sich als Antwort auf OpenAIs GDPval: dessen Aufgaben seien nicht-interaktiv, ohne Arbeitsumgebung, mit dem Kontext direkt im Prompt; die Übereinstimmung menschlicher Gutachter auf der Gold-Teilmenge lag laut SemiAnalysis bei nur 71 Prozent [1]. Doch auch GDPx hat Flanken: Die meisten Aufgaben sind privat und nicht nachprüfbar, die 14 Partner verkaufen selbst RL-Umgebungen und Evaluationsdaten an KI-Labore, und eine unabhängige Drittreplikation wurde für diesen Artikel nicht geprüft. Der Begleitbericht von Wisevoter/AIFOD merkt an, dass ungeklärt bleibe, wie die Aufgabenbewertung über die Partner hinaus validiert wurde [3]. Bis sich das Bild stabilisiert, ist GDPx ein harter, glaubwürdig dokumentierter Realitätsabgleich - aber ein Hersteller-Benchmark im weiteren Sinne, kein unabhängiger Standard.

Methode

Analyse auf Basis des SemiAnalysis-Methodikartikels (vollständig gelesen), der Live-Bestenliste auf gdpx.semianalysis.com und des Begleitberichts von Wisevoter/AIFOD. Alle Werte stammen aus diesen Quellen und sind als Angaben des Benchmark-Betreibers gekennzeichnet.

Grenzen

Keine eigenen Benchmark-Läufe. Die meisten Aufgaben sind privat und nicht nachprüfbar; eine unabhängige Drittreplikation wurde für diesen Artikel nicht geprüft. Die 14 Partner haben ein kommerzielles Interesse am Verkauf von RL-Umgebungen an KI-Labore.

Quellen

  1. GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains, SemiAnalysis Newsletter (abgerufen 2026-11-02) ↩1 ↩2 ↩3 ↩4 ↩5 ↩6
  2. GDPx: The General Agentic Benchmark - Bestenliste, SemiAnalysis (abgerufen 2026-11-02) ↩1 ↩2 ↩3 ↩4 ↩5
  3. SemiAnalysis Launches GDPx AI Benchmark as Claude Opus 5.5 Leads with 12% Success Rate, Wisevoter via af.net (abgerufen 2026-11-02) ↩1 ↩2 ↩3

Häufige Fragen

Was misst GDPx?

Agentische Fähigkeiten von Sprachmodellen an 206 praxisnahen Aufgaben in elf wirtschaftlich bedeutenden Domänen, vom Chipdesign bis zur Finanzanalyse. Gemeldet wird die Erfolgsquote als pass@1 über drei Versuche [1][2].

Warum schafft das beste Modell nur 12 Prozent?

Die Aufgaben sind bewusst auf Frontier-Niveau gebaut: reale Arbeitsumgebungen mit tausenden Dateien, laufenden Diensten und achtstündigem Zeitlimit. Selbst Claude Opus 5.5 löst nur 12,0 Prozent [1][2].

Wie unterscheidet sich GDPx von OpenAIs GDPval?

GDPval reicht den Kontext direkt im Prompt und ist nicht interaktiv; GDPx stellt jeder Aufgabe eine simulierte Arbeitsumgebung, in der der Agent selbst recherchieren und handeln muss [1].

Sind die GDPx-Aufgaben öffentlich?

Überwiegend nicht. SemiAnalysis nennt einzelne öffentliche Beispiele - darunter die Finanzaufgabe Bellwood-QoE, die Cyber-Aufgabe Watchtower und eine CAD-Aufgabe zum Spritzgussgehäuse [1].

Wie oft wird GDPx aktualisiert?

SemiAnalysis plant Aktualisierungen alle drei bis sechs Monate, mit neuen Partnern und Branchen-Feedback [3].

Weiterlesen