Fachüberblick vom 15. November, Quellenstand 16:03 Uhr MEZ. Drei Preprints: Provenienzmessung per Counterfactual-Substitution in RAG, ein Injektions-Benchmark für KI-Peer-Reviewer samt Multi-Agenten-System Skepthical und eine Benchmark-plus-User-Study-Arbeit zur Schmeichelei-Problematik.
1. Cited but Unused: Parametric Provenance in RAG
Abbas, Zia und Windridge (COMSATS University Islamabad, Middlesex University London) konstruieren Ground Truth per kontrafaktischer Wert-Substitution: Der Zielwert wird in allen Passagen inkl. Titel durch eine falsche Variante ersetzt; wer die Variante nennt, nutzte den Kontext, wer den Originalwert behält, das Gedächtnis. Setup: ASQA (800 Fragen/Bedingung, GTR top-5, greedy decoding), Qwen2.5 0,5B-14B + Llama-3.1-8B; Robustheit über ELI5/QAMPARI (nur 4 bzw. 3 positive Fälle, daher Detektionsclaims auf ASQA). Raten (Default-Distanz): 1,2 -> 13,3 % über die Qwen-Größen (Kendall tau = 0,80; Endpunkte getrennt, Mitte überlappend), Llama-3.1-8B 15,7 % vs. Qwen2.5-7B 8,2 %; Distanz-Abhängigkeit: near 4,6/8,5 %, far 16,3/17,6 %; Demonstrations-Count 0->4 hebt 5,4 -> 12,6 % (p = 0,0003), Retrieval-Tiefe 1-10 ohne Effekt (p = 0,47). Messartefakt: Werte blieben unkorrigiert in Passagen-Titeln lesbar (31-95 % der ursprünglich parametrisch gelabelten Fälle), Korrektur halbierte die Raten etwa. Konflikt-Flag: 14B erkennt die Manipulation in 25,7 % der Records und widerspricht; unter 7B abwesend. Zitationsverhalten: parametrische Aussagen zitiert zu 89-100 % (Modelle >=3B), nahe an den kontextuellen Raten; kontextuelle Aussagen zitieren die wert-haltige Passage in 85,7-99,5 %. Menschliche Validierung: 3 Annotatoren, 120 Items, Übereinstimmung mit Auto-Labels 76,9-82,8 % (Kappa 0,537-0,658); 18/20 Abweichungen Richtung Label = kontextuell, Annotatoren = parametrisch (Unterzählung).
Detektion: DeBERTa-NLI (max. Entailment über alle Passagen) auf Zufallsniveau für alle Modelle; auf der zitierten Passage (7B, 408 Claims) AUROC 0,532 [0,415;0,646], mittleres Entailment parametrisch sogar höher (0,329 vs. 0,214). Zehn Attributionsmethoden: Lösch-basiert schwach (LOO 0,541-0,667; Kontext-Entfernung 0,619-0,751; ContextCite 0,507 [0,413;0,605] auf 7B); Token-Kontrast mit/ohne Kontext trennt am besten (lokalisiert signifikant auf 1,5B/3B/7B); sämtliche Signale mit Kontext im Prompt auf 5/6 Modellen im Zufallsbereich - die Provenienzinformation liegt in der Verteilung VOR dem Kontext. Ohne Kontext produziert das Modell den Wert bei 33-84 % der parametrischen vs. 10-60 % der kontextuellen Claims. Orakel-Verlust: alle numerischen Spannen scoren statt der bekannten Position senkt AUROC 0,760 -> 0,668 (7B, paired bootstrap p = 0,002). Wissen vs. Nutzung: bekannte Werte 13,2 % parametrisch, unbekannte 2,9 %; AUROC restringiert 0,651 (bekannt) vs. 0,812 (unbekannt). End-to-End: Markieren lohnt nicht (Precision max 0,45 < 0,5; Ehrlichkeit fällt an jedem Budget), nur 5:1-Kostenratio + 35 % Budget ergibt 46 % Kostenreduktion (14B). Limits: <=14B Open-Weights (Logits nötig), 19-24 % unbestimmt verworfen, Coverage 70 % ASQA vs. 16,5/21,8 % ELI5/QAMPARI, Verhaltensdefinition. Code angekündigt, Link im PDF unvollständig.
2. Auditing AI peer reviewers (Skepthical-Benchmark)
Zubeldia, Bolliet, Villaescusa-Navarro, Villanueva-Domingo und Cranmer (Cambridge, Flatiron, UAB, Polymathic AI; NeurIPS 2026) injizieren 357 Fehler (4 Typen: general/mathematics/numerics/citations; 3 Schärfen: subtle/clear/blatant) in die LaTeX-Quellen von 30 Preprints (15 Astro, 15 ML, je 4 Fehler/Kopie, <=20 Seiten). 12 Systeme: 6 Einzel-LLM-Konfigurationen (Claude Opus 4.7, GPT-5.5, Gemini 3.1 Pro, je free-form/strukturiert), 2 Claude-Code-Konfigurationen, 3 externe (Stanford Agentic Reviewer nur Astro, OpenReviewer-8B, PaperAudit-Bench Deep) und Skepthical (4 Module: Zitation mit PDF-Abruf, Mathe mit CAS/wolframscript, Numerik mit ausgeführtem Code, general als Cross-Family-Ensemble). Adjudikation: LLM-Panel (Sonnet 4.6, GPT-5.4, Gemini 3 Flash) + mechanische Verifier; Self-Preference-Test per Familien-Differenz; 1 Paper manuell. Ergebnisse Gesamt: Astro Skepthical 70,6+-6,2 vs. strukt. GPT-5.5 61,3+-6,6 (signifikant), strukt. Claude Code 61,0, Stanford 40,7, OpenReviewer 1,1, PaperAudit 2,3; ML Skepthical 76,7+-5,6 vs. GPT-5.5 81,1+-5,3 (n.s.), Claude Code 73,3. Skepthical vs. bestes Einzelmodell: +9,3 pp Astro (signifikant), -4,4 ML (n.s.). Schärfe: Top-Systeme 57-73 % bei subtle, Open-Weights <5 % selbst bei blatant.
Treiber: Modellwahl (gleicher Prompt: 48,6 pp Astro / 52,8 pp ML Spread, getrieben von Mathe/Numerik), Prompt-Inhalt (strukturiert hebt Gemini +25,4/+40,0, Claude +16,6/+28,3, GPT-5.5 +0,8/+17,2), Claude-Code-Prompt-only +32,2/+38,9 mit qualitativ anderem Werkzeugverhalten (Median 9 Turns max 26, 21 Python-Skripte vs. 0; wolframscript nie genutzt). Zitate: Astro Skepthical 46,7 vs. <=26,7 (Claude Code hatte Zugriff, Traces zeigen keinen Abruf - Erzwingen schlägt Anbieten); ML 53,3 vs. 57,8-60,0 strukturierte Einzelmodelle (n.s.), 14/45 ML-Zitatfehler aus Allgemeinwissen erkennbar vs. 4/45 Astro. Mechanische Verifikation: Skepthical prüft jede gemeldete Behauptung deterministisch nach (auditierbar), Claude Code nur auf einem Teil. FP: <9 % Astro außer Open-Weights (40,6/30,8 %); ML 6/9 unter 10 %, strukturierte Einzel-LLMs 11,5-22,7 %; Skepthical 2,8 % (106 Flags) / 4,0 % (99 Flags); Mathe-Flags 30 % (Astro) / 67 % (ML) falsch = Hälfte aller FPs, General-Flags 3 %. Limits: nur lokalisierbare Fehler (kein Novelty/Significance), 4 Fehler pro Kopie, LLM-Adjudikation + 1-Paper-Human-Check, Skepthical-Vergleiche nicht kapazitätsgematcht, externe Reviewer seitenlimitiert, Modellversionen nicht einfrierbar. Pipeline, Injektionen und Protokolle: github.com/inigozubeldia/skepthical-benchmark (Inhalt geprüft, 9 Einträge inkl. corpus/data/evaluation_pipeline); Dienst skepthical-ai.org.
3. Mind the Accuracy-Approval Gap
Naveed und Fain (Duke; bei ACM eingereicht) variieren per Systemprompt vier Personas auf GPT-5.4-mini (objective, soft-sycophantic, hard-sycophantic, baseline). Benchmark-Leiter bestätigt: Agreement NLP-Survey 54,8/71,7/89,5 % (obj/base/hard; über die drei Perez-Datensätze Basis 71,7-79,9 %); ELEPHANT (GPT-4o-Judge, >8000 Prompts/Persona): Validation 50,09/78,40/94,31/94,32, Indirectness 54,41/81,10/90,77/90,48, Framing 20,33/50,47/58,83/71,59 (obj/base/soft/hard); AITA-NTA beidseitig (1.591 Paare): 19,42/24,64/40,73/62,73 %; SycophancyEval: falsche Antwortwechsel Answer 3,0-9,7 %, Are-You-Sure 4,2-15,4 %; TruthfulQA Multi-Turn-Druck: 81,9 (obj) / 59,6 (base) / 8,7 % (hard); MMLU-Pro ohne Persona-Unterschied. Studie 1 (n = 200, Prolific, IRB; 3 Themen, max 7 Turns, 597 Diskussionen): objektiv signifikant niedriger bei Respekt (3,66 vs. hard 4,47, p Holm < 0,001), Zufriedenheit (3,76 vs. Basis 4,41, p Holm < 0,01), Vertrauen (3,73 vs. 4,26, p = 0,0007); Basis vs. sycophant n.s. Meinungsänderung ~37 %, Persona-Effekt n.s. (p = 0,671); signed change objektiv -0,362 [-0,560;-0,164] (p Holm = 0,002) Richtung Aussage-Disagreement; Konfidenz-Verlust 13,9 vs. 3,6 % (OR 5,10 [1,92;13,56], p Holm = 0,0065, FDR p = 0,056); Engagement 3,28-3,57 Exchanges, n.s.
Studie 2 (n = 198; 2 TOEFL-E-Mail-Aufgaben, Feedback-only, GPT-5.6-Sol-Grader 0-5): Gewinne 0,239-0,337 (Mittel 0,296), adjustierte Endqualität ohne nachweisbaren Persona-Unterschied (ANCOVA p = 0,959 - fehlender Nachweis, nicht Äquivalenz); Netto-Wortzunahme objektiv +14,65 vs. Basis +8,88, soft +6,69, hard +8,78 (objektiv-soft 7,96 [2,83;13,73], p Holm = 0,018); Edit-Distanz n.s. (p = 0,147). Lesart der Autoren: Accuracy-Approval-Gap - Nutzer nennen Wahrhaftigkeit als Top-Eigenschaft, bewerten aber die unter Druck unzuverlässigeren Personas besser; Basis-Sycophancy ist bereits hoch (71,7 %), explizite Sycophantie steigert Zustimmung nicht weiter messbar; Sycophancy ist multidimensional (Validation, Framing, Antwortwechsel, Feedback-Positivität dissoziieren). Limits: 1 Modell, Prompts konfundieren Agreement und Stil, kurze Interaktionen, US/EN, GPT-4o/GPT-5.6-Sol als Judges, keine human-evaluierte Schreibqualität; ob Nutzer Ungenauigkeit bewusst vorziehen, ist offen. Kein Repository-Link im Paper; Prompts im Appendix.
Quellen
- Cited but Unused: Parametric Provenance in Retrieval-Augmented Generation, arXiv (Tanzeel Abbas, Tehseen Zia, David Windridge; COMSATS University Islamabad, Middlesex University London) (abgerufen 2026-11-15)
- Auditing AI peer reviewers: a benchmark on real scientific papers, arXiv (Zubeldia, Bolliet, Villaescusa-Navarro, Villanueva-Domingo, Cranmer; University of Cambridge, Flatiron Institute, UAB, Polymathic AI) (abgerufen 2026-11-15)
- Mind the Accuracy-Approval Gap: How Users Evaluate Sycophantic AI in Everyday Tasks, arXiv (Wajiha Naveed, Brandon Fain; Duke University) (abgerufen 2026-11-15)
