Modelle

MemT-1.0: Gedächtnis als Teil der Modellrechnung

MemTensors MemT-1.0 verlagert das Langzeitgedächtnis von Sprachmodellen in feste Speicherzustände - statt den Kontext immer weiter wachsen zu lassen.

, Redaktion KI Fachblatt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 3 Min. Lesezeit

Schematische Darstellung: Ein Backbone-Attention-Block läuft parallel zu einem Native Memory Block, der aus lokalem dynamischem Speicher und trainierbarem Hyper-Speicher besteht
Parallel zur Backbone-Attention: MemT-1.0 koppelt dynamischen lokalen Speicher und trainierbaren Hyper-Speicher an jeden ausgewählten Transformer-Block. · Eigene Grafik (Redaktion)
Kurz gesagt
  • MemT-1.0 ist eine Modellfamilie mit nativem Gedächtnis: MemT-1.0-Nano (36 Mrd. Parameter, 3 Mrd. aktiv) und MemT-1.0-Flash (288 Mrd., 17 Mrd. aktiv) speichern Verlaufsinformation in einem Zustand fester Größe statt im wachsenden Kontextfenster [1][2].
  • Bei 128.000 Tokens Verlauf braucht MemT-1.0-Nano laut Technical Report rund 66-mal weniger persistenten Speicher als ein voller KV-Cache und ist etwa 1,86-mal schneller (Herstellerangabe) [1].
  • In elf Gedächtnis-Benchmarks liegen Nano und Flash vorn unter den parametrischen Speichermethoden - starke textbasierte Speichersysteme bleiben aber insgesamt vorn, besonders bei langen Verläufen mit Detailfragen [2][3].
  • Lizenzlage: Code unter PolyForm Noncommercial, Paper unter CC BY-NC-SA; für die Gewichte nennt das Repository eigene, noch zu veröffentlichende Bedingungen - kommerzielle Nutzung ist nicht pauschal abgedeckt [2].

Wer heute mit einem Sprachmodell lange Gespräche führt oder Agenten über viele Schritte arbeiten lässt, bezahlt dafür mit Kontext: Der Verlauf landet im Prompt, der KV-Cache wächst, und mit ihm Speicherbedarf und Latenz. MemTensor will diesen Trade-off mit MemT-1.0 an der Wurzel angehen: Die Modellfamilie macht ein persistentes, sich weiterentwickelndes Gedächtnis zu einem festen Bestandteil der Modellrechnung, statt Information ausschließlich im Kontextfenster zu halten [1][2]. Veröffentlicht wurden Technical Report, Code und Checkpoints; der unabhängige Release-Tracker AIFOD datiert die Veröffentlichung auf den 26. Oktober [4].

Die Modellfamilie im Überblick

MemT-1.0-Nano und MemT-1.0-Flash (Herstellerangaben) [1][2]
EigenschaftMemT-1.0-NanoMemT-1.0-Flash
BackboneQwen3.6-35B-A3BDeepSeek-V4-Flash
Parameter gesamt / aktiv pro Token36 Mrd. / 3 Mrd.288 Mrd. / 17 Mrd.
Trainierbare Speicherparameter451 Mio.3,61 Mrd.
Dynamischer Speicherzustand10 Mio. Elemente336 Mio. Elemente

Beide Modelle sind MoE-Modelle: Pro Token ist nur ein Bruchteil der Parameter aktiv. Entscheidend ist die letzte Zeile der Tabelle - der dynamische Speicherzustand hat eine feste, konfigurierte Größe. Wächst der Verlauf, wird der Zustand aktualisiert, nicht länger [1][2].

MemT-1.0: Parameter im Überblick
  • MemT-1.0-Nano
  • MemT-1.0-Flash
Daten als Tabelle
MemT-1.0-NanoMemT-1.0-Flash
Gesamt36288
Aktiv/Token317
Speicher (train.)0,453,61

Herstellerangaben aus Technical Report und Repository [1][2]. Die Speicherparameter sind trainierbar; der dynamische Zustand kommt hinzu (Nano: 10 Mio. Elemente, Flash: 336 Mio.).

Wie das native Gedächtnis arbeitet

Der Kern ist ein Native Memory Block, der parallel zur gewöhnlichen Attention des Backbones läuft und aus zwei Komponenten besteht: Ein Local Memory Block führt eine dynamische, mehrkanalige Speichermatrix, die sich über die Interaktionsschritte weiterentwickelt. Ein Hyper Memory Block enthält trainierbare Projektionen für Schlüssel, Werte und Anfragen sowie Gatter zum Löschen, Schreiben und Vergessen [1][2]. Während der Generierung liest eine Memory-Attention aus dem aktuellen Zustand; am Ende jeder Runde oder jedes Segments aktualisiert ein stabilisiertes GDN-2-Verfahren (Gated DeltaNet-2) den Speicher tokenweise für die folgenden Schritte [1].

Für mehr Speicherkapazität führt das Paper Mixture-of-Storage (MoS) ein: Jeder Speicherblock wird in mehrere Speicher-Experten aufgeteilt, über die - anders als bei klassischem MoE - dense geroutet wird. Alle Experten beteiligen sich an jeder Speicheroperation; separate Router für Lesen und Schreiben teilen sich eine gemeinsame, trainierbare Adressmatrix [1].

Trainiert wurde in zwei Stufen - Continued Pre-Training und Post-Training - auf insgesamt 34 Milliarden Tokens. Zuvor wurde das Backbone gezielt vorbereitet: Die finale Mischung umfasst 126.500 Trajektorien (2,4 Mrd. Tokens), davon gut 90 Prozent der loss-tragenden Tokens aus agentischen Aufgaben. Nach Angaben der Autoren verbessert das vorbereitete Backbone alle sechs überwachten Benchmarks um durchschnittlich 6,3 Punkte gegenüber dem öffentlichen Release [1].

Was die Evaluation zeigt - und was nicht

Über elf Gedächtnis-Benchmarks hinweg belegen MemT-1.0-Flash und -Nano nach Herstellerangaben die Plätze eins und zwei unter den evaluierten parametrischen Speichermethoden - also Verfahren, die Gedächtnis in Modellparametern oder -zuständen halten. Gleichzeitig räumen die Autoren ein: Starke textbasierte Speichersysteme, die den Originaltext nachschlagen können, bleiben insgesamt vorn, insbesondere bei langen Verläufen, die das Wiederfinden konkreter Details verlangen [2][3]. Der feste Zustand ist also ein Kompromiss: Er spart Speicher, verliert aber irgendwann Feinheiten.

Die Effizienzrechnung im Paper: Bei 128.000 Tokens Verlauf erreicht MemT-1.0-Nano eine rund 1,86-fache Beschleunigung der End-to-End-Inferenz und eine etwa 66-fache Reduktion des persistenten Speichers gegenüber dem vollen KV-Cache. Bei 64.000 Tokens Verlauf liegt die Reduktion des logischen Zustands pro Trajektorie bei etwa dem 33-Fachen. Alle Werte stammen aus dem Technical Report und wurden nicht unabhängig nachgemessen [1].

Erfahrung als Speicher: Agentic Coding

Über das reine Erinnern hinaus demonstriert das Paper einen Agenten-Anwendungsfall: Gelöste Teilaufgaben aus früheren Coding-Aufgaben werden als prozedurale Erfahrung in den nativen Speicher überführt und bei neuen Aufgaben über die Memory-Attention abgerufen - ohne dass der Erfahrungstext im Kontext mitgeschleppt wird. Auf SWE-bench Verified und SWE-bench Multilingual steigere das laut Paper die durchschnittliche Erfolgsrate und die Konsistenz über wiederholte Läufe gegenüber Agenten ohne Erfahrung und liege auf dem Niveau explizit mitgegebenen Erfahrungstexts [1]. Konkrete Prozentwerte nennt die Zusammenfassung nicht.

Verfügbarkeit und Lizenz

Das Repository beschreibt den Betrieb über SGLang mit einem eigenen Python-Client (memt_sglang): Sessions lassen sich mit Memory-Snapshots speichern und später ohne Konversationsverlauf wieder aufnehmen; das Nano-Beispiel läuft auf zwei GPUs [2]. Checkpoints sind auf Hugging Face verfügbar [3]. Bei der Lizenz gilt Vorsicht: Der Code steht unter der PolyForm Noncommercial License, das Paper unter CC BY-NC-SA 4.0. Für Gewichte, Datensätze und Benchmark-Assets verweist das Repository auf separate Bedingungen, die mit den jeweiligen Veröffentlichungen kommen sollen. Kommerzielle Nutzung ist damit aktuell nicht pauschal erlaubt [2].

Einordnung: MemT-1.0 adressiert ein reales Kostenproblem langlebiger Agenten und liefert ein durchdachtes, offen dokumentiertes Design. Die zentralen Aussagen zu Benchmark-Rängen und Effizienz sind jedoch durchweg Herstellerangaben; unabhängige Reproduktionen stehen aus. Wer produktiv mit langen Verläufen arbeitet, sollte das Versprechen 'konstanter Speicher' gegen die eingeräumte Schwäche bei Detailfragen abwägen - und die Lizenzlage vor jeder kommerziellen Nutzung klären.

Methode

Analyse auf Basis des Technical Reports (arXiv), des offiziellen GitHub-Repositorys und der Hugging-Face-Modellkarte; alle Quellen wurden gelesen. Benchmark-, Effizienz- und Trainingsangaben sind durchweg Herstellerangaben; das Modell wurde von der Redaktion nicht selbst ausgeführt. Der Release-Tracker dient der Einordnung von Datum und Verfügbarkeit.

Grenzen

Keine eigenen Modelltests und keine unabhängige Verifikation der Benchmarks oder Effizienzwerte. Die vollständige Evaluationstabelle des Papers war im abrufbaren HTML nur teilweise einsehbar; einzelne Benchmark-Scores werden daher nicht zitiert. Die Lizenzbedingungen der Gewichte sind noch nicht final veröffentlicht.

Quellen

  1. MemT-1.0: Towards Memory-Native Evolution (Technical Report), arXiv / MemTensor (abgerufen 2026-10-31) ↩1 ↩2 ↩3 ↩4 ↩5 ↩6
  2. MemTensor/MemT-1.0 - offizielles Repository, GitHub / MemTensor (abgerufen 2026-10-31) ↩1 ↩2 ↩3 ↩4 ↩5 ↩6
  3. MemTensor/MemT-1.0-Flash - Modellkarte, Hugging Face / MemTensor (abgerufen 2026-10-31) ↩1 ↩2 ↩3
  4. AI Model Releases - October 2026 (Live Tracker), AIFOD (abgerufen 2026-10-31) ↩

Häufige Fragen

Was ist an MemT-1.0 neu?

Das Gedächtnis ist Teil der Modellrechnung: Ein Speicherzustand fester Größe wird nach jeder Runde aktualisiert und bei der Generierung gelesen, statt den gesamten Verlauf im Kontextfenster zu halten [1][2].

Welche Modelle gibt es?

MemT-1.0-Nano (36 Mrd. Parameter, 3 Mrd. aktiv, Backbone Qwen3.6-35B-A3B) und MemT-1.0-Flash (288 Mrd., 17 Mrd. aktiv, Backbone DeepSeek-V4-Flash) [1][2].

Ist MemT-1.0 besser als RAG oder Textspeicher?

Nach Herstellerangaben führt MemT-1.0 unter den parametrischen Speichermethoden, bleibt aber hinter starken textbasierten Systemen zurück - vor allem bei langen Verläufen mit Detailfragen [2][3].

Was bringt der Ansatz an Effizienz?

Laut Technical Report bei 128K Verlauf etwa 1,86-fach schnellere Inferenz und rund 66-fach weniger persistenter Speicher als ein voller KV-Cache. Nicht unabhängig verifiziert [1].

Darf ich MemT-1.0 kommerziell nutzen?

Nicht pauschal: Der Code steht unter PolyForm Noncommercial, das Paper unter CC BY-NC-SA; für die Gewichte sollen separate Bedingungen folgen. Für kommerzielle Nutzung verweist das Team auf direkte Anfrage [2].

Weiterlesen