Dit artikel introduceert Context Language Models (CLMs), taalmodellen die hun context op een native manier beheren door deze te behandelen als een bestand dat onbeperkt kan worden bijgewerkt. Door contextbeheer te verschuiven van externe controle naar intrinsiek modelgedrag, kunnen CLMs effectiever leren wat essentieel is om te behouden.
Belangrijkste resultaten:
- Prestaties: CLMs overtreffen huidige state-of-the-art strategieën in diverse benchmarks, zoals BrowseComp-Plus en EdgeBench, waarbij ze vaak hogere nauwkeurigheid behalen met minder FLOPs.
- Optimalisatie: Het model kan worden verbeterd via instructies in natuurlijke taal en online reinforcement learning, wat resulteerde in een prestatieverbetering van 47,6% voor Qwen3.5-9B op BrowseComp-Plus.
- Serving: Met de introductie van 'Suffix Cache Reuse' wordt de server-side rekenkracht met 35% verminderd ten opzichte van standaard SGLang.
Context Language Models
Samenvatting
Wij introduceren Context Language Models (CLMs), taalmodellen die hun eigen context op een native manier beheren. We implementeren dit door de context te behandelen als een bestand en het model toe te staan om onbeperkte updates aan dit bestand uit te voeren. Hierdoor kan het model leren wat het belangrijkste is om in de context te behouden. Dit concept strekt zich op natuurlijke wijze uit naar multi-agent-systemen, waarbij de contexten van meerdere agenten als afzonderlijke bestanden naast elkaar bestaan.
Prestaties en Resultaten
Het zero-shot bouwen van CLMs met bestaande modellen presteert beter dan state-of-the-art (SOTA) contextbeheersstrategieën over een verscheidenheid aan taken:
- BrowseComp-Plus: 11,4% hogere nauwkeurigheid met 21,5% minder FLOPs.
- 12-hour EdgeBench: 5% hogere scores met 59% minder FLOPs.
- 24-hour multi-repository agent-swarm-taak: 65% grotere verbetering bij een gelijkblijvende hoeveelheid rekenkracht.
Contextbeheer en Optimalisatie
Door contextbeheer te verschuiven van externe harness-controle naar intrinsiek modelgedrag, maken CLMs op natuurlijke wijze zowel in-context als parametrisch leren van contextbeheersstrategieën mogelijk.
We tonen aan dat CLMs kunnen worden aangestuurd met instructies in natuurlijke taal die zijn geëvolueerd via een standaard skill-optimalisatiecyclus. Dit verbetert de nauwkeurigheid op een contextbeheerstaak met maximaal 35,9 punten, terwijl de rekenkracht wordt verminderd.
Daarnaast introduceren we een methode voor online reinforcement learning voor CLMs. Hiermee verbeterden de prestaties van Qwen3.5-9B op BrowseComp-Plus met 47,6%, terwijl er 12% minder FLOPs werden gebruikt.
Efficiëntie in Serving
Ten slotte hebben we 'Suffix Cache Reuse' ontwikkeld voor de serving van CLM. Dit vermindert de server-side rekenkracht met 35% ten opzichte van standaard SGLang bij gelijkblijvende prestaties.
Auteurs: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh
Context Language Models
Samenvatting
Wij introduceren Context Language Models (CLMs), taalmodellen die hun eigen context op een native manier beheren. We implementeren dit door de context te behandelen als een bestand en het model toe te staan om onbeperkte updates aan dit bestand uit te voeren. Hierdoor kan het model leren wat het belangrijkste is om in de context te behouden. Dit concept strekt zich op natuurlijke wijze uit naar multi-agent-systemen, waarbij de contexten van meerdere agenten als afzonderlijke bestanden naast elkaar bestaan.
Prestaties en Resultaten
Het zero-shot bouwen van CLMs met bestaande modellen presteert beter dan state-of-the-art (SOTA) contextbeheersstrategieën over een verscheidenheid aan taken:
- BrowseComp-Plus: 11,4% hogere nauwkeurigheid met 21,5% minder FLOPs.
- 12-hour EdgeBench: 5% hogere scores met 59% minder FLOPs.
- 24-hour multi-repository agent-swarm-taak: 65% grotere verbetering bij een gelijkblijvende hoeveelheid rekenkracht.
Contextbeheer en Optimalisatie
Door contextbeheer te verschuiven van externe harness-controle naar intrinsiek modelgedrag, maken CLMs op natuurlijke wijze zowel in-context als parametrisch leren van contextbeheersstrategieën mogelijk.
We tonen aan dat CLMs kunnen worden aangestuurd met instructies in natuurlijke taal die zijn geëvolueerd via een standaard skill-optimalisatiecyclus. Dit verbetert de nauwkeurigheid op een contextbeheerstaak met maximaal 35,9 punten, terwijl de rekenkracht wordt verminderd.
Daarnaast introduceren we een methode voor online reinforcement learning voor CLMs. Hiermee verbeterden de prestaties van Qwen3.5-9B op BrowseComp-Plus met 47,6%, terwijl er 12% minder FLOPs werden gebruikt.
Efficiëntie in Serving
Ten slotte hebben we 'Suffix Cache Reuse' ontwikkeld voor de serving van CLM. Dit vermindert de server-side rekenkracht met 35% ten opzichte van standaard SGLang bij gelijkblijvende prestaties.
Groetjes,