DeepSeek Elastic Compute (DSec) is een productie-sandboxplatform dat is ontwikkeld om de training en evaluatie van agentische Large Language Models (LLM's) op grote schaal te faciliteren. Het platform ontsluit diverse back-ends zoals containers, microVM's en volledige VM's via een uniforme SDK.
De belangrijkste pijlers van DSec zijn:
- Efficiënt beheer: Het systeem optimaliseert de uitvoeringsdichtheid door gebruik te maken van geheugendeling, CPU-scheduling en het on-demand laden van data via het 3FS-bestandssysteem.
- RL-Integratie: DSec is co-ontworpen met reinforcement learning-frameworks, waardoor de stateful rollout-uitvoering is ontkoppeld van de GPU-training en resources efficiënter kunnen worden toegewezen.
- Veiligheid: De infrastructuur is specifiek ingericht om ongewenst gedrag van AI-agents, zoals reward hacking, te mitigeren.
- Prestaties: In productie ondersteunt het systeem meer dan 380.000 gelijktijdige sandboxes en kan het meer dan 5.000 nieuwe sandboxes per seconde creëren.
DeepSeek Elastic Compute (DSec): Een sandbox-infrastructuur voor effectieve agentische training op schaal
Samenvatting
Grootschalige agentische training en evaluatie met grote taalmodellen (LLM's) zijn afhankelijk van geïsoleerde, stateful uitvoeringsomgevingen. In deze omgevingen kunnen modellen repositories inspecteren, tools aanroepen, commando's uitvoeren en interageren met taakspecifieke services. Deze workloads creëren sandboxes in grote bursts, beslaan heterogene functionaliteiten en isolatie-eisen, behouden de status (state) over lange interacties en maken gebruik van grote image-corpora met beperkt hergebruik. Om dit te ondersteunen is een elastisch uitvoeringsplatform nodig in plaats van een enkele sandbox-runtime.
DeepSeek Elastic Compute (DSec)
Dit rapport presenteert DeepSeek Elastic Compute (DSec), een productie-sandboxplatform dat FnCall, container, microVM en volledige VM-sandbox back-ends ontsluit via een uniforme SDK.
De belangrijkste kenmerken van DSec zijn:
- Coördinatie en beheer: DSec coördineert de plaatsing en levenscyclusbeheer over het cluster.
- Omgevingsopbouw: Omgevingen worden samengesteld uit onafhankelijk geversioneerde lagen.
- Efficiëntie: Het combineert geheugendeling (memory sharing), reclaimen van resources en CPU-scheduling voor een hoge uitvoeringsdichtheid.
- Data-opslag: Image-data worden on-demand geladen vanuit het Fire-Flyer File System (3FS), een cluster-breed gedistribueerd bestandssysteem.
Integratie met Training
DSec is co-ontworpen met het reinforcement learning (RL) framework. Hierdoor wordt het volgende gerealiseerd:
- Ontkoppeling: De stateful rollout-uitvoering is ontkoppeld van de preemptible GPU-training.
- Levenscyclusbeheer: De levenscyclus van de sandbox wordt gecoördineerd met de training om de rollout-status te behouden, terwijl ongebruikte resources worden vrijgemaakt.
- Beveiliging: Het systeem mitigeert ongewenst gedrag van agents, zoals reward hacking.
Prestaties en Evaluatie
Een enkele productie-eenheid van DSec beslaat ongeveer 160 nodes en bedient ongeveer 3 miljoen sandboxes per dag. In productie ondersteunt het systeem:
- Meer dan 380.000 gelijktijdige sandboxes.
- Een snelheid van meer dan 5.000 sandbox-creaties per seconde.
Evaluaties en deployment-ervaringen tonen aan dat deze mechanismen de overhead voor het opzetten van omgevingen en de distributie van images verminderen, de geheugenefficiëntie verbeteren en de latency-gevoelige prestaties behouden onder hoge-dichtheid overcommit.
Auteurs: Jialiang Huang, Hongxuan Tang, Jingchang Chen, Yuxuan Liu, Yixiao Chen, Yuan Cheng, Yi Tao, Jingli Zhou, Yupeng Chen, Haoyu Chen, Jiarui Wang, Shengkai Lin, Chuqi Zhang, Bryan Lee Teng, Lian Guo, Zhe Fu, Wenjun Gao, Yisong Wang, Liang Zhao, Zehao Wang, Ziwei Xie, Yongqiang Guo, Peixin Cong, Ziyi Gao, Shuiping Yu, Hanwei Xu, Zuofan Wu, Zhizhou Ren, Yuyang Zhou, Bowei Zhang, Zhihuan Huang, Qihao Zhu, Lei Wang, Tianle Lin, Han Yu, Jiewen Hu, Dejian Yang, Shuo Yang, Shanghao Lu, Shaoyuan Chen, Junjie Qiu, Zhangli Sha, Yinmin Zhong, Yongtong Wu, Shiyu Wang, Wei Liu, Bingzheng Xu, Longhao Chen, Qiushi Du, Yuzhen Huang, Shirong Ma, Yaohui Wang, Mingshu Chen, Tongrui Xiong, Y.C. Yan, Haowen Luo, Haofen Liang, Xiaokang Zhang, Weihao Zeng, Runxin Xu, Peiyi Wang, Jinhua Zhu, Ruoyu Zhang, Wenkai Yang, Qi Tang, Jiping Yu, Tian Ye, Ruizhe Pan, Honghui Ding, Xiaodong Liu, Lingxiao Luo, Zhihong Shao, Yuhan Wu, Jibai Lu, Wen Liu, Haoling Zhang, Jingcheng Hu, Yaoyang Ye, Chaofan Lin, Zhaochen Zhang, Jianan Tong, Hengxu Wu, Zhihao Li, Yicheng Wang, Luyao Wang, Yuzhuo Bai, Lingyue Fu, Ruifan Xu, Y.Z. Wang, Zonglin Li, Mingqi Wei, Haiyang Shen, Chengyuan Zhang, Chao Jin, Zili Zhang, R.H. Yang, Xinbo Xu, Jian Zhou, Ruidong Zhu, Yuzhe Guo, Zelun Pan, Shaoheng Nie, Erhang Li, Shuhan Lin, Zheng Liu, Anshuo Chen, Zilong Lyu, Sinuo Cao, Rui Yu, Chuhao Wang, Junyi Guo, Junxiao Song, Kaifeng Chen, Menghao Ye, Junxian Li, Di Wu, Haiyang Ma, Yilun Wang, Haoran Yang, Yizai Cai, Shichun Liu, Yiping Wang, Junbo Sun, Shicheng Xu, Xiao Bi, Ying He, Yichao Zhang, Mingxing Zhang, Liyue Zhang, Panpan Huang, Wenfeng Liang et al.
DeepSeek Elastic Compute (DSec): Een sandbox-infrastructuur voor effectieve agentische training op schaal
Samenvatting
Grootschalige agentische training en evaluatie met grote taalmodellen (LLM's) zijn afhankelijk van geïsoleerde, stateful uitvoeringsomgevingen. In deze omgevingen kunnen modellen repositories inspecteren, tools aanroepen, commando's uitvoeren en interageren met taakspecifieke services. Deze workloads creëren sandboxes in grote bursts, beslaan heterogene functionaliteiten en isolatie-eisen, behouden de status (state) over lange interacties en maken gebruik van grote image-corpora met beperkt hergebruik. Om dit te ondersteunen is een elastisch uitvoeringsplatform nodig in plaats van een enkele sandbox-runtime.
DeepSeek Elastic Compute (DSec)
Dit rapport presenteert DeepSeek Elastic Compute (DSec), een productie-sandboxplatform dat FnCall, container, microVM en volledige VM-sandbox back-ends ontsluit via een uniforme SDK.
De belangrijkste kenmerken van DSec zijn:
- Coördinatie en beheer: DSec coördineert de plaatsing en levenscyclusbeheer over het cluster.
- Omgevingsopbouw: Omgevingen worden samengesteld uit onafhankelijk geversioneerde lagen.
- Efficiëntie: Het combineert geheugendeling (memory sharing), reclaimen van resources en CPU-scheduling voor een hoge uitvoeringsdichtheid.
- Data-opslag: Image-data worden on-demand geladen vanuit het Fire-Flyer File System (3FS), een cluster-breed gedistribueerd bestandssysteem.
Integratie met Training
DSec is co-ontworpen met het reinforcement learning (RL) framework. Hierdoor wordt het volgende gerealiseerd:
- Ontkoppeling: De stateful rollout-uitvoering is ontkoppeld van de preemptible GPU-training.
- Levenscyclusbeheer: De levenscyclus van de sandbox wordt gecoördineerd met de training om de rollout-status te behouden, terwijl ongebruikte resources worden vrijgemaakt.
- Beveiliging: Het systeem mitigeert ongewenst gedrag van agents, zoals reward hacking.
Prestaties en Evaluatie
Een enkele productie-eenheid van DSec beslaat ongeveer 160 nodes en bedient ongeveer 3 miljoen sandboxes per dag. In productie ondersteunt het systeem:
- Meer dan 380.000 gelijktijdige sandboxes.
- Een snelheid van meer dan 5.000 sandbox-creaties per seconde.
Evaluaties en deployment-ervaringen tonen aan dat deze mechanismen de overhead voor het opzetten van omgevingen en de distributie van images verminderen, de geheugenefficiëntie verbeteren en de latency-gevoelige prestaties behouden onder hoge-dichtheid overcommit.
Groetjes,