DeepSeek-V4.1-Flash-1017

Introductie

Benchmarks

Benchmark	DS-V4.1-Flash-1017	DS-V4.1-Flash	K3	GLM-5.3	GPT-5.6 Sol	Opus 5
HLE w/o tools	42.6 (44.0†)	36.8 (39.1†)	43.5	42.0†	44.5	56.3
Terminal-Bench 4.0	42.3	31.2	12.6	37.9	39.9	51.8
DeepSWE v1.1	77.0	74.2	67.5	66.9	73.0	74.0
ProgramBench	29.1	20.3	17.5	19.0	23.0	37.0
NL2Repo-Bench	68.2	65.4	58.0	58.0	56.8	75.3
Automation-Bench v1.0.6	60.5	54.8	46.7	48.8	45.8	50.3
Agents’ Last Exam	35.4	31.8	27.6	28.5	26.7	28.6
Apex Bench v1.1	72.1	64.6	47.8	56.6	54.3	65.8
Chartography (w/tools)	83.0	78.9	68.1	—	79.9	84.0
BabyVision (w/tools)	92.5	89.6	85.7	—	88.9	94.1
ZeroBench-main (w/tools)	51.0	49.0	41.0	—	53.0	52.0

\* † staat voor de tekst-only subset van HLE. Voor Terminal-Bench 4.0 is het Claude Code-harness gebruikt en voor DeepSWE v1.1 het Mini-SWE-V2-harness.

Prompt Codering

Deze release bevat geen chat-template in Jinja-formaat. De map encoding bevat een zelfstandige Python-referentie-implementatie (encoding.py) met testgevallen voor:

• Conversaties met meerdere beurten;
• Tool-aanroepen;
• Denkmodus (thinking mode);
• Numerieke redeneerinspanning;
• Systeemmeldingen halverwege een gesprek;
• Interleaved beeldinhoud.

Voor gebruik in productie brengen we daarnaast deepseek-recipe uit. Dit is een set Rust-bibliotheken met Python-bindings die hetzelfde prompt-formaat biedt als een onderhouden, protocol-bewust instrumentarium. Het converteert verzoeken van Messages, Chat Completions en Responses API's naar het Conversation-formaat, codeert deze naar DeepSeek V4 en V4.1 prompts of token-ID's, en parseert de modeloutput terug naar volledige of gestreamde antwoorden — inclusief nadenken, tool-aanroepen, afbeeldingen en generatie-instellingen. Model-inferentie, tool-uitvoering en HTTP-transport zijn voor rekening van de aanroeper.

Minimale Inferentie

Raadpleeg de map inference voor instructies over gewichtconversie en het lokaal uitvoeren van inferentie.

Aanbevolen sampling-parameters

Parameter	Waarde
temperatuur	1.0
top_p	1.0
contextvenster	1M tokens
max_tokens	$\ge$ 256K

Gebruik en Implementatie

Transformers

Gebruik van deepseek-ai/DeepSeek-V4.1-Flash-1017 met Transformers:

Via een pipeline (hoog niveau):

# pip install -U transformers accelerate
from transformers import pipeline
pipe = pipeline("image-text-to-text", model="deepseek-ai/DeepSeek-V4.1-Flash-1017")

Direct model laden:

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-V4.1-Flash-1017", device_map="auto")

vLLM

Gebruik van deepseek-ai/DeepSeek-V4.1-Flash-1017 met vLLM:

Installatie via pip en model serveren:

# Installeer vLLM via pip:
pip install vllm

# Start de vLLM-server:
vllm serve "deepseek-ai/DeepSeek-V4.1-Flash-1017"

De server aanroepen via curl (OpenAI-compatibele API):

curl -X POST "http://localhost:8000/v1/completions" \
-H "Content-Type: application/json" \
--data '{
"model": "deepseek-ai/DeepSeek-V4.1-Flash-1017",
"prompt": "Once upon a time,",
"max_tokens": 512,
"temperature": 0.5
}'

Gebruik via Docker:

docker model run hf.co/deepseek-ai/DeepSeek-V4.1-Flash-1017

SGLang

Gebruik van deepseek-ai/DeepSeek-V4.1-Flash-1017 met SGLang:

Installatie via pip en model serveren:

# Installeer SGLang via pip:
pip install sglang

# Start de SGLang-server:
python3 -m sglang.launch_server \
--model-path "deepseek-ai/DeepSeek-V4.1-Flash-1017" \
--host 0.0.0.0 \
--port 30000

De server aanroepen via curl (OpenAI-compatibele API):

curl -X POST "http://localhost:30000/v1/completions" \
-H "Content-Type: application/json" \
--data '{
"model": "deepseek-ai/DeepSeek-V4.1-Flash-1017",
"prompt": "Once upon a time,",
"max_tokens": 512,
"temperature": 0.5
}'

Gebruik via Docker-images:

docker run --gpus all \
--shm-size 32g \
-p 30000:30000 \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HF_TOKEN=<secret>" \
--ipc=host \
lmsysorg/sglang:latest \
python3 -m sglang.launch_server \
--model-path "deepseek-ai/DeepSeek-V4.1-Flash-1017" \
--host 0.0.0.0 \
--port 30000

Docker Model Runner

Gebruik van deepseek-ai/DeepSeek-V4.1-Flash-1017 met Docker Model Runner:

docker model run hf.co/deepseek-ai/DeepSeek-V4.1-Flash-1017

Technische Specificaties

• Aantal parameters: 763B params
• Tensor-types: BF16, F32, F8_E4M3, I8
• Taak: Image-Text-to-Text / Tekstgeneratie
• Precisie: 8-bit precisie (fp8)

Licentie, Citatie en Contact

Licentie

Deze repository en de modelgewichten zijn gelicenseerd onder de MIT-licentie.

Citatie

@misc{deepseekai2026deepseekv41flash,
title={DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression},
author={DeepSeek-AI},
year={2026},
}

Contact

Voor vragen kun je een "issue" aanmaken of contact opnemen via service@deepseek.com.