Kolibri is geland: Een soeverein model met open gewichten

Op de dag van de Duitse Hereniging brengen we ons nieuwe model uit: Kolibri.

Kolibri is een Engels-Duitse Mixture-of-Experts Transformer met in totaal 78 miljard (78B) parameters, waarvan er 3 miljard (3B) actief zijn. Het model ondersteunt contextlengtes tot 1 miljoen tokens. Het model kan met de volledige gewichten worden gedownload via Hugging Face en kan worden gebruikt onder de voorwaarden van de Apache 2.0-licentie.

Kolibri is het resultaat van continue iteratie van onze inspanningen op het gebied van modeltraining. We hebben eerst een trainingspijplijn gebouwd en deze gevalideerd door Kolibri Origin te maken, een model met 30B totale parameters, 3B actieve parameters en een veel korter contextvenster van 65k tokens. Kolibri is door dezelfde pijplijn gegaan: van data-ingestie en curatie, via ablaties, pre-training en post-training, tot de uiteindelijke evaluaties. Dit maakte het mogelijk om honderden ablatie-experimenten uit te voeren en een stabiele pre-training te realiseren die doorliep zonder dat er menselijk ingrijpen nodig was bij hardwarestoringen of wegvallende dataconnecties. We hebben trainingsmetrieken continu gemonitord en de monitoring voor aangepaste benchmarks gestandaardiseerd. De tijd die we hebben gestoken in het bouwen en itereren van deze pijplijn was een waardevolle investering. Dat zien we terug in hoe veel beter Kolibri is dan Kolibri Origin, en in de korte tijd tussen hun releases.

Kolibri is een gespecialiseerd taalmodel, gebouwd voor soeverein, missiekritisch werk in gereguleerde sectoren, waaronder het openbaar bestuur, de industrie en de lucht- en ruimtevaart. We hebben Kolibri gespecialiseerd voor de Duitse taal, redeneren, wiskunde, agentisch gedrag en andere functionaliteiten die onze klanten in productie nodig hebben. Het doel van deze specialisatie was om de prestaties in de specifieke gebruiksscenario's van onze klanten te optimaliseren. Door deze specialisatie behalen klanten een gecontextualiseerde prestatie in hun AI-operaties en kunnen ze de economische impact monitoren, zodat de ROI meetbaar blijft en in de loop van de tijd groeit.

Specialisatie alleen is niet voldoende; soevereiniteit is net zo belangrijk. Soevereiniteit combineert voor ons twee dimensies: hoe we het model hebben gebouwd en hoe dit wordt overgedragen aan onze klanten. We bieden volledige integriteit van de supply-chain en verantwoorden elke beslissing, van data-ingestie via pre- en post-training tot de uiteindelijke evaluaties. We bieden transparantie. Klanten hebben volledige vrijheid in de implementatie en veiligheid van hun intellectueel eigendom, waardoor compliance een overgeërfde eigenschap van het model is.

Voor volledige details verwijzen we naar ons technische rapport.

Wat Kolibri biedt

We hebben Kolibri geoptimaliseerd voor prestaties over een breed scala aan sectoren, rekening houdend met hun specifieke domeintaal en de regulerings- en procedurele realiteit. De kleine en efficiënte omvang biedt onze klanten de flexibiliteit om het model efficiënt on-premise te draaien, zonder interne data naar externe inference-diensten te sturen.

Fundamentele capaciteiten voor ondernemingen en overheden

Met Kolibri optimaliseren we de afweging tussen modelcapaciteit en implementatiekosten, door 3B actieve parameters te gebruiken van de totale 78B. Kolibri bevindt zich op de Pareto-frontier voor kwaliteit versus serveerkosten, voor zowel Engels als Duits. De Pareto-frontier is een concept uit de economie dat de best haalbare combinaties van twee doelstellingen markeert, waarbij verbetering op het ene vlak betekent dat er iets moet worden ingeleverd op het andere. Geen van de vergeleken modellen levert meer kwaliteit bij dezelfde serveerkosten, of dezelfde kwaliteit bij lagere kosten.

Prestaties vs. throughput voor post-trained modellen in het Engels (links) en Duits (rechts):

• Metrieken: Ongewogen gemiddelde benchmarkscores tegenover gedecodeerde tekst per seconde en GPU.
• Interpretatie: Hoger en verder naar rechts is beter.

Over wiskunde, coderen, grounding en long-context taken matcht Kolibri modellen met tot vier keer zoveel actieve parameters, zoals Nemotron 3 Super.

Benchmarkresultaten: Fundamentele capaciteiten

Benchmark	Kolibri	Kolibri Origin	Qwen3.6-35B-A3B	Nemotron 3 Super 120B-A12B	Mistral Small 4 119B-A6B
AIME 2025	96.9	81.9	84.6	91.7	79.8
AIME 2025 (DE)	87.5	73.5	82.9	85.6	72.3
AIME 2026	96.0	81.5	91.0	90.4	83.1
AIME 2026 (DE)	90.0	75.2	84.4	87.5	78.5
GPQA (diamond)	84.3	68.1	83.4	78.0	74.7
GPQA (diamond, DE)	81.3	58.5	80.6	76.6	72.9
AA-Omniscience Index	-32.8	-64.0	-15.3	-36.5	-24.0
BrowseComp	29.4	4.4	26.9	29.1	–
$\tau^3$-bench banking	38.1	5.7	10.6	15.5	5.7
$\tau^2$-bench retail	69.9	58.5	71.6	67.5	62.9
$\tau^2$-bench airline	76.7	58.7	70.7	72.7	40.0
$\tau^2$-bench telecom	94.7	67.5	99.1	68.1	41.5
BFCL v4 overall	61.4	36.4	67.2	61.0	58.0
LiveCodeBench v6	85.9	59.2	82.5	82.0	71.2
HumanEval+	92.7	76.8	92.8	94.7	92.8
LongBench Pro	64.5	–	70.8	62.9	56.4
AA-LCR	68.3	–	69.7	67.0	52.3

Kolibri is een gebalanceerd generalistisch model met concurrerende prestaties in wiskunde, code, long-context, agentische capaciteiten en kennis. Scores zijn op een schaal van 0–100, waarbij hoger beter is.

Gecontextualiseerde prestaties voor real-world toepassingen

Publieke benchmarks vangen de gespecialiseerde behoeften van sectoren vaak niet op. Daarom hebben we eigen interne evaluatiesuites ontwikkeld voor verticale markten die belangrijk zijn voor onze klanten, zoals de Duitse publieke sector, luchtvaart, productie en de automotive industrie. Elke suite weerspiegelt de vaardigheden, workflows en edge-cases die in deze sectoren vereist zijn. Door gebruik te maken van synthetische trainingsomgevingen konden we Kolibri verbeteren tegen deze evaluaties zonder ooit op klantdata te trainen.

Scores op interne customer-proxy benchmarks (verbetering van Origin naar Kolibri):

• Automotive supplier: $0.72 \rightarrow 0.99$
• Semiconductors: $0.35 \rightarrow 0.80$
• Duitse publieke sector: $0.54 \rightarrow 0.75$
• Industriële aandrijftechniek: $0.31 \rightarrow 0.60$
• Lucht- en ruimtevaart: $0.14 \rightarrow 0.59$

Antwoorden gebaseerd op uw documenten (Grounding)

We hebben Kolibri getraind met abstention-data en met ons Merlin-Arthur-protocol. Hierdoor is het model getraind om "Ik weet het niet" te zeggen wanneer het antwoord niet in de context staat. We monitoren en valideren de nauwkeurigheid van deze onthouding continu.

Native Duits en Engels model

We hebben een tweetalige Duits/Engelse tokenizer ontwikkeld en ons erop gericht organische Duitse data op te nemen in het trainingsproces, zodat 21,3% van de pre-training tokens Duits zijn. We hebben vertalingen spaarzaam gebruikt (6% in totaal), omdat vertaalde tekst vaak de culturele voetafdruk van de brontaal behoudt. Het resultaat is een model dat bij ontwerp tweetalig is, en niet een Engels model dat toevallig wat Duits heeft gelezen.

Controle en compliance bij ontwerp: behoud van soevereiniteit

We hebben Kolibri vanaf de basis gebouwd met de EU AI Act, de General-Purpose AI Code of Practice en de AVG (GDPR) in gedachten, waarbij auteursrechten een focuspunt waren in ons streven naar betrouwbare technologie.

We zijn transparant over onze modelgewichten en de curatie van onze trainingsdata. Via redeneertraces (reasoning traces) wordt uitlegbaar hoe het model tot een specifiek antwoord is gekomen. Met ons Merlin-Arthur-protocol waarborgt het model betrouwbaarheid: Kolibri weigert te antwoorden wanneer de context het antwoord niet ondersteunt.

Onze teams hebben het model in Duitsland gebouwd en getraind op infrastructuur in Duitsland en Finland, onder Europees en Duits recht, zonder buitenlandse controle. We beheren de volledige pijplijn, van datacuratie via pre- en post-training tot optimalisatie in onze Model Factory. Deze controle vormt de basis van de soevereiniteit van het model. Deze controle wordt doorgegeven aan onze klanten; de kleine omvang van Kolibri geeft hen volledige vrijheid in de implementatie en ondersteunt controleerbare redeneerinspanningen om kosten en latentie af te wegen tegen de kwaliteit van het antwoord.

Hoe we Kolibri met hoge snelheid hebben gebouwd

Onze Model Factory: twee modellen in drie maanden

Onze Model Factory is het antwoord op iteratiesnelheid, waardoor de tijd tussen het ontdekken van fouten en het trainen van een beter model wordt geminimaliseerd. We hebben de trainingspijplijn als code geïmplementeerd, zodat alle lessen in één versiebeheerde trainingsrecept landden.

Tussen Kolibri Origin en Kolibri is het volgende gebeurd:

• Tijdlijn: Kolibri Origin voltooide de pre-training op 11 juni; Kolibri voltooide deze op 11 september.
• Schaalvergroting: We gingen van 30B naar 78B parameters, van een contextvenster van 65k tokens naar 1M, en van 7,5T trainings-tokens naar 20T.
• Dataverwerking: Om tot die 20T te komen, verwerkte de pijplijn meer dan 200T tokens aan ruwe data via filtering, deduplicatie en curatie.
• Technische aanpassingen: We veranderden het attention-ontwerp, verdrievoudigden het aantal experts, verhoogden de sparsity, vervingen het routing-algoritme, verbeterden de post-training data, verdubbelden het aantal omgevingstaken en leerden het model redeneren op vier verschillende inspanningsniveaus.

Vergelijking: Kolibri Origin vs. Kolibri

Kenmerk	Kolibri Origin	Kolibri
Pre-training voltooid	11 juni 2026	11 september 2026
Release	Geen publieke release	3 oktober 2026
Redeneermodus	Ja (één modus)	Ja (geen, laag, medium, hoog)
Totale parameters	30.6B	78.1B
Actieve parameters / token	3.27B	3.46B
Pre-training tokens	7.51T	20T
Lagen	50 (2 dense + 48 MoE, 1 shared expert)	50 (alle MoE, 1 shared expert)
Pre-training contextlengte	8,192 (8k)	16,384 (16k)
Langste getrainde lengte	65,536 (64k)	262,144 (256k)
Tokenizer vocabulair	96,000	128,000
Model dimensie	2,048	2,560
Attention heads (query / KV)	32 / 4	48 / 4
Experts (totaal / actief)	128 / 8	384 / 6
Expert hidden dim	768	512
Attention patroon	full attention, alle lagen	sliding window (512) + full attention elke 5e laag
Knowledge cutoff	EN: 1 sept 2024, DE: 1 aug 2025	EN/DE: 18 juni 2026

Deze snelheid werd mogelijk gemaakt door een volledig geautomatiseerde, productierijpe infrastructuur. Elke voorgestelde codewijziging triggert een kleine end-to-end run via GitHub Actions. Training-checkpoints worden ongeveer elk uur opgeslagen en automatisch geëvalueerd op diverse metrieken (kennis, wiskunde, code, etc.). Tijdens de 21 dagen pre-training van Kolibri traden 38 ongeplande onderbrekingen op (hardwarefouten of time-outs), die door de pijplijn automatisch werden afgehandeld zonder menselijke tussenkomst.

Architectuur en pre-training

Kolibri heeft 78B totale parameters (~3B actief). De keuze voor 78B boven bijvoorbeeld 123B was gebaseerd op efficiëntie: een 123B model kan slechts 3 long-context queries (256k tokens) aan op twee H100's, terwijl een 78B model 18 gelijktijdige verzoeken aankan en 28% sneller decodeert. We gebruikten 384 kleinere experts in plaats van minder brede experts.

Voor de attention-mechanismen gebruikten we een efficiënt ontwerp: van de 50 lagen verwerken er slechts 10 de volledige context, terwijl de overige 40 een gefocust venster van 512 tokens gebruiken.

Training details:

• Hardware: 768 B200 GPU's.
• Fasen:

1. Pre-training: 20T tokens (16k sequence length, 21 dagen).
2. Mid-training: 3.44T tokens (64k length), gericht op redeneren, probleemoplossing en code.
3. Long-context adaptatie: 200B tokens (256k length).

• Data-mix: 21,3% Duits (~4.3T tokens), ~62% Engels en 14% code.
• Optimalisatie: Gebruik van Muon en exacte quantile balancing voor routing tussen experts, wat de load balance en modelkwaliteit verbetert.

Post-training op schaal

Post-training bestond uit twee fasen:

1. Supervised Fine-Tuning (SFT): Om basisredeneervermogens en chat-interactie aan te leren. Hiervoor werd een mix van 268B tokens gebruikt (waaronder 174B synthetische tokens).
2. Reinforcement Learning (RL): Training op meer dan 1,2 miljoen gecureerde taken over diverse domeinen (code, wiskunde, agentische taken, etc.).

In beide fasen hebben we het model geleerd te redeneren op verschillende inspanningsniveaus (geen, laag, medium, hoog). Hiermee kan de gebruiker bepalen hoeveel compute het model moet investeren in een oplossing, om zo een trade-off te maken tussen kosten/snelheid en antwoordkwaliteit.

Duitse pre-training data

Uit experimenten bleek dat ongeveer 20% Duitse data optimale resultaten geeft. Omdat open datasets onvoldoende waren (slechts 390B tokens na filtering), hebben we het gat op drie manieren gedicht:

1. Eigen curatie van Common Crawl: We bouwden een gespecialiseerde pijplijn voor het Duits, waarbij we filters aanpasten (bijv. het niet verwijderen van teksten met lange woorden, wat gebruikelijk is in Duitse administratieve taal). Dit leverde 1.3T tokens op.
2. Herformulering (Rephrasing): Een LLM herschreef organische Duitse documenten in verschillende stijlen (encyclopedie, Q&A), waardoor de informatie in schaarse data werd vermenigvuldigd zonder de culturele context te verliezen. Dit leverde ongeveer 1T tokens op.
3. Vertaling: Dit werd alleen gebruikt bij Kolibri Origin. We concludeerden dat vertalingen vaak "translationese" vertonen en de Amerikaanse culturele context overnemen, wat ongewenst is voor een native Duits model.

Uiteindelijk bestond de Duitse pool uit 2.4T unieke tokens (80% door ons gecureerd/gegenereerd, 20% open datasets).

Gespecialiseerde tokenizers voor Engels-Duits

We hebben een tweetalige tokenizer gebouwd met de nieuwe methode UniBPE, die beter rekening houdt met de morfologie van talen, specifiek de samengestelde woorden in het Duits. Dit resulteert in een betere compressie van de Duitse taal vergeleken met andere state-of-the-art modellen, wat leidt tot efficiëntere inference en lagere kosten.

Grounding: hallucinaties verminderen

Veel LLM's zijn getraind om te gokken omdat onthouding (abstention) vaak niet wordt beloond. Voor gereguleerde klanten is een model dat weet wanneer het "Ik weet het niet" moet zeggen echter essentieel.

We gebruiken hiervoor het Merlin-Arthur-protocol:

• Arthur: Het model dat we trainen.
• Merlin: Genereert contexten die de kans op een correct antwoord vergroten.
• Morgana: Verwijdert relevante bewijzen uit documenten om Arthur te lokken in een hallucinatie.

Door dit "spel" leert Arthur zeer zorgvuldig de context te lezen en alleen te antwoorden als de informatie daadwerkelijk aanwezig is.

Resultaten: Kolibri hallucineert aanzienlijk minder dan Kolibri Origin. Het onthoudt in 44% van de AA-Omniscience items in plaats van een foutief antwoord te geven (Origin: 15%).

Gecontextualiseerde prestaties

Om te meten hoe goed het model omgaat met unieke workflows van specifieke industrieën, hebben we domeinspecifieke evaluatiesuites gebouwd. Hiermee kunnen we agentische RAG-capaciteiten en domeinspecifieke logica verbeteren zonder op klantdata te trainen.

Benchmarks voor Agentisch RAG:

• Op de Honeypot benchmark presteert Kolibri beter dan alle vergeleken modellen, inclusief Nemotron 3 Super en Mistral Small 4.
• Op een geschoonde versie van MuSiQue is Kolibri slechts tweede, vlak achter Nemotron 3 Super.
• In vijf specifieke klantapplicaties (halfgeleiders, publieke sector, luchtvaart, automotive, industriële aandrijftechniek) is Kolibri in vier van de vijf gevallen leidend of gelijk aan het beste model.

Technische Benchmarks (Overzicht)

Benchmarks zijn uitgevoerd met eigen harnesses; waar mogelijk is het hoogste redeneerniveau gebruikt.

Type	MoE	MoE	MoE	Dense
Actieve parameters	3B	4–6B	12B	27B · 70B
Model	Kolibri	Mistral Small 4	Nemotron 3 Super	Apertus 70B
Overall (EN)	75.5	63.1	64.4	–
Overall (DE)	70.8	61.4	64.8	–
Knowledge Avg (EN)	50.1	47.5	45.7	–
Knowledge Avg (DE)	57.6	51.4	52.2	–
Math Avg (EN)	96.5	81.4	82.8	–
Math Avg (DE)	88.8	75.4	80.6	–
Agentic Avg (EN)	63.4	40.7	53.5	–
Code Avg (EN)	89.3	82.0	79.8	–
Instruction Following (EN)	78.1	49.8	38.2	–

(Opmerking: Bovenstaande tabel is een samenvatting van de uitgebreide dataset in de brontekst).

Aan de slag

Ons model is openbaar beschikbaar op Hugging Face onder een Apache 2.0-licentie.

Kolibri vereist het aleph-alpha-inference pakket dat de Kolibri vLLM-plugin levert. U kunt het container-image ghcr.io/aleph-alpha/aleph-alpha-inference gebruiken, of het pakket installeren via:

pip install "aleph-alpha-inference>=1.0"

Het model serveren met reasoning en tool-calling ingeschakeld:

vllm serve Aleph-Alpha/Kolibri-1 --kv-cache-dtype fp8 \
--reasoning-parser kolibri1 \
--tool-call-parser kolibri1 \
--enable-auto-tool-choice

Om contexten boven de 262.144 tokens te serveren, voeg dan --max-model-len 1048576 --hf-overrides '{"maxpositionembeddings": 1048576}' toe. De aanbevolen sampling-parameters zijn temperature=1.0, topp=0.97 en topk=128.