dlab Open Source Week: Frontier AI op je eigen hardware — Tim Dettmers

Een ander verhaal komt via e-mail. PhD-studenten die niet kunnen wachten tot ze kunnen afstuderen omdat ze zich willen aansluiten bij een frontier lab en tot de conclusie zijn gekomen dat onderzoek in de academische wereld zinloos is. Ze tellen de jaren af tot ze kunnen vertrekken.

Ik geloof dat beide verhalen onjuist zijn, en wel om dezelfde reden. Ze gaan ervan uit dat de toekomst van onderzoek toebehoort aan degene met de meeste GPU's. Ik denk dat het tegenovergestelde waar is. De academische wereld staat waarschijnlijk aan de vooravond van een renaissance, en het meest spannende werk van het volgende decennium zal plaatsvinden in universiteitslaboratoria — niet ondanks hun beperkte middelen, maar juist dankzij die beperkingen.

Deze week is ons argument voor die bewering, en we brengen dit argument in code in plaats van in proza.

Dit artikel bestaat uit zes delen: waarom een lab als het onze nu ecosystemen publiceert in plaats van papers; wat er precies in deze open-source week zit; waarom het pessimisme waar ik tegenaan loop onterecht is; wat je moet loslaten en wat je moet behouden; hoe onderzoek eruit zal zien zodra je dat hebt losgelaten; en waarom de renaissance in de academische wereld plaatsvindt.

De eenheid van onderzoek is niet langer het artikel

Er is het afgelopen jaar iets veranderd, maar de meesten van ons hebben hun gewoonten daar nog niet op aangepast.

Door de komst van agents is onderzoek per project eenvoudig en snel geworden. Werk waar vroeger een jaar aan engineering en experimenten nodig was, neemt nu weken, soms zelfs dagen in beslag. Het deel dat ik minder snel inzag, was dit: wanneer elk individueel project eenvoudig wordt, houdt gefragmenteerd werk op goed onderzoek te zijn. Hier een paper, daar een paper, elk een op zichzelf staand geheel waarbij de lezer zelf de stukjes moet samenvoegen — dat is een formaat uit een wereld waarin elk onderdeel duur was.

De moeilijkheidsgraad is niet verdwenen; deze is verschoven. Het is niet langer moeilijk om een paper te publiceren. Het is moeilijk om een coherent ecosysteem te publiceren.

De eenheid van onderzoek is het ecosysteem.

Dat is waar de Open Source Week voor dient. Toen mijn studenten en ik begonnen, stelden we ons tot doel componenten te bouwen die op elkaar voortbouwen in plaats van enkel naast elkaar te bestaan, zodat elk onderdeel het volgende nuttiger maakt. Mijn lab en ik geloven in het gebruik van onze academische vrijheid om de beste AI-tools gratis beschikbaar te stellen voor iedereen. Dit is iets wat uniek is voor universiteiten.

Concreet betekende dit het bouwen van open systemen, het goedkoper maken van het lokaal draaien van modellen, het sterker maken van lokale modellen, het bouwen van lokale systemen die de prestaties van frontier labs repliceren in diepgaand en autonoom onderzoek, en het creëren van nieuwe methoden voor het bouwen van domeinspecifieke reinforcement learning-omgevingen.

Dit alles bevindt zich op het snijvlak van drie zaken: inference-serving frameworks, agent harnesses en werk, en de combinatie van die twee tot autonome researchesystemen. En het moet allemaal eenvoudig in gebruik zijn, want open source die alleen door ervaren onderzoekers kan worden gedraaid, is geen echte open source. Toegankelijkheid bestaat uit twee delen — de benodigde middelen en de benodigde expertise — en slechts één daarvan wordt bepaald door hardware. Een paar GPU's, of een MacBook, kan voldoende zijn. De expertise-vereiste is een ontwerpprobleem, en je lost dat op door elk technisch detail dat de gebruiker niet hoeft te overwegen, te abstraheren. Dat is waar het grootste deel van onze inspanningen naartoe ging, en dat is het meest zichtbaar in de agent harness.

Open Source Week

Ik zal nog niet alles weggeven voordat de open-source week begint, maar dit is wat ik nu kan vertellen. Als je mij vraagt wat een klein lab vandaag de dag kan doen, tonen we je drie dingen: frontier autonoom onderzoek, de meest efficiënte test-time scaling die ik ken, en auto-compaction die veel efficiënter is dan wat Claude Code of Codex implementeren.

De Harness

Begin met de harness, want dat is wat alles overig bruikbaar maakt. Je hebt waarschijnlijk gehoord over agentsessies die uren, dagen of zelfs weken duren. Voor de meeste mensen is het een mysterie hoe dat wordt bereikt. Je richt onze harness op een repository — bijvoorbeeld een inference framework met CUDA-kernels — en je instrueert het om de kernels te optimaliseren. Daarna laat je het los. Het systeem blijft ze verbeteren, ook tijdens de fasen waarin de progressie traag is en het werk frustrerend, totdat je terugkomt. Er wordt onderweg geen feedback gegeven, dus de agent moet het zelf uitzoeken wanneer zaken onduidelijk of onzeker zijn.

Dat is wat we hebben gedaan met de Mac- en Metal-implementaties van ons inference framework. Eén commando zette de agent los op de kernels. Het resultaat was quantized inference van een Qwen 3.6 35B-A3B model op 450 tokens per seconde, met hoogwaardige output bij 1,5 bits per gewicht. Waar een half-precision model zestien bits per gewicht nodig heeft, draait hetzelfde model bij 1,5 bits in ongeveer een tiende van het geheugen en snel genoeg om aan te voelen als een lokaal proces in plaats van een externe service.

Lokale Hardware en Modellen

Wat gebeurt er wanneer modellen die voorheen onbereikbaar waren, passen op de hardware die je al bezit? Qwen 3.8 met 27 miljard parameters is een populair lokaal model. Ons framework stelt je in staat om de grotere variant, Qwen 3.8 Flash Next met 125 miljard parameters, te draaien op één enkele 24 GB GPU — de kaart in een normale desktopmachine. Met AMD Strix, een NVIDIA DGX Spark, of een MacBook met 128 GB geheugen kun je DeepSeek V4.1 draaien — een 550B model. Ook contextlengte hoef je niet handmatig te beheren: compressie en contextbehandeling gaan automatisch, waardoor de inference snel blijft, zelfs bij lange contexten.

Autonoom Onderzoek

Het meest spannende deel is de combinatie van deze elementen voor autonoom onderzoek. We hebben een nieuwe techniek voor informatie-extractie (information retrieval) gebouwd met een precisie die ik nog niet eerder heb gezien. Het systeem verslaat deep research systemen van frontier labs en produceert betere autonome onderzoeksresultaten dan het systeem van Sakana AI of Google's ScientistOne. Het draait volledig lokaal, zonder enige internettoegang.

Een voorbeeld van een experiment: ik vroeg de agent om een probleem te vinden in het domein van de bio-informatica (omdat ik daar zelf weinig van weet) dat de moeite waard was om aan te werken. De criteria waren specifiek: de progressie moest snel zijn, de evaluatie moest goedkoop genoeg zijn om op onze huidige hardware te draaien, en het moest een actueel probleem zijn met onderzoek uit de laatste vier weken.

De agent kwam met drie problemen. We kozen het eerste, en binnen ongeveer twee uur had het:

• Een nieuwe ondergrens vastgesteld voor heuristische methoden;
• De beste heuristische methode uit de literatuur ontwikkeld en getest;
• De kloof verkleind tot dure methoden die met AI-modellen zijn getraind;
• Problemen gevonden in de databronnen die door het hele vakgebied worden gebruikt voor evaluatie.

Hoewel we niet de absolute state-of-the-art bereikten voor het totale probleem, produceerde twee uur werk op een machine in mijn lab vier resultaten, waarvan één de evaluatiedata in vraag stelt waar het hele vakgebied van afhankelijk is.

Dit systeem is geen demo voor blogposts; mijn studenten gebruiken het dagelijks. In een collaboratieve setting gebruikte ik het na het opnemen van een vergadering: het genereerde onderzoeksvragen uit de opname, evalueerde de besproken ideeën aan de hand van de literatuur en scheidde veelbelovende richtingen van onbelovende. Toen ik tijdelijk stopte met het gebruik ervan, vroegen de studenten erom omdat ze het zo nuttig vonden om hun onderzoek te structureren.

CliffCompaction en Test-Time Scaling

Het laatste onderdeel is een auto-compaction techniek genaamd CliffCompaction. Het is aanzienlijk krachtiger dan de auto-compaction in Claude Code of Codex. Sessies kunnen miljoenen tokens duren, en sommige van mijn sessies zijn over de honderd miljoen gegaan. Bovendien verlaagt het de totale kosten met ongeveer vijftig procent. Een partner die dit implementeerde, zag een reductie van 45% in hun totale AI-budget. Op KernelBench behaalt het state-of-the-art resultaten en verslaat het complexere AlphaEvolve-stijl benaderingen en hiërarchische geheugensystemen met een ruime marge.

Dit verschuift de balans tussen kosten en capaciteit: sessies duren langer en de rekening wordt lager. De agent stopt met het vergeten van wat hij deed, en jij stopt met betalen voor dat vergeten.

Dit leidt tot test-time scaling. Omdat auto-compaction de kosten halveert, kun je die besparing herinvesteren: in plaats van één rollout, koop je er meerdere met hetzelfde budget. We hebben de eerste praktische methode gevonden die meerdere rollouts omzet in significante verbeteringen bij dezelfde kosten. In combinatie met lokale implementaties geloven we dat dit leidt tot een toekomst waarin iedereen vele parallelle agents op één enkel probleem kan inzetten.

Waarom het pessimisme onterecht is

Waarom zijn 120 van die 150 studenten dan bang? Er gebeuren drie dingen tegelijk, waarvan er slechts één over AI gaat. Ten eerste het geloof dat AI ieders baan zal overnemen. Ten tweede een gebrekkig begrip van wat AI doet met werk. Ten derde besmetting: zelfdestructieve ideeën verspreiden zich van persoon tot persoon.

Laten we kijken naar wat AI echt met werk doet. Neem software engineers. De voorspelling was dat zij als eerste hun baan zouden verliezen, maar de trend is omgekeerd: de vraag is hoger dan ooit. Een software engineer met goede agents produceert nieuwe producten en onderhoudt systemen veel efficiënter. Wat de baan vereist is veranderd: er is behoefte aan sterke agent skills en vaak aan diepere specialisatie. Beide zijn nu makkelijker bereikbaar; agent skills komen met tijd, en diepe specialisatie wordt versneld door agents.

We leven in een economie van incrementele verbeteringen. Vooruitgang komt in twee vormen: verbetering en capaciteit.

• Verbetering maakt wat je al hebt iets beter. Een economie die alleen dit produceert, heeft een plafond.
• Capaciteit geeft je iets wat je helemaal niet had.

Zelfrijdende auto's zijn een voorbeeld. In een rasterstructuur met braaf verkeer (zoals delen van de VS) zal dit veel sneller werken dan in Europa of Azië, en het zal de manier waarop we leven fundamenteel veranderen. Robots in huishoudens zullen werk vrijmaken, net zoals de wasmachine dat deed. Het gaat niet om het vrijmaken van het werk, maar om het leven dat je daarna kunt leiden.

Wat betreft de kritiek dat AI-producten slechter worden: veel AI-functies (zoals die van Microsoft) voelen aan als "opgeplakte" AI, wat de gebruikerservaring verpest. Maar een goed ontworpen AI-ervaring verandert hoe je interacteert en werkt. ChatGPT is daar het belangrijkste voorbeeld van. De manier waarop we kennis produceren en consumeren zal permanent veranderen. Dat brengt onrust en complexiteit met zich mee, maar onrust is niet waar het verhaal eindigt. Vraag naar nieuwe ervaringen drijft omzet, omzet drijft aannames, en aannames zijn wat mensen bedoelen met baanzekerheid.

Laat los hoe je werkt, niet wie je bent

De komende verschuiving zal voor velen schokkend of teleurstellend zijn, maar dat hoeft niet. Het meest nuttige wat je nu kunt doen is loslaten. Laat los hoe je dingen deed. Laat de volgorde los die je is geleerd: eerst de basis, dan de algemene werkwijze, en pas als laatste de problemen. Laat het idee los dat je waarde zit in wat je al hebt geleerd, want de tools die je leert worden herschreven terwijl je ze gebruikt.

Het loslaten van hoe je dingen doet is niet hetzelfde als het loslaten van wie je bent. Je identiteit moet vaststaan; wat je doet is onderhandelbaar. Technologie raakt je persoonlijkheid niet. Zodra je stevig staat in wie je bent, wordt alles wat je doet flexibel, wat je in staat stelt je snel aan te passen.

Wat betekent dit in de praktijk?

• Voor academici: Laat de paper los als enige eenheid van prestatie. Als het ecosysteem de eenheid van onderzoek is, moet het bouwen van iets waar anderen op voort kunnen bouwen meer tellen dan de volgende incrementele publicatie.
• Voor studenten: Laat het idee los dat je eerst vaardigheden en basiskennis verwerft en dan pas problemen oplost. De volgorde draait om. In een meester-gezel model (apprenticeship) lees je geen tekstboek om later een probleem op te lossen. Je pakt het probleem aan en bouwt begrip en intuïtie op terwijl je bezig bent.

Harde problemen zullen vaker voorkomen dan ooit, niet omdat de wereld moeilijker wordt, maar omdat alles wat niet hard is, wordt geautomatiseerd. De vaardigheid die er nu toe doet, is degene die een PhD leert en bijna niets anders: volhouden bij een probleem dat niet direct toegeeft.

Hoe ziet onderzoek eruit en hoe train je daarvoor?

Als agents onderzoek zo sterk veranderen, hoe moeten we studenten dan trainen? Na een jaar experimenteren zijn er specifieke manieren naar voren gekomen voor PhD-studenten:

1. Focus op het ecosysteem als eenheid van werk.
2. Werk aan veel projecten parallel.
3. Omarm de methode van het eerst aanvallen van een probleem en het begrijpen terwijl je bezig bent.

Ik ontwerp momenteel een korte cursus bij CMU en een volledige cursus voor volgend semester, met als doel dit op YouTube te plaatsen zodat iedereen deze agent skills kan ontwikkelen. Met de juiste vaardigheden ziet de toekomst er niet beangstigend, maar opwindend uit.

De renaissance vindt plaats in de academische wereld

Waar moet je dit werk doen? In een universiteitslab, en eerder dan je denkt.

Agents stellen je in staat om problemen aan te pakken waar je geen enorme middelen voor nodig hebt, maar waar de impact enorm kan zijn. Die ruimte — problemen die goedkoop zijn om aan te vallen maar waardevol om op te lossen — is gigantisch en wordt nauwelijks betreden, omdat iedereen met veel middelen concurreert op schaal (duizenden GPU's). Een klein lab heeft in plaats daarvan creativiteit, tijd en de vrijheid om aan problemen te werken waar frontier labs niet aan kunnen werken. Dat is een ander soort voordeel.

De Open Source Week is onze poging om te laten zien wat mogelijk is. We zijn een klein lab met een paar GPU's. We brengen twee open-source projecten en vier papers uit als één pakket, waarbij elk onderdeel de andere nuttiger maakt.

Als dit werkt, wordt onderzoek toegankelijk op een niveau dat nooit eerder heeft bestaan. Het bewijst dat een paar mensen met een paar GPU's systemen kunnen bouwen die kunnen concurreren met de frontier. De renaissance vereist geen toestemming van iemand anders. Je kunt het gewoon doen.

De volgende keer dat ik 150 studenten vraag wie er bang is voor hun toekomst, hoop ik dat er minder handen omhoog gaan. Het werk is er. De toekomst in de academische wereld is zeer helder.