OpenAI heeft de 'Jalapeño' onthuld, een nieuwe AI-accelerator-chip die aanzienlijk lagere latentie en een lager energieverbruik biedt dan de Nvidia GB300. Het meest opvallende is de snelheid van het ontwikkelproces: het duurde minder dan 20 maanden om van concept naar het eerste silicium te gaan.
Deze versnelling is mogelijk gemaakt door de inzet van eigen Large Language Models (zoals o3 en voorlopers van GPT-6 Astra) en specifiek gefinetunede interne modellen. Door gebruik te maken van de Accelerated Hardware Synthesis (XLS) workflow konden engineers sneller itereren in talen als DSLX en C++. Daarnaast hielp AI bij het optimaliseren van software-benchmarks en het fysiek reduceren van het oppervlak van matrix-multiplicatie-units met 10%.
Het project werd geleid door een klein team van minder dan 100 personen, in samenwerking met Broadcom voor de fysieke implementatie en productie. OpenAI streeft ernaar om AI in toekomstige generaties nog dieper te integreren in de verificatie- en debugging-fasen van het chipontwerp.
Hoe OpenAI eigen LLM's gebruikte voor het ontwerp van de Jalapeño-chip
Door Matthew S. Smith 14 september 2026
Op 25 augustus onthulde OpenAI de Jalapeño, de eerste AI-accelerator-chip van het bedrijf. De Jalapeño levert tot 13,4 petaflops aan 4-bit compute en heeft toegang tot 232 gigabytes van het meest geavanceerde beschikbare geheugen, met een verbindingssnelheid van 15,4 terabytes per seconde. Benchmarks van OpenAI tonen aan dat de Jalapeño de end-to-end latentie (de tijd tussen de prompt en het laatste token) met wel 3,6 keer kan verminderen in vergelijking met de Nvidia GB300—een chip waar het bedrijf momenteel op vertrouwt—terwijl er minder stroom wordt verbruikt.
Hoewel nog moet blijken of deze cijfers zich vertalen naar winst in de praktijk zodra de Jalapeño op grote schaal wordt ingezet in de inference-vloot van OpenAI, is de prestatie slechts het halve verhaal. Het andere deel is hoe de chip is ontworpen; een proces dat, zoals verwacht, is versneld door de Large Language Models (LLM's) van OpenAI. De Jalapeño ging in minder dan 20 maanden van het eerste architectuurconcept naar het eerste silicium. Er zat slechts negen maanden tussen de eerste RTL (de register-transfer level code die de logica van de chip definieert) en de tape-out, het moment waarop het definitieve ontwerp naar de productie gaat.
Experts geloven dat dit snelle tijdspad al snel als traag zal worden beschouwd naarmate LLM's verbeteren en dieper worden geïntegreerd in chip-ontwerptools. Richard Ho, vicepresident van hardware bij OpenAI, is optimistisch over de mogelijkheden: "De modellen geven onze engineers superkrachten. Onze engineers sturen het werk nog steeds aan en zijn de uiteindelijke beslissers, maar ze kunnen dingen veel sneller doen en veel meer paden verkennen."
Ontwikkeling door een klein ontwerpteam
Ho geeft aan dat de groep die de Jalapeño heeft ontworpen gedurende het project gemiddeld uit minder dan 100 personen bestond. Dit aantal blijft ook nu rond de 100 liggen, terwijl het team werkt aan ontwerpen voor de tweede en derde generatie. Dit aantal omvat diverse rollen binnen het hardwareteam, van systeemontwerp tot software en supply chain, maar exclusief de medewerkers van Broadcom, die als partner aan het project hebben deelgenomen.
De taakverdeling tussen OpenAI en Broadcom was over het algemeen gesplitst tussen ontwerp en implementatie:
- OpenAI: Verantwoordelijk voor het end-to-end systeemontwerp, inclusief de inference-accelerator, de geheugenhiërarchie en netwerking.
- Broadcom: Verantwoordelijk voor het fysieke ontwerp vanaf de poorten (gates) tot aan de productie.
Sommige experts nuanceren de snelheid van OpenAI. David Chin, medeoprichter van de startup Verkor.io, stelt dat het schema geloofwaardig is, maar dat de hulp van Broadcom essentieel was. Volgens Chin zou het onmogelijk zijn geweest als iemand vanaf nul zou moeten beginnen. Ravi Krishna, eveneens medeopर्नर van Verkor, noemt het resultaat "relatief indrukwekkend", maar verwacht dat verbeterde LLM-capaciteiten tot nog snellere tijdlijnen zouden leiden als het project vandaag zou starten.
Andrew Kahng, hoogleraar aan de University of California, San Diego, vindt de snelheid van OpenAI opmerkelijk en stelt dat het waarschijnlijk "best-in-class" is op dit moment.
Hoe LLM's het ontwerp van de Jalapeño versnelden
Automatisering bestaat al decennia in chipontwerp, maar LLM's verschillen van eerdere tools door hun vermogen om taal en code te begrijpen. Volgens Ankur Srivastava, directeur van het semiconductor initiative aan de University of Maryland, maakt dit ze bijzonder geschikt voor taken die zich nog in het "linguïstische domein van het probleem" bevinden.
OpenAI ontwierp een workflow die gebruikmaakt van deze kracht. De front-end workflow was gebouwd rond Accelerated Hardware Synthesis (XLS), een open-source high-level synthesis chain van tools, oorspronkelijk ontwikkeld bij Google. High-level synthesis is een vorm van automatisering waarbij engineers een chip kunnen ontwerpen in een vertrouwde programmeeromgeving. In het geval van XLS kunnen ontwerpers schrijven in talen zoals DSLX (een domeinspecifieke taal geïnspireerd door Rust) en C++. XLS zet deze vervolgens om naar Verilog, een hardwarebeschrijvende taal.
Chris Leary, member of technical staff bij OpenAI, legt uit: "We dachten na over hoe we AI konden inzetten om het project te versnellen, en de AI was veel beter in zaken die op software lijken. XLS lijkt in zekere zin op software, dus profiteerde het daarvan."
Software-optimalisatie en benchmarks
Dezelfde logica leidde het team ertoe zich te richten op software-optimalisatie. Toen de eerste chips in mei uit de fabriek kwamen, werden interne AI-modellen ingezet om software te ontwerpen voor benchmarks zoals de InferenceX van SemiAnalysis.
Bij de multi-head latent attention kernel benchmark van DeepSeek steeg de prestatie in ongeveer 40 uur van 0,31 procent naar 88,94 procent van het theoretische maximum (bepaald door de compute- en geheugenbandbreedte van de chip). Ho stelt dat dit resultaat reproduceerbaar is, waardoor de tijd tussen de levering van de eerste chips en de opschaling van de productie kan worden verkort.
Gebruikte modellen
Het project begon met ondersteuning van modellen zoals OpenAI's o3 (publiekelijk uitgebracht in april 2025, maar eerder beschikbaar voor het team). Tegen het einde van het project had het team toegang tot voorlopers van GPT-6 Astra (publiek uitgebracht op 3 september 2026).
De nieuwere modellen bieden belangrijke verbeteringen:
- Ze kunnen direct in Verilog werken zonder de vertaling van XLS.
- Ze zijn bijna in staat om eigen proprietary designtools zelfstandig te bedienen.
Ho bevestigde daarnaast dat het team toegang had tot interne LLM's die specifiek zijn gefinetuned voor chipontwerp. Hoewel deze niet publiekelijk beschikbaar zijn, is het doel om de lessen uit dit project te integreren in de commerciële LLM's van OpenAI.
Backend-optimalisatie en fysiek ontwerp
Het grootste deel van het werk van OpenAI richtte zich op de "front end" (concept, RTL-code en verificatie). Het "backend" ontwerp—waaronder het routeren van interconnects, het voltooien van klok- en stroomspecificaties en de communicatie met de fabriek—werd overgelaten aan Broadcom.
Toch was de workflow van OpenAI niet volledig losgekoppeld van de backend. Fysieke ontwerpingenieurs van OpenAI werkten samen met Broadcom aan de floorplan en routing. Tijdens IEEE Hot Chips 2026 presenteerden Ho en Leary resultaten van AI-gestuurde fysieke ontwerpoptimalisatie, waaronder een area-reductie van 10 procent voor de matrix-multiplicatie-units ten opzichte van een geoptimaliseerde menselijke baseline.
Ravi Krishna van Verkor merkt op dat de aanpak van OpenAI voor backend-design nog conservatief aanvoelt, wat waarschijnlijk komt doordat het project in oktober 2024 startte. Hij stelt dat modellen vanaf april 2026 deze taken veel beter kunnen afhandelen en dat een "agentic loop" het backend-proces aanzienlijk zou kunnen versnellen.
Toekomstvisie en beperkingen
Voor de tweede generatie chips plant OpenAI AI nog dieper te integreren. Ho en Leary noemen specifiek:
- Meer inzet van AI bij verificatie en fysiek ontwerp.
- Tools voor automatische waveform-manipulatie en weergave, wat het debuggen van hardware tijdens het ontwerpproces verbetert.
Ondanks deze vooruitgang benadrukken Ho en Leary dat chipontwerp niet volledig geautomatiseerd kan worden. "We zeggen niet dat iedereen zomaar state-of-the-art AI/ML accelerator-chips kan bouwen met enkel Codex," legt Ho uit. "We zeggen dat we specifiek kijken naar hoe we beter kunnen worden in het gebruik van Codex, en hoe we met een klein team en snelle tijdlijnen tot kwalitatieve resultaten komen."
Hoe OpenAI eigen LLM's gebruikte voor het ontwerp van de Jalapeño-chip
Door Matthew S. Smith 14 september 2026
Op 25 augustus onthulde OpenAI de Jalapeño, de eerste AI-accelerator-chip van het bedrijf. De Jalapeño levert tot 13,4 petaflops aan 4-bit compute en heeft toegang tot 232 gigabytes van het meest geavanceerde beschikbare geheugen, met een verbindingssnelheid van 15,4 terabytes per seconde. Benchmarks van OpenAI tonen aan dat de Jalapeño de end-to-end latentie (de tijd tussen de prompt en het laatste token) met wel 3,6 keer kan verminderen in vergelijking met de Nvidia GB300—een chip waar het bedrijf momenteel op vertrouwt—terwijl er minder stroom wordt verbruikt.
Hoewel nog moet blijken of deze cijfers zich vertalen naar winst in de praktijk zodra de Jalapeño op grote schaal wordt ingezet in de inference-vloot van OpenAI, is de prestatie slechts het halve verhaal. Het andere deel is hoe de chip is ontworpen; een proces dat, zoals verwacht, is versneld door de Large Language Models (LLM's) van OpenAI. De Jalapeño ging in minder dan 20 maanden van het eerste architectuurconcept naar het eerste silicium. Er zat slechts negen maanden tussen de eerste RTL (de register-transfer level code die de logica van de chip definieert) en de tape-out, het moment waarop het definitieve ontwerp naar de productie gaat.
Experts geloven dat dit snelle tijdspad al snel als traag zal worden beschouwd naarmate LLM's verbeteren en dieper worden geïntegreerd in chip-ontwerptools. Richard Ho, vicepresident van hardware bij OpenAI, is optimistisch over de mogelijkheden: "De modellen geven onze engineers superkrachten. Onze engineers sturen het werk nog steeds aan en zijn de uiteindelijke beslissers, maar ze kunnen dingen veel sneller doen en veel meer paden verkennen."
Ontwikkeling door een klein ontwerpteam
Ho geeft aan dat de groep die de Jalapeño heeft ontworpen gedurende het project gemiddeld uit minder dan 100 personen bestond. Dit aantal blijft ook nu rond de 100 liggen, terwijl het team werkt aan ontwerpen voor de tweede en derde generatie. Dit aantal omvat diverse rollen binnen het hardwareteam, van systeemontwerp tot software en supply chain, maar exclusief de medewerkers van Broadcom, die als partner aan het project hebben deelgenomen.
De taakverdeling tussen OpenAI en Broadcom was over het algemeen gesplitst tussen ontwerp en implementatie:
- OpenAI: Verantwoordelijk voor het end-to-end systeemontwerp, inclusief de inference-accelerator, de geheugenhiërarchie en netwerking.
- Broadcom: Verantwoordelijk voor het fysieke ontwerp vanaf de poorten (gates) tot aan de productie.
Sommige experts nuanceren de snelheid van OpenAI. David Chin, medeoprichter van de startup Verkor.io, stelt dat het schema geloofwaardig is, maar dat de hulp van Broadcom essentieel was. Volgens Chin zou het onmogelijk zijn geweest als iemand vanaf nul zou moeten beginnen. Ravi Krishna, eveneens medeopर्नर van Verkor, noemt het resultaat "relatief indrukwekkend", maar verwacht dat verbeterde LLM-capaciteiten tot nog snellere tijdlijnen zouden leiden als het project vandaag zou starten.
Andrew Kahng, hoogleraar aan de University of California, San Diego, vindt de snelheid van OpenAI opmerkelijk en stelt dat het waarschijnlijk "best-in-class" is op dit moment.
Hoe LLM's het ontwerp van de Jalapeño versnelden
Automatisering bestaat al decennia in chipontwerp, maar LLM's verschillen van eerdere tools door hun vermogen om taal en code te begrijpen. Volgens Ankur Srivastava, directeur van het semiconductor initiative aan de University of Maryland, maakt dit ze bijzonder geschikt voor taken die zich nog in het "linguïstische domein van het probleem" bevinden.
OpenAI ontwierp een workflow die gebruikmaakt van deze kracht. De front-end workflow was gebouwd rond Accelerated Hardware Synthesis (XLS), een open-source high-level synthesis chain van tools, oorspronkelijk ontwikkeld bij Google. High-level synthesis is een vorm van automatisering waarbij engineers een chip kunnen ontwerpen in een vertrouwde programmeeromgeving. In het geval van XLS kunnen ontwerpers schrijven in talen zoals DSLX (een domeinspecifieke taal geïnspireerd door Rust) en C++. XLS zet deze vervolgens om naar Verilog, een hardwarebeschrijvende taal.
Chris Leary, member of technical staff bij OpenAI, legt uit: "We dachten na over hoe we AI konden inzetten om het project te versnellen, en de AI was veel beter in zaken die op software lijken. XLS lijkt in zekere zin op software, dus profiteerde het daarvan."
Software-optimalisatie en benchmarks
Dezelfde logica leidde het team ertoe zich te richten op software-optimalisatie. Toen de eerste chips in mei uit de fabriek kwamen, werden interne AI-modellen ingezet om software te ontwerpen voor benchmarks zoals de InferenceX van SemiAnalysis.
Bij de multi-head latent attention kernel benchmark van DeepSeek steeg de prestatie in ongeveer 40 uur van 0,31 procent naar 88,94 procent van het theoretische maximum (bepaald door de compute- en geheugenbandbreedte van de chip). Ho stelt dat dit resultaat reproduceerbaar is, waardoor de tijd tussen de levering van de eerste chips en de opschaling van de productie kan worden verkort.
Gebruikte modellen
Het project begon met ondersteuning van modellen zoals OpenAI's o3 (publiekelijk uitgebracht in april 2025, maar eerder beschikbaar voor het team). Tegen het einde van het project had het team toegang tot voorlopers van GPT-6 Astra (publiek uitgebracht op 3 september 2026).
De nieuwere modellen bieden belangrijke verbeteringen:
- Ze kunnen direct in Verilog werken zonder de vertaling van XLS.
- Ze zijn bijna in staat om eigen proprietary designtools zelfstandig te bedienen.
Ho bevestigde daarnaast dat het team toegang had tot interne LLM's die specifiek zijn gefinetuned voor chipontwerp. Hoewel deze niet publiekelijk beschikbaar zijn, is het doel om de lessen uit dit project te integreren in de commerciële LLM's van OpenAI.
Backend-optimalisatie en fysiek ontwerp
Het grootste deel van het werk van OpenAI richtte zich op de "front end" (concept, RTL-code en verificatie). Het "backend" ontwerp—waaronder het routeren van interconnects, het voltooien van klok- en stroomspecificaties en de communicatie met de fabriek—werd overgelaten aan Broadcom.
Toch was de workflow van OpenAI niet volledig losgekoppeld van de backend. Fysieke ontwerpingenieurs van OpenAI werkten samen met Broadcom aan de floorplan en routing. Tijdens IEEE Hot Chips 2026 presenteerden Ho en Leary resultaten van AI-gestuurde fysieke ontwerpoptimalisatie, waaronder een area-reductie van 10 procent voor de matrix-multiplicatie-units ten opzichte van een geoptimaliseerde menselijke baseline.
Ravi Krishna van Verkor merkt op dat de aanpak van OpenAI voor backend-design nog conservatief aanvoelt, wat waarschijnlijk komt doordat het project in oktober 2024 startte. Hij stelt dat modellen vanaf april 2026 deze taken veel beter kunnen afhandelen en dat een "agentic loop" het backend-proces aanzienlijk zou kunnen versnellen.
Toekomstvisie en beperkingen
Voor de tweede generatie chips plant OpenAI AI nog dieper te integreren. Ho en Leary noemen specifiek:
- Meer inzet van AI bij verificatie en fysiek ontwerp.
- Tools voor automatische waveform-manipulatie en weergave, wat het debuggen van hardware tijdens het ontwerpproces verbetert.
Ondanks deze vooruitgang benadrukken Ho en Leary dat chipontwerp niet volledig geautomatiseerd kan worden. "We zeggen niet dat iedereen zomaar state-of-the-art AI/ML accelerator-chips kan bouwen met enkel Codex," legt Ho uit. "We zeggen dat we specifiek kijken naar hoe we beter kunnen worden in het gebruik van Codex, en hoe we met een klein team en snelle tijdlijnen tot kwalitatieve resultaten komen."
Groetjes,