Het artikel begint met een persoonlijke anekdote uit 2020, waarin de auteur een ernstig beveiligingslek ontdekte in het Braziliaanse federale systeem, wat toegang gaf tot gevoelige data van ruim 200 miljoen mensen.
De auteur trekt een parallel tussen deze menselijke ontdekking en de huidige versnelling van Machine Learning (ML) en Reinforcement Learning (RL). Hij stelt dat moderne AI-agents in staat zijn om dergelijke kwetsbaarheden op enorme schaal en snelheid te vinden door middel van geautomatiseerde 'self-improvement loops'.
De kernzorgen van de auteur zijn:
- Automatisering van exploits: Waar een menselijke hacker een lek kan melden, kunnen AI-agents systemen razendsnel en onopgemerkt exploiteren.
- Gebrek aan testen: Veel overheidssystemen worden nooit AI-gepentest, waardoor ze extreem kwetsbaar zijn.
- Planetaire impact: De auteur bestempelt dit als een 'planetair probleem', vergelijkbaar met het klimaat, waarbij vooral ontwikkelingslanden het grootste risico lopen door een gebrek aan rekenkracht en beveiligingsmiddelen.
Hij pleit voor een aanpak die voorbij gaat aan technofobie of technofilie en waarin geopolitieke belangen niet langer de oplossing in de weg staan.
De systemen die niemand zal testen
Toen de persoon mijn oproep beantwoordde, identificeerde ik mezelf en vertelde ik hem wat ik had gevonden en welke toegang ik had. In eerste instantie was hij ongelovig en dacht hij dat het niet logisch was (wat ik begrijp; stel je voor dat iemand uit het niets belt over zo'n vreemd onderwerp), en hij vroeg of ik een burger was. Ik antwoordde bevestigend, en een paar uur later namen ze opnieuw contact met me op en vroegen ze me om het probleem uit te leggen. Tegen die tijd waren ze waarschijnlijk wat ongerust, maar nog steeds niet volledig overtuigd. Toen ik het probleem uitlegde, realiseerden ze zich waarschijnlijk zeer snel dat er sprake was van een groot lek. Ze erkenden het probleem en losten het zeer snel op. Ik geef ze daar eerlijk gezegd geen blaam voor: deze mensen werkten ontzettend hard tijdens de pandemie, en software is software. Ik was blij dat ik op een kleine manier had kunnen helpen (althans, zo wil ik het graag zien). Ik heb nooit data uit dit systeem geëxfiltreerd en ik heb er later niet over gesproken, omdat het je als een "hacker" doet overkomen, wat een nogal simplistische term is.
De versnelling van Machine Learning
Waarom vertel ik dit nu? Tussen 2020 en 2026 is er veel veranderd. Machine Learning (ML) is in een razend tempo gaan vorderen (en dat doet het nog steeds), mogelijk op het slechtst denkbare geopolitieke moment. Als we vooruitspoelen naar 2026, zien we rapporten over cybersecurity-incidenten waarbij verschillende modellen betrokken zijn, waaronder het model dat OpenAI beschreef in hun technische rapport. Hoewel ik niet zeker weet of het narratief dat het model "uit zijn safeguards ontsnapte" veel zin heeft — aangezien OpenAI bewust classifiers uitschakelde en beveiligingen verminderde (iets waar veel mensen zich niet van bewust waren) — is het duidelijk dat deze modellen nu een groot probleem vormen voor natiestaten. Hoewel de keuze voor safeguards bij de labs ligt, moeten we erkennen dat de capaciteit zelf reëel is. Niet iedereen zal evaluaties (of, erger nog, training) uitvoeren met de juiste safeguards ingeschakeld. Ik denk dat training zelfs nog ingewikkelder is, omdat het voor de agent daar makkelijker is om uit te zoeken hoe hij safeguards kan omzeilen of exploiteren.
De dreiging van RL-omgevingen
Na de recente vooruitgang in mid-training, RLVR en taken met een lange horizon (long-horizon tasks), is het duidelijk dat veel labs het afgelopen jaar (of langer) agressief RL-omgevingen hebben opgeschaald. Ze maken gebruik van externe bedrijven en zetten modellen in om deze omgevingen te bouwen, te synthetiseren en de beloningen (rewards) te bepalen in een "self-improvement loop" (tussen aanhalingstekens omdat de term tegenwoordig erg breed wordt gebruikt) die versnelt naarmate het rollout-potentieel toeneemt.
Dat is de reden waarom ik steeds terugkeer naar de gebeurtenis die ik eerder beschreef: vandaag de dag zou het voor mij eenvoudig zijn om een RL-omgeving te bouwen die niet alleen de setup repliceert waarin ik de kwetsbaarheid vond (die overigens niet veel verschilt van die in het rapport van OpenAI, waar een agent SSRF via de interne Artifactory van OpenAI benutte), maar ook om daar een curriculum voor te ontwikkelen.
Ik vraag me dan ook af: hoeveel van dit soort omgevingen bouwen frontier-labs nu met steun van cybersecuritybedrijven? Wat zal er gebeuren met de vele overheidssystemen die nooit de kans zullen krijgen om AI-gepentest te worden? De fout die ik vond vereiste geen buitengewone expertise, enkel aandacht voor detail, en dat is precies wat me zorgen baart. Wat zal er vanaf nu gebeuren met agents die veel capabeler, sneller en gemakkelijker schaalbaar zijn?
Een planetair probleem
Net als het klimaatprobleem is ML nu een planetair probleem. Zoals Yuk Hui vermeldt in zijn boek Machine and Sovereignty: For a Planetary Thinking (dat ik aan iedereen aanbeveel die geïnteresseerd is), denken we nog steeds niet "planetair", maar dat moeten we leren, ook al kost dat aanzienlijke tijd.
Ik denk dat de enige weg vooruit is om eerst voorbij de polarisatie tussen technofobie en technofilie te komen en te beginnen met het werken aan oplossingen. Natuurlijk doen veel mensen in frontier-labs dit werk al. Maar het lijkt me een onmogelijke taak om tot een oplossing te komen zolang ons denken wordt geleid door geopolitieke belangen. Helaas zullen opkomende economieën en ontwikkelingslanden het meest kwetsbaar zijn, alsof het al niet genoeg was dat zij zelden toegang hebben tot rekenkracht (compute).
Dat is een zeer trieste gedachte. Ik kan me niet anders voorstellen dan dat er ergens een zeer vergelijkbare omgeving is die reproduceert wat ik in 2020 vond: bijna hetzelfde systeem, bijna dezelfde fout. Meerdere agents treden duizenden keren per seconde binnen, waarbij ze trajecten genereren totdat een van hen de fout vindt. Het verschil is dat wanneer dit in de praktijk wordt toegepast, er bij geen van de pogingen iemand de telefoon opneemt.
De systemen die niemand zal testen
Toen de persoon mijn oproep beantwoordde, identificeerde ik mezelf en vertelde ik hem wat ik had gevonden en welke toegang ik had. In eerste instantie was hij ongelovig en dacht hij dat het niet logisch was (wat ik begrijp; stel je voor dat iemand uit het niets belt over zo'n vreemd onderwerp), en hij vroeg of ik een burger was. Ik antwoordde bevestigend, en een paar uur later namen ze opnieuw contact met me op en vroegen ze me om het probleem uit te leggen. Tegen die tijd waren ze waarschijnlijk wat ongerust, maar nog steeds niet volledig overtuigd. Toen ik het probleem uitlegde, realiseerden ze zich waarschijnlijk zeer snel dat er sprake was van een groot lek. Ze erkenden het probleem en losten het zeer snel op. Ik geef ze daar eerlijk gezegd geen blaam voor: deze mensen werkten ontzettend hard tijdens de pandemie, en software is software. Ik was blij dat ik op een kleine manier had kunnen helpen (althans, zo wil ik het graag zien). Ik heb nooit data uit dit systeem geëxfiltreerd en ik heb er later niet over gesproken, omdat het je als een "hacker" doet overkomen, wat een nogal simplistische term is.
De versnelling van Machine Learning
Waarom vertel ik dit nu? Tussen 2020 en 2026 is er veel veranderd. Machine Learning (ML) is in een razend tempo gaan vorderen (en dat doet het nog steeds), mogelijk op het slechtst denkbare geopolitieke moment. Als we vooruitspoelen naar 2026, zien we rapporten over cybersecurity-incidenten waarbij verschillende modellen betrokken zijn, waaronder het model dat OpenAI beschreef in hun technische rapport. Hoewel ik niet zeker weet of het narratief dat het model "uit zijn safeguards ontsnapte" veel zin heeft — aangezien OpenAI bewust classifiers uitschakelde en beveiligingen verminderde (iets waar veel mensen zich niet van bewust waren) — is het duidelijk dat deze modellen nu een groot probleem vormen voor natiestaten. Hoewel de keuze voor safeguards bij de labs ligt, moeten we erkennen dat de capaciteit zelf reëel is. Niet iedereen zal evaluaties (of, erger nog, training) uitvoeren met de juiste safeguards ingeschakeld. Ik denk dat training zelfs nog ingewikkelder is, omdat het voor de agent daar makkelijker is om uit te zoeken hoe hij safeguards kan omzeilen of exploiteren.
De dreiging van RL-omgevingen
Na de recente vooruitgang in mid-training, RLVR en taken met een lange horizon (long-horizon tasks), is het duidelijk dat veel labs het afgelopen jaar (of langer) agressief RL-omgevingen hebben opgeschaald. Ze maken gebruik van externe bedrijven en zetten modellen in om deze omgevingen te bouwen, te synthetiseren en de beloningen (rewards) te bepalen in een "self-improvement loop" (tussen aanhalingstekens omdat de term tegenwoordig erg breed wordt gebruikt) die versnelt naarmate het rollout-potentieel toeneemt.
Dat is de reden waarom ik steeds terugkeer naar de gebeurtenis die ik eerder beschreef: vandaag de dag zou het voor mij eenvoudig zijn om een RL-omgeving te bouwen die niet alleen de setup repliceert waarin ik de kwetsbaarheid vond (die overigens niet veel verschilt van die in het rapport van OpenAI, waar een agent SSRF via de interne Artifactory van OpenAI benutte), maar ook om daar een curriculum voor te ontwikkelen.
Ik vraag me dan ook af: hoeveel van dit soort omgevingen bouwen frontier-labs nu met steun van cybersecuritybedrijven? Wat zal er gebeuren met de vele overheidssystemen die nooit de kans zullen krijgen om AI-gepentest te worden? De fout die ik vond vereiste geen buitengewone expertise, enkel aandacht voor detail, en dat is precies wat me zorgen baart. Wat zal er vanaf nu gebeuren met agents die veel capabeler, sneller en gemakkelijker schaalbaar zijn?
Een planetair probleem
Net als het klimaatprobleem is ML nu een planetair probleem. Zoals Yuk Hui vermeldt in zijn boek Machine and Sovereignty: For a Planetary Thinking (dat ik aan iedereen aanbeveel die geïnteresseerd is), denken we nog steeds niet "planetair", maar dat moeten we leren, ook al kost dat aanzienlijke tijd.
Ik denk dat de enige weg vooruit is om eerst voorbij de polarisatie tussen technofobie en technofilie te komen en te beginnen met het werken aan oplossingen. Natuurlijk doen veel mensen in frontier-labs dit werk al. Maar het lijkt me een onmogelijke taak om tot een oplossing te komen zolang ons denken wordt geleid door geopolitieke belangen. Helaas zullen opkomende economieën en ontwikkelingslanden het meest kwetsbaar zijn, alsof het al niet genoeg was dat zij zelden toegang hebben tot rekenkracht (compute).
Dat is een zeer trieste gedachte. Ik kan me niet anders voorstellen dan dat er ergens een zeer vergelijkbare omgeving is die reproduceert wat ik in 2020 vond: bijna hetzelfde systeem, bijna dezelfde fout. Meerdere agents treden duizenden keren per seconde binnen, waarbij ze trajecten genereren totdat een van hen de fout vindt. Het verschil is dat wanneer dit in de praktijk wordt toegepast, er bij geen van de pogingen iemand de telefoon opneemt.
Groetjes,