Wat ik heb learned als co-leider van een AI Safety bootcamp voor juridische en governance-professionals

AI-veiligheid (AI safety) is mainstream geworden. Meer mensen dan ooit willen werken aan onderzoek naar AI-veiligheid, en er zijn echte beleidswinsten behaald in de VS, het VK en Europa.

Maar de politieke wil en marktincentives vormen nu de flessenhals, en beleidsmedewerkers kunnen de correcte implementatie niet alleen realiseren.

Omdat ik een Responsible AI-programma heb opgezet bij een joint venture van Accenture, weet ik dat winstgedreven bedrijven moeilijk te sturen zijn, maar ook dat mensen binnen deze bedrijven de praktijk kunnen verschuiven op manieren die een cumulatief effect hebben: striktere contractuele clausules, meer controle op leveranciers en externe partners, en minder mogelijkheden voor providers om weg te komen met non-compliance.

De EU heeft geen eigen frontier labs, maar is wel een enorme markt (met een regelgevend orgaan dat een AI-veiligheidsunit heeft!). Die hefboom werkt echter alleen als de professionals die de AI-veiligheidswetgeving implementeren en de juridische mechanismen daarachter opstellen, het technische plaatje begrijpen: hoe ze het onderzoek moeten lezen en waar veiligheidsbeloften tekortschieten.

De markt zou niet moeten kiezen voor de meest capabele modellen, maar voor de partners met de sterkste incentives richting veiligheid. Alleen een gemeenschap met deze kennis kan dat verspreiden.

Begin september organiseerde ML4Good, in partnerschap met EquiStamp, het eerste European Seminar on Frontier AI and Law: een intensieve residentiële bootcamp van vijf dagen in East Sussex voor 19 senior juridische, governance- en risicoprofessionals uit 12 jurisdicties. [1]

De deelnemers werden door de volledige frontier AI pipeline geleid, van training en evaluaties tot agents en waarborgen (safeguards). Elke fase werd gekoppeld aan de vragen waar zij in hun eigen werk mee te maken krijgen: inkoop, risicobeoordeling en de punten waarop de veiligheidsclaims van leveranciers tekortschieten.

Wat deze bootcamp onderscheidde van soortgelijke AI safety fellowships, was het publiek dat we samenbrachten [2]. We richtten ons specifiek op ervaren professionals die al verantwoordelijk zijn voor juridische, compliance, risico- en responsible AI-functies binnen hun organisaties, en die weinig tot geen eerdere ervaring hadden met AI-veiligheidsevenementen of EA (Effectief Altruïsme).

De groep bestond uit advocaten die zowel bij advocatenkantoren als in-house werkten, privacy- en compliance-professionals die werkten aan AI-governance, risico- en financiële professionals die adviseerden over AI-governance, alsook rechtsgeleerden en research fellows. We hadden ook vertegenwoordiging vanuit de rechtspraak en de publieke sector.

Ter context: ik heb deze eerste editie medegeleid met Elsa Donnat en het traject voor de praktische oefeningen in het curriculum ontworpen. De technische sessies werden verzorgd door Douw Marx en Jeff Iuliano, die de zeer uitdagende taak hadden om complexe technische concepten aan te passen aan een niet-technisch en grotendeels juridisch publiek.

Dit artikel beschrijft de belangrijkste persoonlijke en professionele inzichten die ik heb gekregen in het proces voorafgaand aan de bootcamp, tijdens het evenement en in gesprekken na afloop.

1. Professionals met indrukwekkende achtergronden kunnen zich intellectueel geïsoleerd voelen – ook in de juridische sector

Mensen met hoge functies bij grote bedrijven kunnen verrassend geïsoleerd zijn als het gaat om de zaken waar ze om geven.

Ik heb dit zelf ervaren toen ik een van de weinige mensen in mijn professionele omgeving was die serieus nadacht over vragen als: Wat maakt AI veilig? Wat zijn de gevolgen van het implementeren van verschillende soorten AI-systemen voor zeer uiteenlopende use cases binnen een groot bedrijf? Wat betekent dat voor de samenleving, de markt of de sector als geheel?

Voor iemand die dit leest, klinken dit misschien als basisvragen. Maar wanneer je feitelijke baan responsible AI, AI-compliance, regulering of risicobeheersing is, kan het hebben van deze zorgen soms worden gezien als een afleiding van de taak die voorhanden is. En zelfs als dat niet zo is, heb je misschien simpelweg niet de tijd of de ruimte om betekenisvolle gesprekken te voeren over wat je zorgen baart, wat je interesseert of wat je denkt dat er gaat gebeuren.

Toen we een groep zeer senior professionals samenbrachten, die elk hun eigen uitdagingen hadden in professionele contexten, konden ze niet genoeg van elkaar krijgen.

Het gemeenschapselement bleek een van de grootste troeven van het programma: de vriendschappen, de connecties en de gesprekken die voortduurden lang nadat de formele sessies waren beëindigd. Dat had me misschien niet mogen verrassen, maar het gaf het programma veel van zijn betekenis.

Als traditie in ML4Good bootcamps gebruikten we "suikerklontjes": enveloppen met de namen van alle deelnemers, waarin zij Post-its konden achterlaten met iets positiefs voor de persoon op de envelop. Een van de meest senior/invloedrijke deelnemers liet een briefje voor mij achter. Er stond in essentie:

"Bedankt hiervoor. Ik heb mijn mensen gevonden."

Dat raakte me echt. Veel onderzoekers kennen dit gevoel al. Wat minder duidelijk is, is dat mensen aan de andere kant van de vergelijking – de mensen die leveranciersclausules beheren, contracten onderhandelen, implementaties goedkeuren en deze systemen besturen – iets vergelijkbaars kunnen ervaren wanneer zij deze zorgen delen.

2. Beoefenaars lezen al AI-safety onderzoek. Ze weten niet altijd hoe ze het moeten interpreteren

Een van onze sessies over evaluaties en waarborgen richtte zich gedeeltelijk op het Hugging Face-incident. Dit nam veel langer in beslag dan verwacht omdat iedereen zoveel vragen had.

Het mooiste aan die vragen was dat mensen niet zochten naar bevestiging van wat ze al geloofden. Ze kwamen met de bescheidenheid van mensen die wisten dat ze geen experts waren. Ze hadden toegang tot experts en wilden begrijpen.

In andere sessies verwezen deelnemers naar het originele AI Control-paper van Redwood Research, het Golden Gate Claude-werk en andere stukken AI-veiligheidsonderzoek die op hun bureau waren beland of die ze onafhankelijk hadden gevonden.

Soms leidt het corrigeren van een zeer eenvoudig misverstand tot twee dingen tegelijk: meer nieuwsgierigheid om door te leren en een veel grotere waardering voor waarom sommige van deze problemen ertoe doen.

Enkele voorbeelden van technische misvattingen:

• Wat gebeurt er werkelijk met een model tijdens inference?
• Neem ChatGPT: Het is niet zo dat het simpelweg alles wat je zegt opneemt en daar tijdens het gesprek direct van "leert".
• Neem Claude: Het proces dat je ziet wanneer Claude lijkt na te denken, is niet de werkelijke chain of thought van het model.

Deze kleine momenten van "Oh, ik dacht dat het anders werkte" waren enkele van mijn favoriete delen van het programma. Eerlijk gezegd had het gevoel alsof we nog een hele dag hadden kunnen besteden aan het beantwoorden van vragen.

3. Niet-technische mensen die direct verantwoordelijk zijn voor technische gevolgen hebben een bijna onverzadigbare behoefte om te begrijpen

Als je productadvocaat bent bij een bedrijf dat AI-systemen bouwt, is je baan niet simpelweg om ervoor te zorgen dat er niets illegiaals gebeurt of dat de algemene voorwaarden correct zijn opgesteld. Je zult verantwoordelijk worden gehouden wanneer er iets misgaat.

Je zult niet noodzakelijkerwijs dezelfde bereidheid ervaren van technische teams om uit te leggen wat een project doet of hoe de onderliggende technologie werkt, als je zult worden bekritiseerd als je iets belangrijks mist. Dat is begrijpelijk; het is ons werk om te weten wat we doen, en we mogen niet verwachten dat we constant bij de hand worden genomen.

Maar het betekent ook dat wanneer je eindelijk de gelegenheid hebt om alle technische vragen te stellen die je hebt opgebouwd, je die kans grijpt.

Je zult vragen naar:

• De verschillen tussen propriëtaire modellen en open-weight modellen.
• Hoe capaciteiten tussen modellen verschillen.
• Hoe verschillende stadia van post-training zowel de veiligheid als de prestaties beïnvloeden.
• Wat evaluaties daadwerkelijk vertellen, en wat ze juist niet vertellen.

En waarschijnlijk zal het nog steeds voelen alsof het niet genoeg was.

Er was natuurlijk sprake van selection bias. We selecteerden op karakter net zozeer als op ervaring. We wilden een groep mensen die bereid waren te leren, bescheiden genoeg waren om te erkennen wat ze niet wisten, en die oprecht gaven om een goede uitkomst voor AI. Maar het was nog steeds opmerkelijk om te zien hoeveel mensen wilden begrijpen zodra ze de kans kregen.

4. Juridische en governance-professionals waarderen technisch veiligheidstalent enorm

AI-veiligheidsonderzoekers en engineers brengen capaciteiten mee die andere professionele profielen simpelweg niet hebben.

Als je gewerkt hebt als productontwikkelaar of software engineer en nu AI-veiligheidsonderzoek doet, begrijp je beide kanten van de vergelijking. Je begrijpt modellen, veiligheidstraining, evaluaties en de logica die op modellen wordt toegepast. Maar je begrijpt ook producten, applicaties en wat er feitelijk gebeurt wanneer een model in een echt systeem wordt geïntegreerd. Je begrijpt threat modelling.

Belangrijker is dat je dit in beide richtingen kunt toepassen:

• Beveiligingsprofessionals vragen vaak: Hoe zou een derde partij of een externe kwaadwillende actor dit systeem kunnen schaden, en hoe stoppen we hen?
• AI-veiligheid stelt een complementaire vraag: Hoe zou het systeem zelf mensen kunnen schaden? Wat is het worst-case scenario? Hoe zou wat we bouwen consumenten, gebruikers of de samenleving beïnvloeden? En welke mechanismen hebben we nodig om dat te voorkomen?

Om in stereotypen te spreken: juristen maken zich zorgen over rechtszaken. Wij zijn in zekere zin ook threat modellers. Wij vragen: Hoe zou deze beslissing kunnen leiden tot een geschil, regulerende actie, een claim op basis van consumentenbescherming of andere juridische gevolgen? Wat kunnen we doen om dat te voorkomen?

Maar wanneer je een responsible AI, GRC (Governance, Risk, and Compliance), risico- of juridisch professional bent in een technisch bedrijf, vereisen veel van je juridische problemen uiteindelijk technische oplossingen. Dat is waarom mensen in deze posities zo graag hun eigen technische geletterdheid willen vergroten. We moeten weten waar we naar zoeken.

5. AI-veiligheidsincentives en marktincentives zijn niet noodzakelijkerwijs zo gescheiden als we aannemen – en het is een verwaarloosde hefboom

Bij AI-veiligheid richten we ons vaak op de handvol frontier AI-bedrijven die het meest bepalend zijn voor de ontwikkeling van de technologie. Dat is logisch. Maar er is een hele wereld buiten die bedrijven: investeerders, zakelijke klanten, consumenten, gebruikers (betrokkenen), partners en organisaties die AI willen inbedden in hun workflows en die workflows steeds autonomer (agentic) willen maken.

Op een bepaalde manier blijven discussies over AI-veiligheid zwaar gefocust op het veranderen van wat de grote labs doen, zonder evenveel aandacht te besteden aan het ecosysteem dat de incentives om hen heen creëert. Zelfs de frontier labs zijn onderhevig aan marktincentives die door anderen worden gecreëerd.

Wanneer we denken aan de omzet van AI-labs, denken we aan abonnementen, zakelijke contracten of financieringsronden. Maar het marktsignaal achter die investeringen wordt ook gegenereerd door duizenden bedrijven die deze systemen integreren in steeds belangrijkere workflows.

Een zakelijke klant die bijvoorbeeld \$500.000 betaalt voor een AI-coderingsproduct, creëert geen enorme waarde (indien überhaupt) voor een frontier lab. Maar als duizenden volwassen bedrijven in verschillende sectoren iets soortgelijks doen en deze systemen zakelijk kritische afhankelijkheden worden, is het geaggregeerde signaal heel anders.

Het signaalt dat hun modellen niet alleen belangrijk zijn, maar overal aanwezig zijn. Organisaties hebben kritische afhankelijkheden van hen. Misschien bevindt degene die ze controleert zich onder een steeds belangrijker wordende laag van de economie.

En wie begrijpt die afhankelijkheid bijzonder goed? De juristen, governance-professionals, risico- en compliance-teams en responsible AI-professionals binnen die bedrijven.

Dit is waarom velen van hen al die irritante stem in hun achterhoofd hebben die zegt: Iets hieraan gaat in een gevaarlijke richting, en ik denk dat ik daar een rol in speel, maar ik weet niet precies wat die rol is.

Dit is waarom het belangrijk is dat informatie over AI-veiligheid buiten de bestaande bubbel komt. Ik waardeer het werk van organisaties zoals ML4Good, BlueDot Impact, Lens Academy of individuele makers zoals Robert Miles enorm in het toegankelijker maken van AI-veiligheidsconcepten voor een breder publiek.

Wat ik probeer te doen is iets specifieker. Ik wil de professionele gemeenschappen bereiken die ik het beste ken: de mensen die al in bedrijven zitten en beslissingen nemen over AI, maar die misschien nooit de kans hebben gehad om de technische risico's die verbonden zijn aan die beslissingen echt te begrijpen.

Zelfs als marktincentives niet uiteindelijk bepalen of geavanceerde AI veilig is, denk ik dat ze relevant zijn. En de mensen die het dichtst bij die incentives staan, moeten begrijpen waar ze aan deelnemen.

6. Mensen in deze functies begrijpen dat ze gewoon actie kunnen ondernemen

In de laatste sessie werden deelnemers gevraagd na te denken over hoe ze zouden toepassen wat ze hadden geleerd op hun functies, hun afdelingen en hun bredere gemeenschappen.

Mensen spraken over het verspreiden van de training binnen hun eigen teams. Ze overweegden om zich aan te melden voor AI safety fellowships. Ze bespraken het vormen van lokale gemeenschappen en groepen om op de hoogte te blijven van nieuw veiligheidsrelevant onderzoek en na te denken over hoe dit de juridische praktijk kan informeren. Ze wilden meer netwerken met beleidsprofessionals die baat zouden kunnen hebben bij inzichten over hoe beleid in de praktijk tekortschiet.

Ik ben altijd een beetje pessimistisch over de kloof tussen "oh cool, ze willen dingen doen" en "kijk, ze doen dingen!".

En toen begonnen de dingen te gebeuren.

Twee dagen na afloop van het programma wees een senior partner van een advocatenkantoor de veiligheidsclaims van een bedrijf af voor een van hun cliënten en vroeg om baseline veiligheidseisen. Een andere deelnemer begon informatie op te vragen bij stakeholders die relevant waren voor hun functie, en onderzocht hun gebruik van AI-agents in het licht van recente ontwikkelingen rond agent containment en controle. Anderen begonnen actief mensen met AI-veiligheidsvaardigheden en -interesses in hun teams te werven. Weer anderen namen contact op over komende conferenties, met het verzoek om AI-veiligheidsvertegenwoordiging onder de sprekers. [3]

Deze dingen gebeurden in een zeer korte periode na het beëindigen van het programma. Dat was misschien wel een van de meest bemoedigende dingen die ik zag. Mensen vertrokken niet met de gedachte "dat was interessant", maar met de gedachte "ik kan hier iets mee".

7. Wij juristen? Wij zijn ook nerds!

Ten slotte, op een meer persoonlijke noot: een van mijn favoriete momenten was toen een van onze ML4Good-coördinatoren het evenement samenvatte door iets te zeggen wat ik misschien was vergeten:

"Het blijkt dat juristen ook nerds zijn!"

Sommigen van ons maken handgeschreven aantekeningen, gaan uitbundig in op zeer specifieke zaken wanneer ze gepassioneerd zijn over het onderwerp, en kunnen ongelooflijk specifieke en eigenaardige interesses hebben. We hebben een reputatie als "hoogdravend", vaak terecht. Maar zeer senior profielen kunnen verrassend sterke persoonlijkheidsovereenkomsten hebben met mensen in STEM.

Ja, juristen houden vaak van netwerken en mensgericht werk. Maar je kunt ook een kamer vol mensen met indrukwekkende titels, uitgebreide juridische ervaring en veeleisende banen samenbrengen, hen een technische of filosofische vraag stellen, en toekijken hoe ze volledig "nerden".

Dat was een van de leukste dingen aan dit programma. En het heeft me iets heel duidelijk gemaakt.

Het bouwen van een gemeenschap voor mensen die AI-veiligheid willen bevorderen is belangrijk. En ik wil die specifiek bouwen voor mensen die zich bevinden in de posities die ik ooit bekleedde: juristen, governance-professionals, risicoprofessionals, compliance-professionals en responsible AI-beoefenaars die dicht genoeg bij de technologie staan om de belangen te zien, maar die misschien nog geen gemeenschap om zich heen hebben die hun interesses deelt.

Ik hoop dat dit niet alleen leidt tot betere praktijken en standaarden, maar ook tot nieuwe organisaties, nieuwe samenwerkingen en een andere set professionals die toetreden tot de AI-veiligheidsgemeenschap.

***

Dankwoorden

• Dank aan Elsa Donnat voor het leiden van het programma en het realiseren van deze gedeelde visie.
• Dank aan Jack Stennett, Linda Broglio en Nia Gardner van ML4Good voor de operationele en logistieke organisatie – zonder jullie was er niets gebeurd.
• Dank aan Douw Marx en Jeff Iuliano voor het verzorgen van de technische sessies en het ongelooflijke werk om zoveel inhoud te condenseren in een publiekspecifiek formaat.
• Dank aan Honor Chan, Chris Canal en Daniel O'Connell bij EquiStamp voor het ondersteunen van dit programma met werk, middelen en technische expertise.

***

Voetnoten [1] Ik heb dit initiatief vanaf eind 2025 medegeleid met ML4Good, voordat ik bij EquiStamp kwam, en ben hiermee doorgegaan via het partnerschap van EquiStamp. Ik plaats dit bericht in persoonlijke hoedanigheid.

[2] Een paar maanden geleden kwam ik een bericht van Jenn tegen over de dynamiek tussen rationalisten en professionals. Ik vond het onderscheid bijzonder inzichtelijk, vooral de discussie over het proces van acculturatie. Ik dacht dat dit bericht complementaire inzichten zou kunnen bieden!

[3] Ik kies ervoor om elke claim niet aan specifieke deelnemers toe te wijzen, omdat ik liever heb dat zij hier zelf direct posten als ze dat willen. Ik kan ook privévragen beantwoorden met hun toestemming.