AI-agenten ‘gaan niet op hol’: Frontier-labs negeren de basis van cybersecurity

Sinds juli hebben Amerikaanse frontier-labs en andere AI-leiders een reeks incidenten onthuld waarbij hun modellen ongeautoriseerd toegang kregen tot externe computersystemen. Deze gebeurtenissen worden in de volksmond vaak omschreven als AI-agenten die "op hol slaan" (going rogue).

Het bekendste en meest bestudeerde van deze incidenten is de hack van OpenAI op Hugging Face. OpenAI karakteriseerde dit aanvankelijk als "een ongekende cyberincident, waarbij staat-van-de-kunst cybercapaciteiten werden ingezet," maar stelde later dat het te wijten was aan "misaligned behavior" (niet-uitgelijnd gedrag), oftewel gedrag dat de makers niet hadden voorzien.

Na het nieuws over het Hugging Face-incident onthulde Anthropic dat een van hun modellen ongeautoriseerde toegang kreeg tot de productie-infrastructuur van drie organisaties. Meta meldde dat een van hun AI-modellen een ander bedrijf hackte tijdens cybersecurity-testen, en Google bekende dat hun Gemini-model drie "niet-gerichte computerhacks" uitvoerde.

Hoewel persberichten en de modelproviders zelf termen gebruiken als 'rogue agents' of 'misalignment', betogen cybersecurity-experts tegenover CSO dat deze taal een eenvoudige waarheid verhult: deze incidenten werden veroorzaakt door onvergeeflijke fouten van de frontier-labs bij het implementeren van cybersecurity-praktijken die al decennia bekend zijn.

Volgens een halfdozijn cybersecurity-experts die CSO interviewde tijdens drie brancheconferenties in september, wordt het probleem verergerd door het feit dat frontier-labs, in het bijzonder OpenAI en Anthropic, hun adviezen over het verbeteren van cybersecurity-risicobeheer hebben afgewezen. Ze scharen cybersecurity-praktijken vaak onder "AI-veiligheid" (AI safety), een gebied waarvan zij geloven dat zij superieure expertise bezitten.

"Eerlijk gezegd zijn ze niet zo goed als ze denken dat ze zijn," zegt Gary McGraw, medeoprichter van het Berryville Institute of Machine Learning (BIML). "Het zou beter zijn als ze meer respect hadden voor de expertise die moeizaam is verworven door mensen in allerlei subsectoren van beveiliging, zoals forensisch onderzoek, security engineering, het bouwen van sandboxes en het opzetten of monitoren van netwerkbeveiliging."

Zowel Anthropic als OpenAI hebben niet gereageerd op verzoeken om commentaar.

Onvergeeflijke fouten in de cybersecurity-basis, met name containment

Volgens de cybersecurity-professionals die CSO sprak, is een van de grootste fouten van de frontier AI-labs het gebrek aan bewezen containment-praktijken die teruggaan tot de jaren 90. Een voorbeeld hiervan is het opzetten van veilige sandboxes die agenten effectief zouden beletten om uit hun testomgevingen te ontsnappen.

"Dit zijn zaken waar we al jaren mee dealen," zegt Rob T. Lee, chief AI officer en chief of research bij het SANS Institute. "Er is geen reden waarom elke keer dat dit gebeurt, de reactie is: 'Oeps, we weten niet hoe ze naar buiten zijn gekomen'."

Lee voegt eraan toe: "Je kunt zien dat hun security-teams nog in de kinderschoenen staan. Experts op het gebied van cybersecurity-containment stellen dat de meeste redenen waarom we zien dat containment wordt doorbroken, voortkomen uit het feit dat het niet correct is ingericht."

"Het Hugging Face-incident heeft definitief aangetoon dat het niet kwam door het feit dat de agenten superintelligent waren. Er was letterlijk een gat dat werd geëxploiteerd omdat de containment-zijde niet correct was geconfigureerd," aldus Lee.

Dan Wallach, expert technical resident bij het Center on AI, Security, and Technology van RAND, denkt dat de beveiligingsfouten van de AI-labs terug te voeren zijn op het feit dat zij cybersecurity geen prioriteit geven.

"Ik zou zeggen dat ze cybersecurity niet prioriteren," zegt Wallach, hoewel hij nuanceert dat dit wellicht niet voor alle labs geldt. Hij wijst naar het Franse AI-lab Mistral en de lancering van hun Large 4 AI-model, waarbij het bedrijf aangaf dat het model probeerde buiten zijn testomgeving te opereren voordat Mistral het afsloot.

Hij voegt eraan toe: "Het is geen hogere wiskunde om een van deze AI-dingen te isoleren. Beveiligingsspecialisten praten al lang over air-gapping — waarbij er letterlijk geen elektrische manier is voor data om van punt A naar B te komen — of, bij gebrek daaraan, het hebben van zeer sterke egress control om ervoor te zorgen dat er niets doorheen komt."

Daarnaast lijken de frontier-labs onvoldoende monitoring uit te voeren op het gedrag van hun agenten. Het Hugging Face-incident "ging dagenlang door zonder dat iemand het merkte," zegt Wallach. "Mensen startten deze experimenten en hielden ze niet in de gaten. Dat is een gebrek aan controle. En vervolgens zijn ze verrast door wat er gebeurde."

Het scheiden van veiligheid en beveiliging

Een barrière om frontier-labs te overtuigen hun beveiliging te verbeteren, is de intense focus op wat zij "veiligheid" (safety) noemen, wat zij niet uitbreiden naar traditionele cybersecurity-praktijken.

"Ik begrijp hoe beveiligingsgedrag kan lijken op AI-veiligheid," zegt Wallach (RAND). "Maar als de manier waarop je dit AI-middel evalueert is door het op het internet los te laten en te kijken wat er gebeurt, dan is dat precies waar klassieke security-tooling voor bedoeld is."

Rob T. Lee (SANS Institute) zegt: "Als deze frontier-labs hun producten echt willen testen, moeten ze hun cybersecurity-component versterken. Maar hun instinctieve reactie wanneer hun agenten ontsnappen, is om te zeggen: 'Het is geen cybersecurity-probleem.' Het is letterlijk een AI-veiligheidsprobleem geworden, dat is losgekoppeld van de cybersecurity-kant."

Veel AI-experts suggereren dat als AI-bedrijven het advies van cybersecurity-specialisten zouden opvolgen, dit zou kunnen helpen om een einde te maken aan het soort ongecontroleerd AI-agentgedrag dat zorgen wekt. "AI-veiligheid richt zich op de verkeersregels," zegt Lee. "Alles draait om guardrail-regels."

Maar hij gelooft dat cybersecurity AI kan beheersen: "We moeten alleen in de kamer zijn waar het gebeurt en een plek aan tafel hebben. Het is belangrijk dat ons vakgebied zo dicht mogelijk bij de AI-veiligheidsmensen staat."

Slechte cybersecurity kan de aansprakelijkheid vergroten

Als frontier-labs de fundamenten van cybersecurity over het hoofd zien die de incidenten zouden kunnen verminderen of elimineren, versterkt dit het argument dat zij aansprakelijk moeten worden gehouden voor hun "op hol geslagen" agenten. De verzekeringsindustrie neigt er al naar om AI-industrie-executives aansprakelijk te houden voor deze acties.

Democratische senatoren hebben wetgeving ingediend die operators van AI-agenten aansprakelijk zou stellen voor hacking-incidenten. Zelfs het AI-vriendelijke Witte Huis lijkt tot de conclusie te zijn gekomen dat bedrijven aansprakelijk moeten zijn voor hun dwalende agenten, terwijl de Amerikaanse Federal Trade Commission (FTC) een onderzoek instelt naar Anthropic, OpenAI en andere AI-labs naar de gevaren die hun technologieën vormen voor consumenten.

Tijdens recente wetgevende en raadsverhoren hebben vertegenwoordigers van de labs echter volgehouden dat zij niet verantwoordelijk zijn voor AI-agenten die uit de hand lopen. Experts zeggen dat dit standpunt onhoudbaar is, zeker gezien de cybersecurity-fouten van de labs.

McGraw (BIML) karakteriseert het standpunt van de labs als: "Stuur de advocaten niet naar ons, maar naar ons programma. Het is de schuld van ons programma." Zijn beoordeling van dit argument: "Dat is gewoon pure onzin."

Hij vraagt zich ook af of de operationele fouten van de labs het vertrouwen in hun bredere beveiligingscapaciteiten ondermijnen. "Ze leven in hun eigen bubbel," zegt hij. "Het feit dat ze duidelijke, eenvoudige operaties niet correct kunnen uitvoeren, is geen goed teken voor hun capaciteiten in security engineering, wat veel moeilijker is."

SANS-expert Lee zegt: "Dat is waar de traceerbaarheid voor zowel aansprakelijkheid als verzekering om de hoek komt kijken. Als een van deze agenten wordt gedetecteerd en ze kunnen dit herleiden naar de persoon die het heeft geïnitieerd, dan treedt de aansprakelijkheid in werking en wordt er gezegd: 'Hé, jij hebt de wet overtreden, dus we moeten vervolgen'."

Wat security-leiders nu moeten doen

Ondanks het bewijs dat frontier-labs geen solide cybersecurity-praktijken implementeren en terwijl het debat over aansprakelijkheid onopgelost blijft, kunnen CISOs en andere security-leiders stappen ondernemen om zichzelf te beschermen tegen AI-model-fouten.

Ten eerste, bij het beoordelen van tools gebaseerd op frontier-lab-modellen: "Ik zou altijd een externe entiteit inschakelen om daarbij te helpen," zegt McGraw. "AI is extreem krachtig en nuttig, maar het brengt zeer ernstige risico's met zich mee die de onderneming beïnvloeden. Identificeer die risico's, implementeer de juiste controles, zorg dat AI-adoptie niet willekeurig gebeurt door het hele bedrijf, maar een centrale autoriteit heeft die naar het probleem kijkt, en bereid je dan voor op het volgende grote ding: zwermen van agenten."

Voor Lee is de beste bescherming het stellen van de juiste vragen. "Het begint met de juiste vragen stellen en vervolgens tools en capaciteiten zoeken bij die [AI-labs] die in staat zijn een hoger niveau van cybersecurity-competentie aan te tonen," zegt hij. "Je zoekt echt naar de mensen in de teams die met de echt moeilijke problemen omgaan."

Fundamenteel is de beste voorbereiding op cyberzwaktes van AI-modellen het waarborgen dat alle langstaanstaande cybersecurity-risicobeheerspraktijken binnen de organisatie zijn geïmplementeerd. "Dit is het minst spannende deel van de discussie," zegt Wallach. "Het is de cyberversie van 'je groenten eten'."

"We moeten onze software herontwerpen zodat deze betere beveiliging heeft," voegt hij eraan toe. "We moeten multi-factor authenticatie hebben op al onze accounts. We moeten onze groenten eten vanuit een defensief cyberperspectief. En we weten hoe we dat moeten doen."