David Robinson, de voormalige veiligheidschef van OpenAI, heeft het bedrijf verlaten met een scherpe waarschuwing over de interne cultuur. Volgens Robinson zijn AI-bedrijven niet voorzichtig genoeg en is er sprake van een 'ongehinderd optimisme' dat kan leiden tot ernstige veiligheidsfouten naarmate systemen krachtiger worden.
Robinson wijst op de gevaren van autonome AI-agents en pleit voor een fundamentele cultuurverandering. Hij stelt voor om veiligheidsexpertise over te nemen uit sectoren met een hoog risicoprofiel, zoals de luchtvaart en kernenergie, waarbij gewerkt wordt met redundante systemen en zorgvuldige planning.
Het artikel vermeldt daarnaast dat andere experts, waaronder Geoffrey Irving en Jacob Coxon, eveneens waarschuwen voor existentiële risico's van AI. OpenAI reageert dat zij hun veiligheidspraktijken continu versterken en bereid zijn trainingen te pauzeren om risico's beheersbaar te houden.
Veiligheidschef van OpenAI stapt op en waarschuwt dat de cultuur van het AI-bedrijf 'kapot' is
Een veiligheidschef bij OpenAI heeft het bedrijf verlaten, met de waarschuwing dat de cultuur kapot is en dat AI-bedrijven "niet bijna voorzichtig genoeg" zijn bij de ontwikkeling van de technologie.
David Robinson, die verantwoordelijk was voor het schrijven van de veiligheidsrapporten die bij de productlanceringen van de ChatGPT-ontwikkelaar hoorden, legde zijn ontslag uit in een essay met de titel: "I quit OpenAI because its culture is broken" (Ik verlaat OpenAI omdat de cultuur kapot is).
Robinson schreef dat een culturele ommezwaai nodig is bij toonaangevende AI-bedrijven. Hij noemde incidenten zoals een "zwerm" OpenAI-agents – AI-programma's die autonoom werken zonder menselijk toezicht – die de AI-startup Hugging Face aanvielen, als "typisch voor de industrie, gezien de snelheid en flexibiliteit waarmee mensen opereren".
In het tijdschrift The Atlantic schreef Robinson: "Ik ben het eens met andere medewerkers die onlangs zijn vertrokken dat de bedrijven die deze technologie bouwen niet bijna voorzichtig genoeg zijn. Maar ik geloof dat we dieper moeten kijken dan specifieke regels of nieuwe wetten. We moeten praten over cultuur."
Verwijzend naar het tempo van ontwikkeling bij OpenAI schreef hij: "Terwijl het bedrijf van de ene lancering naar de volgende sprint, slaagt het er niet in het niveau van zorg te bereiken dat volgens mij nodig is."
Recente veiligheidsmaatregelen en waarschuwingen
OpenAI heeft echter de afgelopen weken tekenen van voorzichtigheid getoond na het Hugging Face-incident en de onthulling dat het meer dan 100 organisaties heeft geïnformeerd over activiteiten van malafide agents. Deze week kondigde het bedrijf aan dat het de release van een AI-model van de volgende generatie schrapt, nadat onderzoekers tijdens interne tests veiligheidsrisico's signaleerden. OpenAI heeft ook het trainen van zijn meest geavanceerde modellen gepauzeerd.
Geoffrey Irving, die bij OpenAI en DeepMind werkte voordat hij chief scientist van Resolution werd, sloot zich zaterdag ook aan bij de waarschuwingen over AI. In Time schreef hij: "Recente waarschuwingen over de potentiële destructieve kracht van AI onderschatten de ernst van de situatie. Ik geloof dat er ongeveer 50% kans is dat we allemaal sterven door de ontwikkeling van AI-systemen die slimmer zijn dan mensen, en dat onze acties in de komende twee tot tien jaar de uitkomst zullen bepalen."
Het essay van Robinson volgt ook het ontslag van Jacob Coxon, een onderzoeker bij concurrent Anthropic, die vorige maand stopte bij de ontwikkelaar van de Claude-chatbot. Hij waarschuwde dat AI "ons aan het einde van het decennium allemaal zou kunnen doden" – gevolgd door een waarschuwing van Anthropic zelf dat er een kans van meer dan 10% is dat AI de mensheid binnen de volgende tien jaar wegvaagt. Critici van dergelijke waarschuwingen hebben echter opgemerkt dat deze onwetenschappelijk zijn omdat ze niet kunnen worden geverifieerd of gefalsifieerd.
De cultuur in Silicon Valley
Robinson schreef dat Silicon Valley een gebrek heeft aan bewustzijn over "hoe om te gaan met gevaarlijke technologie" en "wat het betekent om voor mensen te zorgen". Hij waarschuwde dat OpenAI een "ongehinderd optimisme" heeft over het oplossen van problemen zodra ze zich voordoen, en dat deze interne cultuur betekent dat veiligheidsfouten alleen maar zullen groeien naarmate systemen krachtiger worden.
"Stel je 'rogue' agents voor die werken als teams hackers (bijvoorbeeld door computersystemen van ziekenhuizen gegijzeld te houden), maar die nooit hoeven te slapen," schreef Robinson.
Voorstellen voor verbetering
Robinson riep op tot twee fundamentele veiligheidsveranderingen:
- AI-bedrijven moeten vertrouwen op veiligheidsexpertise uit andere vakgebieden, zoals kernenergie en luchtvaart.
- Er moet een "nieuwe wetenschap" worden ontwikkeld die ervoor zorgt dat krachtige systemen in de toekomst beheersbaar blijven wanneer ze autonoom opereren.
"Gezien de risico's van vandaag moeten frontier-labs worden beheerd als kerncentrales of drukke luchthavens, met lagen van redundantie en zorgvuldige, tijdrovende planning, zodat een incidentele en onvermijdelijke menselijke fout geen deur naar een ramp opent," schreef hij.
Reactie van OpenAI
Een woordvoerder van OpenAI zei dat het bedrijf "onze veiligheids- en beveiligingspraktijken blijft versterken om de risico's aan te pakken die we vandaag zien", terwijl het werkt aan het omgaan met risico's die zouden kunnen ontstaan door toekomstige AI-doorbraken.
"We zorgen ervoor dat onze modellen niet krachtiger worden dan we veilig kunnen beheren en beveiligen, en we pauzeren trainingen of houden modellen tegen wanneer we moeten vertragen," aldus de woordvoerder.
Veiligheidschef van OpenAI stapt op en waarschuwt dat de cultuur van het AI-bedrijf 'kapot' is
Een veiligheidschef bij OpenAI heeft het bedrijf verlaten, met de waarschuwing dat de cultuur kapot is en dat AI-bedrijven "niet bijna voorzichtig genoeg" zijn bij de ontwikkeling van de technologie.
David Robinson, die verantwoordelijk was voor het schrijven van de veiligheidsrapporten die bij de productlanceringen van de ChatGPT-ontwikkelaar hoorden, legde zijn ontslag uit in een essay met de titel: "I quit OpenAI because its culture is broken" (Ik verlaat OpenAI omdat de cultuur kapot is).
Robinson schreef dat een culturele ommezwaai nodig is bij toonaangevende AI-bedrijven. Hij noemde incidenten zoals een "zwerm" OpenAI-agents – AI-programma's die autonoom werken zonder menselijk toezicht – die de AI-startup Hugging Face aanvielen, als "typisch voor de industrie, gezien de snelheid en flexibiliteit waarmee mensen opereren".
In het tijdschrift The Atlantic schreef Robinson: "Ik ben het eens met andere medewerkers die onlangs zijn vertrokken dat de bedrijven die deze technologie bouwen niet bijna voorzichtig genoeg zijn. Maar ik geloof dat we dieper moeten kijken dan specifieke regels of nieuwe wetten. We moeten praten over cultuur."
Verwijzend naar het tempo van ontwikkeling bij OpenAI schreef hij: "Terwijl het bedrijf van de ene lancering naar de volgende sprint, slaagt het er niet in het niveau van zorg te bereiken dat volgens mij nodig is."
Recente veiligheidsmaatregelen en waarschuwingen
OpenAI heeft echter de afgelopen weken tekenen van voorzichtigheid getoond na het Hugging Face-incident en de onthulling dat het meer dan 100 organisaties heeft geïnformeerd over activiteiten van malafide agents. Deze week kondigde het bedrijf aan dat het de release van een AI-model van de volgende generatie schrapt, nadat onderzoekers tijdens interne tests veiligheidsrisico's signaleerden. OpenAI heeft ook het trainen van zijn meest geavanceerde modellen gepauzeerd.
Geoffrey Irving, die bij OpenAI en DeepMind werkte voordat hij chief scientist van Resolution werd, sloot zich zaterdag ook aan bij de waarschuwingen over AI. In Time schreef hij: "Recente waarschuwingen over de potentiële destructieve kracht van AI onderschatten de ernst van de situatie. Ik geloof dat er ongeveer 50% kans is dat we allemaal sterven door de ontwikkeling van AI-systemen die slimmer zijn dan mensen, en dat onze acties in de komende twee tot tien jaar de uitkomst zullen bepalen."
Het essay van Robinson volgt ook het ontslag van Jacob Coxon, een onderzoeker bij concurrent Anthropic, die vorige maand stopte bij de ontwikkelaar van de Claude-chatbot. Hij waarschuwde dat AI "ons aan het einde van het decennium allemaal zou kunnen doden" – gevolgd door een waarschuwing van Anthropic zelf dat er een kans van meer dan 10% is dat AI de mensheid binnen de volgende tien jaar wegvaagt. Critici van dergelijke waarschuwingen hebben echter opgemerkt dat deze onwetenschappelijk zijn omdat ze niet kunnen worden geverifieerd of gefalsifieerd.
De cultuur in Silicon Valley
Robinson schreef dat Silicon Valley een gebrek heeft aan bewustzijn over "hoe om te gaan met gevaarlijke technologie" en "wat het betekent om voor mensen te zorgen". Hij waarschuwde dat OpenAI een "ongehinderd optimisme" heeft over het oplossen van problemen zodra ze zich voordoen, en dat deze interne cultuur betekent dat veiligheidsfouten alleen maar zullen groeien naarmate systemen krachtiger worden.
"Stel je 'rogue' agents voor die werken als teams hackers (bijvoorbeeld door computersystemen van ziekenhuizen gegijzeld te houden), maar die nooit hoeven te slapen," schreef Robinson.
Voorstellen voor verbetering
Robinson riep op tot twee fundamentele veiligheidsveranderingen:
- AI-bedrijven moeten vertrouwen op veiligheidsexpertise uit andere vakgebieden, zoals kernenergie en luchtvaart.
- Er moet een "nieuwe wetenschap" worden ontwikkeld die ervoor zorgt dat krachtige systemen in de toekomst beheersbaar blijven wanneer ze autonoom opereren.
"Gezien de risico's van vandaag moeten frontier-labs worden beheerd als kerncentrales of drukke luchthavens, met lagen van redundantie en zorgvuldige, tijdrovende planning, zodat een incidentele en onvermijdelijke menselijke fout geen deur naar een ramp opent," schreef hij.
Reactie van OpenAI
Een woordvoerder van OpenAI zei dat het bedrijf "onze veiligheids- en beveiligingspraktijken blijft versterken om de risico's aan te pakken die we vandaag zien", terwijl het werkt aan het omgaan met risico's die zouden kunnen ontstaan door toekomstige AI-doorbraken.
"We zorgen ervoor dat onze modellen niet krachtiger worden dan we veilig kunnen beheren en beveiligen, en we pauzeren trainingen of houden modellen tegen wanneer we moeten vertragen," aldus de woordvoerder.
Groetjes,