In dit artikel pleit Amit Sahai voor een aanzienlijke investering in menselijke wiskundige expertise in een tijdperk waarin AI-systemen steeds complexere ideeën genereren. De auteur waarschuwt voor de verleiding om het onderzoek op te geven wanneer machines het menselijke tempo overtreffen, en stelt dat het begrijpen van deze doorbraken een collectieve verantwoordelijkheid is tegenover de mensheid.
Centraal staat het argument dat we niet blindelings kunnen vertrouwen op AI bij kritieke technische beslissingen, zoals het ontwerp van een kernfusiecentrale. Zonder menselijk begrip van de onderliggende modellen en garanties riskeren we onze autonomie en veiligheid. Sahai stelt daarom voor om een 'inzetbare intellectuele reserve' van wiskundig geschoolden te creëren die kunnen helpen bij het interpreteren van AI-resultaten, zodat menselijke handelingsbekwaamheid behouden blijft.
We gaan veel meer wiskundigen nodig hebben
Toen ik een undergraduate-student was, herinner ik me gesprekken met verschillende studenten die het gevoel hadden dat het tempo waarmee de beste studenten nieuwe wiskundige concepten begrepen, veel te hoog voor hen lag. Zij konden de ideeën ook begrijpen, maar het kostte hen veel meer tijd. Uiteindelijk hebben bijna al deze studenten hun droom om wiskundig onderzoek te doen opgegeven en iets anders gezocht. De afgelopen dagen heb ik veel aan die studenten gedacht.
De gemeenschap van wiskundig onderzoekers bestaat grotendeels uit mensen die zich zelden zo voelden, of die dat wel voelden maar erdoorheen zijn gekomen door hard werk. We hebben het geluk gehad een plek in de wiskunde te vinden waar we vooruitgang konden boeken. Maar we gaan nu een tijdperk van nederigheid in: een tijd waarin we allemaal zullen ervaren hoe het voelt om niet meer mee te kunnen komen.
De AI-systemen waarmee ik heb gewerkt, produceren nu al prachtige nieuwe ideeën. Ze doen veel meer dan alleen indrukwekkende berekeningen of het snel uitvoeren van argumenten die een sterke menselijke onderzoeker allang zou begrijpen. En we kunnen ons waarschijnlijk niet eens voorstellen welke wonderbaarlijke ideeën toekomstige systemen in staat zullen zijn te produceren.
Wanneer we voelen dat we het tempo niet kunnen bijbenen, zullen we dat dan als een reden nemen om het wiskundig onderzoek te verlaten, net als de studenten aan wie ik me herinner? Naarmate meer van ons dit ervaren, zal er ongetwijfeld de verleiding zijn om dezelfde conclusie te trekken: als machines zoveel sneller kunnen bewegen dan wij, moeten we misschien iets anders gaan doen.
De verantwoordelijkheid om te begrijpen
Voor onze gemeenschap zou het opgeven van het werk om te begrijpen een ernstige verzaking van onze verantwoordelijkheid tegenover de mensheid zijn. Ieder van ons heeft het recht om voor een ander leven te kiezen. De verantwoordelijkheid waar ik over spreek, is een collectieve: het bouwen aan een toekomst waarin mensen kunnen begrijpen en kunnen bijdragen aan de ontdekkingen die onze wereld zullen veranderen. Een toekomst met betekenisvolle menselijke handelingsbekwaamheid.
Strijd is essentieel voor het begrijpen van moeilijke concepten. Gelukkig kan deze strijd gedeeld worden. Ik ben gezegend dat ik dit keer op keer heb ervaren met mijn studenten en collaborators. Stel je een veelvoud aan onderzoeksgroepen voor, elk met aanhoudende steun, die elk een kwartaal of een jaar besteden aan het proberen te begrijpen van een buitengewone set ideeën geproduceerd door een AI-systeem, met behulp van AI-systemen [1].
Dit zou zeer goed tot het belangrijkste wiskundige werk van de komende jaren kunnen behoren, en we zouden dit dienovereenkomstig moeten ondersteunen en prioriteren. Deze onderneming zal een aanzienlijke uitbreiding vereisen van het aantal wiskundig geschoolden menselijke onderzoekers dat wereldwijd beschikbaar is, naarmate grote doorbraken zich opstapelen.
Waarom de samenleving dit nodig heeft
Waarom zou de samenleving dit willen? Tot nu toe klinkt dit misschien als een utopische fantasie voor ons – een beschaving die gericht is op de diepte van het menselijk begrip, overspoeld door wiskundigen, natuurkundigen en dergelijke. Ik zou zeker in zo'n wereld willen leven. En er zijn inderdaad diepe filosofische redenen voor de samenleving om in deze richting te bewegen. Maar ik denk dat de samenleving ook een veel directer belang heeft bij het mogelijk maken hiervan.
Stel je voor dat een toekomstig AI-systeem een radicaal nieuw ontwerp voorstelt voor een kernfusiecentrale van één terawatt. Het heeft een manier gevonden om fusie te behouden en te beheersen die geen mens had bedacht. Het ontwerp belooft overvloedige, goedkope en schone elektriciteit. Robots staan klaar om de componenten te produceren en de centrale te bouwen.
Een terawatt is een krankzinnige hoeveelheid elektrische energie. We zouden beslissen of we een machine bouwen die enorme energiestromen hanteert op basis van principes die we nooit hebben bedacht, laat staan in de praktijk hebben gebracht. We zouden moeten begrijpen hoe storingen kunnen worden ingedamd, wat er gebeurt met energie die al in het systeem is opgeslagen wanneer het wordt uitgeschakeld, hoe we er zeker van kunnen zijn dat de materialen waarvan de centrale is gemaakt zich gedragen zoals verwacht, en welke andere vragen we moeten stellen voordat we verder gaan. Juist de nieuwheid die het voorstel spannend maakt, betekent dat we geen vertrouwen kunnen ontlenen aan decennia aan ervaring met soortgelijke centrales of experimenten.
Voordat de bouw wordt goedgekeurd, zou ik willen dat menselijke gemeenschappen begrijpen waarom het ontwerp werkt en wat het vertrouwen in de veiligheid rechtvaardigt. Ik hoop dat we dat allemaal zouden willen.
Model versus garantie
Menselijke betrokkenheid verbetert een technische beslissing niet automatisch, en ik zie geen reden om erop te staan dat mensen handmatig werk herhalen dat een AI-systeem betrouwbaarder zou kunnen uitvoeren, inclusief het bewijzen van wiskundige garanties. Maar een stelling kan alleen bestaan binnen een model. De garantie begrijpen betekent het model begrijpen, het experimentele bewijs daarvoor, en onze onzekerheden over de nauwkeurigheid van dat model. Dit is veeleisend werk, en er moeten wiskundig geschoolde mensen beschikbaar zijn om zich hiermee bezig te houden.
Men zou kunnen reageren dat AI-systemen deze vragen ook moeten behandelen, en uiteindelijk moeten beslissen of de centrale gebouwd moet worden. Dat is een serieus standpunt. Maar het vraagt ons om een toekomst te accepteren waarin beslissingen van enorm belang rusten op redenen die geen enkele menselijke gemeenschap begrijpt.
Ik wil niet dat we in die toekomst belanden simpelweg omdat we hebben verzuimd te investeren in ons eigen vermogen om te begrijpen. Menselijke handelingsbekwaamheid is een waarde van fundamenteel belang. We moeten het vermogen behouden om zinvol alternatieven te overwegen en te beslissen in wat voor soort wereld we deel willen uitmaken van de bouw. Ik denk dat het de moeite waard is. [2]
Een inzetbare intellectuele reserve
Om deze verantwoordelijkheid op ons te nemen, moeten we wellicht ons beeld verbreden van wat een wiskundige kan bijdragen. Ik denk hierbij aan iets als een "inzetbare intellectuele reserve": gemeenschappen van wiskundig geschoolde mensen die de mensheid kan oproepen om te helpen bij het begrijpen van consequentiële doorbraken die door AI zijn mogelijk gemaakt.
Ons vermogen om moeilijke en onbekende ideeën te begrijpen, kan een van de belangrijkste bijdragen worden die we aan de samenleving kunnen leveren. We zouden bereid moeten zijn om die vaardigheid in te zetten voor problemen die ver buiten onze gebruikelijke onderzoeksinteresses liggen [3]. Dit vraagt van ons dat we ons besef van ons roeping uitbreiden.
Een tegenargument zou kunnen zijn dat AI-systemen ieder van ons zoveel effectiever maken dat minder mensen dit werk kunnen doen, zelfs terwijl het tempo van ontdekkingen versnelt. Maar ieder van ons is simpelweg menselijk. We hebben fundamentele beperkingen gebaseerd op onze biologie. Diepgang van begrip vereist tijd en een levenstempo dat mensen kunnen volhouden. Van een individueel mens kan slechts een beperkte hoeveelheid worden gevraagd, maar door oprechte samenwerking kunnen we veel meer bereiken.
Als AI aan zijn belofte voldoet, zullen we meer prachtige en ingrijpende ideeën tegenkomen dan we ooit hebben gezien. We moeten daarop reageren door bloeiende menselijke gemeenschappen op te bouwen die deze samen kunnen begrijpen.
We gaan veel meer wiskundigen nodig hebben.
***
Opmerkingen
- De ideeën en meningen in dit artikel zijn volledig van mijzelf, maar GPT 6 Astra was instrumenteel bij het opstellen van deze notitie. Tevens bedank ik mijn voormalige student Dakshita Khurana, mijn huidige student Isaac Hair, mijn collega Terence Tao, en mijn familieleden Anant Sahai en Gireeja Ranade voor waardevolle feedback.
Voetnoten [1] Hiermee wil ik niet suggereren dat in de toekomst alleen AI-gegenereerde resultaten interessant zullen zijn. Maar voor grote resultaten die door mensen zijn gegenereerd, hebben we al een traditie van het besteden van langere perioden aan het bestuderen ervan. [2] En het relevante begrip kan niet alleen toebehoren aan de organisatie die de technologie voorstelt. Stel je een openbare hoorzitting voor waarbij de experts van het bedrijf de enige mensen zijn die het technische argument kunnen volgen. Onafhankelijke expertise is cruciaal. [3] AI-systemen zullen waarschijnlijk zeer nuttig zijn om onderzoekers met diverse achtergronden effectief met elkaar te laten communiceren en, in bredere zin, onbekende concepten te laten begrijpen.
We gaan veel meer wiskundigen nodig hebben
Toen ik een undergraduate-student was, herinner ik me gesprekken met verschillende studenten die het gevoel hadden dat het tempo waarmee de beste studenten nieuwe wiskundige concepten begrepen, veel te hoog voor hen lag. Zij konden de ideeën ook begrijpen, maar het kostte hen veel meer tijd. Uiteindelijk hebben bijna al deze studenten hun droom om wiskundig onderzoek te doen opgegeven en iets anders gezocht. De afgelopen dagen heb ik veel aan die studenten gedacht.
De gemeenschap van wiskundig onderzoekers bestaat grotendeels uit mensen die zich zelden zo voelden, of die dat wel voelden maar erdoorheen zijn gekomen door hard werk. We hebben het geluk gehad een plek in de wiskunde te vinden waar we vooruitgang konden boeken. Maar we gaan nu een tijdperk van nederigheid in: een tijd waarin we allemaal zullen ervaren hoe het voelt om niet meer mee te kunnen komen.
De AI-systemen waarmee ik heb gewerkt, produceren nu al prachtige nieuwe ideeën. Ze doen veel meer dan alleen indrukwekkende berekeningen of het snel uitvoeren van argumenten die een sterke menselijke onderzoeker allang zou begrijpen. En we kunnen ons waarschijnlijk niet eens voorstellen welke wonderbaarlijke ideeën toekomstige systemen in staat zullen zijn te produceren.
Wanneer we voelen dat we het tempo niet kunnen bijbenen, zullen we dat dan als een reden nemen om het wiskundig onderzoek te verlaten, net als de studenten aan wie ik me herinner? Naarmate meer van ons dit ervaren, zal er ongetwijfeld de verleiding zijn om dezelfde conclusie te trekken: als machines zoveel sneller kunnen bewegen dan wij, moeten we misschien iets anders gaan doen.
De verantwoordelijkheid om te begrijpen
Voor onze gemeenschap zou het opgeven van het werk om te begrijpen een ernstige verzaking van onze verantwoordelijkheid tegenover de mensheid zijn. Ieder van ons heeft het recht om voor een ander leven te kiezen. De verantwoordelijkheid waar ik over spreek, is een collectieve: het bouwen aan een toekomst waarin mensen kunnen begrijpen en kunnen bijdragen aan de ontdekkingen die onze wereld zullen veranderen. Een toekomst met betekenisvolle menselijke handelingsbekwaamheid.
Strijd is essentieel voor het begrijpen van moeilijke concepten. Gelukkig kan deze strijd gedeeld worden. Ik ben gezegend dat ik dit keer op keer heb ervaren met mijn studenten en collaborators. Stel je een veelvoud aan onderzoeksgroepen voor, elk met aanhoudende steun, die elk een kwartaal of een jaar besteden aan het proberen te begrijpen van een buitengewone set ideeën geproduceerd door een AI-systeem, met behulp van AI-systemen [1].
Dit zou zeer goed tot het belangrijkste wiskundige werk van de komende jaren kunnen behoren, en we zouden dit dienovereenkomstig moeten ondersteunen en prioriteren. Deze onderneming zal een aanzienlijke uitbreiding vereisen van het aantal wiskundig geschoolden menselijke onderzoekers dat wereldwijd beschikbaar is, naarmate grote doorbraken zich opstapelen.
Waarom de samenleving dit nodig heeft
Waarom zou de samenleving dit willen? Tot nu toe klinkt dit misschien als een utopische fantasie voor ons – een beschaving die gericht is op de diepte van het menselijk begrip, overspoeld door wiskundigen, natuurkundigen en dergelijke. Ik zou zeker in zo'n wereld willen leven. En er zijn inderdaad diepe filosofische redenen voor de samenleving om in deze richting te bewegen. Maar ik denk dat de samenleving ook een veel directer belang heeft bij het mogelijk maken hiervan.
Stel je voor dat een toekomstig AI-systeem een radicaal nieuw ontwerp voorstelt voor een kernfusiecentrale van één terawatt. Het heeft een manier gevonden om fusie te behouden en te beheersen die geen mens had bedacht. Het ontwerp belooft overvloedige, goedkope en schone elektriciteit. Robots staan klaar om de componenten te produceren en de centrale te bouwen.
Een terawatt is een krankzinnige hoeveelheid elektrische energie. We zouden beslissen of we een machine bouwen die enorme energiestromen hanteert op basis van principes die we nooit hebben bedacht, laat staan in de praktijk hebben gebracht. We zouden moeten begrijpen hoe storingen kunnen worden ingedamd, wat er gebeurt met energie die al in het systeem is opgeslagen wanneer het wordt uitgeschakeld, hoe we er zeker van kunnen zijn dat de materialen waarvan de centrale is gemaakt zich gedragen zoals verwacht, en welke andere vragen we moeten stellen voordat we verder gaan. Juist de nieuwheid die het voorstel spannend maakt, betekent dat we geen vertrouwen kunnen ontlenen aan decennia aan ervaring met soortgelijke centrales of experimenten.
Voordat de bouw wordt goedgekeurd, zou ik willen dat menselijke gemeenschappen begrijpen waarom het ontwerp werkt en wat het vertrouwen in de veiligheid rechtvaardigt. Ik hoop dat we dat allemaal zouden willen.
Model versus garantie
Menselijke betrokkenheid verbetert een technische beslissing niet automatisch, en ik zie geen reden om erop te staan dat mensen handmatig werk herhalen dat een AI-systeem betrouwbaarder zou kunnen uitvoeren, inclusief het bewijzen van wiskundige garanties. Maar een stelling kan alleen bestaan binnen een model. De garantie begrijpen betekent het model begrijpen, het experimentele bewijs daarvoor, en onze onzekerheden over de nauwkeurigheid van dat model. Dit is veeleisend werk, en er moeten wiskundig geschoolde mensen beschikbaar zijn om zich hiermee bezig te houden.
Men zou kunnen reageren dat AI-systemen deze vragen ook moeten behandelen, en uiteindelijk moeten beslissen of de centrale gebouwd moet worden. Dat is een serieus standpunt. Maar het vraagt ons om een toekomst te accepteren waarin beslissingen van enorm belang rusten op redenen die geen enkele menselijke gemeenschap begrijpt.
Ik wil niet dat we in die toekomst belanden simpelweg omdat we hebben verzuimd te investeren in ons eigen vermogen om te begrijpen. Menselijke handelingsbekwaamheid is een waarde van fundamenteel belang. We moeten het vermogen behouden om zinvol alternatieven te overwegen en te beslissen in wat voor soort wereld we deel willen uitmaken van de bouw. Ik denk dat het de moeite waard is. [2]
Een inzetbare intellectuele reserve
Om deze verantwoordelijkheid op ons te nemen, moeten we wellicht ons beeld verbreden van wat een wiskundige kan bijdragen. Ik denk hierbij aan iets als een "inzetbare intellectuele reserve": gemeenschappen van wiskundig geschoolde mensen die de mensheid kan oproepen om te helpen bij het begrijpen van consequentiële doorbraken die door AI zijn mogelijk gemaakt.
Ons vermogen om moeilijke en onbekende ideeën te begrijpen, kan een van de belangrijkste bijdragen worden die we aan de samenleving kunnen leveren. We zouden bereid moeten zijn om die vaardigheid in te zetten voor problemen die ver buiten onze gebruikelijke onderzoeksinteresses liggen [3]. Dit vraagt van ons dat we ons besef van ons roeping uitbreiden.
Een tegenargument zou kunnen zijn dat AI-systemen ieder van ons zoveel effectiever maken dat minder mensen dit werk kunnen doen, zelfs terwijl het tempo van ontdekkingen versnelt. Maar ieder van ons is simpelweg menselijk. We hebben fundamentele beperkingen gebaseerd op onze biologie. Diepgang van begrip vereist tijd en een levenstempo dat mensen kunnen volhouden. Van een individueel mens kan slechts een beperkte hoeveelheid worden gevraagd, maar door oprechte samenwerking kunnen we veel meer bereiken.
Als AI aan zijn belofte voldoet, zullen we meer prachtige en ingrijpende ideeën tegenkomen dan we ooit hebben gezien. We moeten daarop reageren door bloeiende menselijke gemeenschappen op te bouwen die deze samen kunnen begrijpen.
We gaan veel meer wiskundigen nodig hebben.
***
Opmerkingen
- De ideeën en meningen in dit artikel zijn volledig van mijzelf, maar GPT 6 Astra was instrumenteel bij het opstellen van deze notitie. Tevens bedank ik mijn voormalige student Dakshita Khurana, mijn huidige student Isaac Hair, mijn collega Terence Tao, en mijn familieleden Anant Sahai en Gireeja Ranade voor waardevolle feedback.
Voetnoten [1] Hiermee wil ik niet suggereren dat in de toekomst alleen AI-gegenereerde resultaten interessant zullen zijn. Maar voor grote resultaten die door mensen zijn gegenereerd, hebben we al een traditie van het besteden van langere perioden aan het bestuderen ervan. [2] En het relevante begrip kan niet alleen toebehoren aan de organisatie die de technologie voorstelt. Stel je een openbare hoorzitting voor waarbij de experts van het bedrijf de enige mensen zijn die het technische argument kunnen volgen. Onafhankelijke expertise is cruciaal. [3] AI-systemen zullen waarschijnlijk zeer nuttig zijn om onderzoekers met diverse achtergronden effectief met elkaar te laten communiceren en, in bredere zin, onbekende concepten te laten begrijpen.
Groetjes,