Wie heeft de machines wiskunde geleerd?

Op 6 oktober bracht OpenAI meer dan zevenhonderd wiskundige manuscripten uit die zijn geproduceerd door een intern AI-systeem. Sommige hiervan werden vergezeld door formele bewijzen in Lean, andere bevonden zich in verschillende stadia van verificatie. Ik kon het niet over me brengen om de lijst met papers door te lopen. Het deed me denken aan 2021, toen ik voorzitter was van het FOCS-programmacomité en er in een paar dagen tijd ongeveer vierhonderd inzendingen binnenkwamen. Destijds was ik enthousiast om te zien wat mijn gemeenschap had geproduceerd. In dit geval voelde het alsof er een pakket van Mars was neergestort. Ik klikte op een paar problemen waar ik me in het verleden mee had beziggehouden, maar las niet verder. Ik voelde een vreemde disconnectie; mijn nieuwsgierigheid was niet groot genoeg om die te overwinnen.

In mei schreef ik een essay genaamd The Branch and the Wish over wat er zou kunnen gebeuren met de wiskunde wanneer machines precies die dingen zouden kunnen produceren waarop wiskundigen hun prestaties al lang meten. Mijn zorg was toen niet dat machines onjuiste wiskunde zouden produceren, maar wat er zou gebeuren wanneer ze zeer goed zouden worden in het produceren van correcte bewijzen. In de loop der tijd is de wiskunde gaan identificeren dat de zichtbare output — de stelling, het bewijs, het artikel — gelijkstaat aan de activiteit zelf, terwijl de jaren van mislukte pogingen, de ontwikkeling van intuïtie en smaak, en de vorming van een wiskundige minder zichtbaar werden. Ik maakte gebruik van de verhalen van Kālidāsa en koning Midas om deze precaire situatie te beschrijven. We hadden gewenst dat bewijzen expliciet gemaakt, geverifieerd en bewaard konden worden, onafhankelijk van degenen die ze produceerden. Dat waren goede wensen. Maar nu machines deze wensen vervullen, ontdekken we misschien wat we over het hoofd hebben gezien.

Reputatie en Verificatie

Wanneer een wiskundige een resultaat aankondigt, is hun reputatie verbonden aan die claim. Een wiskundige kan maanden, soms jaren, aan een probleem werken en wordt geacht het argument te begrijpen en een oordeel te vellen voordat het wordt aangekondigd. Wiskundigen maken fouten (ik ook), en zelfs de besten hebben onjuiste bewijzen gepubliceerd. Maar een ernstige fout kan jarenlang beïnvloeden hoe anderen naar hun werk kijken. OpenAI daarentegen kan honderden manuscripten publiceren, toegeven dat sommige fouten kunnen bevatten, en de gemeenschap uitnodigen om ze te onderzoeken. Het bedrijf krijgt aandacht voor het aantal resultaten, terwijl de gevolgen van individuele fouten veel diffuser zijn. Ik weet niet zeker of de conventies waarmee de wiskunde vertrouwen heeft behouden, ontworpen zijn voor deze manier van produceren en aankondigen van resultaten.

Dan is er de vraag wie de controle zal uitvoeren. Een wiskundige heeft misschien dagen of weken nodig om een onbekend bewijs te begrijpen, de details uit te werken, te bepalen of de stelling het oorspronkelijke probleem correct vat, en het te vergelijken met wat al bekend is. Formele bewijssystemen kunnen aanzienlijk helpen, maar beslissen welke resultaten belangrijker zijn, is een andere zaak. Daarvoor hebben we misschien een extra machine nodig die is getraind om wiskundige smaak te herkennen. Ik twijfel er niet aan dat zoiets ontwikkeld zou kunnen worden, maar dat was niet wat hier werd gepresenteerd. Als honderden resultaten tegelijk binnenkomen, ontstaat de aandacht die nodig is om ze te begrijpen niet simpelweg omdat ze zijn gepubliceerd. Het bedrijf kan ze relatief goedkoop genereren, terwijl wiskundigen moeten beslissen welke hun tijd waard zijn. In mijn essay uit mei maakte ik me zorgen dat verificatie een vaardigheid is die door een lang leerlingschap wordt ontwikkeld, en dat deze vaardigheid kan verslechteren als wiskunde steeds vaker aan machines wordt gedelegeerd. Nu is er een andere mogelijkheid: dat de bestaande capaciteit voor verificatie simpelweg overweldigd wordt door het volume aan geproduceerd materiaal.

De Onzichtbare Kennis

Ik dacht ook aan de talloze uren die ik heb besteed aan het opleiden van studenten in de wiskunde en theoretische informatica, en het uitleggen van de innerlijke werking van mijn resultaten aan collega's. We werkten aan de Unique Games Conjecture, sparsest cut, grafiek-Laplacianen, optimalisatie en aanverwante problemen, waaronder enkele die OpenAI nu claimt te hebben opgelost. Veel hiervan omvatte zaken die niet in tekstboeken of zelfs in onderzoekspapers verschijnen:

• Waarom een specifieke reductie nuttig is;
• Waarom een schijnbaar natuurlijke aanpak niet zal werken;
• Hoe je herkent wanneer je naar de verkeerde probleemformulering kijkt;
• Wat je moet proberen wanneer een argument vastloopt.

Door jarenlang wiskunde te bedrijven, leert men talloze kleine trucjes en stappen, vaak van de eigen leraren en collaborateurs. Ik gaf mijn eigen training en intuïtie door, die op hun beurt weer van anderen kwamen. Een deel daarvan was opgeschreven, maar veel niet. Het leefde in gesprekken, op schoolborden, in herhaalde pogingen om te begrijpen waarom iets werkte of faalde. Ik herinner me een gelegenheid waarop een collega me overtuigde om mijn plannen na STOC te wijzigen en mee te gaan naar hun universiteit, zodat ik mijn nieuwste resultaat over metric embeddings in grote detail kon uitleggen. Deze uitwisselingen kostten veel tijd, en ze behoorden tot de delen van het academische leven waar ik het meest om gaf.

Extractie van Expertise

Veel wiskundigen die aan universiteiten zijn opgeleid, inclusief sommigen die ik heb onderwezen en met wie ik heb samengewerkt, zijn overgestapt naar AI-bedrijven. Ikzelf heb tijd doorgebracht in industrieel onderzoek en ik heb nooit een probleem gehad met deze beweging. Mijn begrip hiervan werd mede gevormd door eerdere industriële onderzoekslaboratoria, waar een cultuur van openheid heerste en onderzoekers vaak vrij deelnamen aan de bredere wiskundige gemeenschap. Ik maakte me zorgen dat de wiskundige kennis die we aan elkaar doorgaven, uiteindelijk zou worden gebruikt om machines te trainen om wiskunde te bedrijven, inclusief de vele ongeschreven trucjes en tussenstappen die we hadden geleerd om zelf problemen op te lossen.

Ik weet niet precies hoe deze kennis in een machine terechtkomt, of hoeveel ervan überhaupt op deze manier kan worden overgedragen. Maar ik vraag me af over het grotere plaatje. Universiteiten besteden jaren aan het opleiden van mensen, vaak met publieke steun en binnen een intellectuele cultuur waarin kennis bedoeld is om gedeeld te worden. Bedrijven werven vervolgens deze mensen, verzamelen expertise die over generaties is ontwikkeld, en gebruiken dit om systemen te bouwen wiens doel steeds meer is om hetzelfde intellectuele werk te verrichten. De resulterende capaciteiten worden eigendomsactiva (proprietary assets), gebouwd met middelen en computerinfrastructuur die de universiteiten zelf niet kunnen evenaren.

Ik denk niet dat deze kennis toebehoorde aan mij of aan een specifiek persoon. Noort denk ik dat iemand mij iets verschuldigd was, anders dan wat we elkaar verschuldigd waren als mensen die samenwerken. Ik leerde wiskunde omdat anderen hun tijd en kennis vrijelijk gaven, en ik wilde hetzelfde doen voor de volgende generatie. De mogelijkheid dat een student iets zou gaan doen wat ik niet kon, was juist het punt. Maar ik had dit gezien als een voortzetting van een menselijke activiteit. Ik hielp iemand leren om wiskunde te bedrijven, en misschien zou die persoon anderen gaan onderwijzen, dingen ontdekken die ik niet had ontdekt, en een deel van wat we hadden geleerd meenemen in nieuwe richtingen. Ik kon me niet voorstellen dat deze kennis als iets behandeld zou worden dat bewaakt moet worden. De waarde lag juist mede in het feit dat het doorgegeven kon worden. Nu kan dit proces van overdracht onderdeel worden van het bouwen van systemen die bedoeld zijn om steeds meer van dit werk te doen zonder menselijke wiskundigen.

De Dynamiek van Samenwerking

Ik zou dit een vorm van extractie noemen, hoewel niet een eenvoudige. De industrie ondersteunt wiskunde al lange tijd, en veel belangrijke ideeën en instrumenten zijn voortgekomen uit industriële laboratoria. Er is ook geen reden waarom kennis die aan universiteiten is ontwikkeld, binnen universiteiten zou moeten blijven. Maar er is een verschil tussen industriële laboratoria waarvan de onderzoekers openlijk deelnemen aan de ontwikkeling van een vakgebied, en bedrijven die publiekelijk ontwikkelde kennis en expertise verzamelen om propriëtaire systemen te creëren. De mensen die decennia hebben besteed aan het ontwikkelen van deze kennis, hebben weinig te zeggen over wat er nu van wordt gebouwd. De uitwisseling die ik als vanzelfsprekend beschouwde tussen universiteiten en industrie, werkt mogelijk niet meer op dezelfde manier. En de instituten die ooit de vrije circulatie van wiskundige kennis ondersteunden, kunnen merken dat ze steeds afhankelijker worden van bedrijven die de resulterende technologie controleren.

Sommige van onze meest prominente wiskundigen hebben de bredere gemeenschap aangemoedigd om samen te werken met AI-systemen. Ik begrijp de opwinding. Deze systemen kunnen nu wiskunde bedrijven die slechts enkele jaren geleden moeilijk of onmogelijk voor te stellen waren. Maar wat moedigen we wiskundigen precies aan om te doen? Wanneer een wiskundige uren besteedt aan het werken met een propriëtair AI-systeem, fouten corrigeert, uitlegt waarom een aanpak niet werkt en betere suggesties doet, denken ze misschien dat ze simpelweg een tool gebruiken om hun onderzoek vooruit te helpen. Maar ze delen mogelijk ook het wiskundige oordeel dat jaren, soms generaties, heeft geduurd om te ontwikkelen. Niet elke interactie wordt noodzakelijkerwijs bewaard of gebruikt om een model te trainen, en de regelingen verschillen per systeem. Toch zouden deze interacties een bron kunnen worden voor verdere training en verbetering. De tools kunnen nuttig zijn, en dat nut moedigt mensen aan om ermee te werken. Maar wat wordt gepresenteerd als mens-AI-samenwerking, kan ook een andere manier zijn voor bedrijven om de ongeschreven kennis van de wiskundige gemeenschap te accumuleren. De aanmoediging komt mede van wiskundigen wiens oordeel en status zwaar wegen binnen de gemeenschap.

De Toekomst van de Wiskundige Activiteit

De publicatie heeft ook de relatie tussen AI-bedrijven en wiskundigen beïnvloed. Zelfs onder hen die wiskundigen hebben aangemoedigd om met AI samen te werken, is er nu ontsteltenis over hoe deze release is verlopen. Een onafhankelijke adviesgroep van wiskundigen verduidelijkte dat hun betrokkenheid niet moet worden opgevat als een goedkeuring van het proces, en sommige wiskundigen hebben opgeroepen tot een stopzetting van de samenwerking met OpenAI. Ik had niet verwacht dat een release die bedoeld was om wiskundige capaciteiten te demonstreren, zoveel wantrouwen zou oproepen. Ik denk ook aan de studenten en postdocs die jaren hebben besteed aan sommige van deze problemen. Of de bewijzen nu correct of incorrect blijken te zijn, hun werk is al verstoord. En als de bewijzen correct zijn, kunnen ze niet simpelweg teruggaan naar het verkennen van die problemen zoals ze dat voorheen deden. Ik kan de woede begrijpen, maar ik weet niet zeker of terugtrekken uit AI het antwoord is. Jongere wiskundigen die geïnteresseerd zijn in deze systemen, kunnen zich gevangen voelen tussen het verkennen ervan en het onderdeel blijven van hun wiskundige gemeenschappen. Ik zou niet willen dat de keuzes beperkt zijn tot het accepteren van de richting die AI-bedrijven bepalen of het volledig weigeren van de technologie.

Al die uren die ik heb besteed aan het uitleggen van wiskunde aan studenten en collega's, alle informele gesprekken, de mislukte aanpakken, de kleine trucjes die nooit in papers terechtkwamen — niets hiervan telde echt mee in het beroep. Wat telde waren de papers, stellingen, citaties, h-indices, prijzen, Fields-medailles en andere vormen van erkenning. Het maakte me niet uit dat de gesprekken niet werden meegeteld. Ik deed ze niet voor de erkenning, en ik zou er nu geen prijs op willen plakken. Maar veel van wat we in ons eigen beroep niet wisten te waarderen, kan nu juist een van de meest waardevolle zaken zijn voor bedrijven die machines bouwen om wiskunde te bedrijven. We hadden het eindresultaat al als de maatstaf voor wiskundige prestaties gesteld, terwijl de activiteit waardoor wiskundigen hun begrip ontwikkelden secundair werd. Nu machines die resultaten zelf beginnen te produceren, moeten we ons misschien ook afvragen wat we de wiskunde hebben aangedaan.

Als de reactie is om de menselijke wiskunde te reorganiseren rond een andere set prijzen, onderscheidingen en vormen van professionele erkenning, ditmaal bedoeld om het te beschermen tegen AI, weet ik niet zeker wat er dan echt veranderd zal zijn. Ik wil het wiskundige beroep zoals het nu bestaat niet bijzonder verdedigen. Ik ben in de loop der jaren gedesillusioneerd geraakt door veel aspecten ervan. Wiskunde bestond vóór de instituten en prikkels die het nu organiseren, en het zal ze vermoedelijk overleven. Maar wanneer professionele erkenning het organiserende doel wordt van een intellectueel leven, is er al iets verloren gegaan. Ik zou liever zien dat wiskundigen tijd besteden aan problemen die ze interessant vinden, zonder zich zorgen te maken of het werk zal leiden tot een publicatie, een prijs of een promotie. Ik zou liever zien dat er meer tijd wordt besteed aan het diepgaand uitleggen van een idee aan iemand, zoals mijn leraren en collega's bij mij deden, zonder te vragen welk professioneel voordeel er uit de uitwisseling zou voortvloeien. Als machines meer stellingen kunnen produceren dan wij, hoeft dat niet te betekenen dat er minder reden is voor een mens om wiskunde te bedrijven.

Een student kan jarenlang worstelen met een probleem zonder een gevierde stelling te produceren, en toch een begrip verwerven dat moeilijk te meten is. Een machine kan hetzelfde probleem in uren oplossen. Als het resultaat het enige is dat telt, is de machine efficiënter.

Ik had gehoopt dat ik, wanneer mijn kinderen ouder zouden zijn, een middag met hen boven een vel papier zou doorbrengen en enkele van de wiskundige trucjes zou delen die mij ooit zoveel vreugde gaven. Niet omdat ik verwachtte dat ze wiskundigen zouden worden, maar omdat ik wilde dat ze zouden ervaren wat anderen mij geduldig hadden getoond: hoe een moeilijk probleem plotseling eenvoudig kan lijken wanneer men het anders bekijkt. Ik stelde me voor dat we vast zouden lopen, iets anders zouden proberen, en uiteindelijk onze weg zouden vinden.

Tegen de tijd dat ze er klaar voor zijn, is het antwoord misschien al aanwezig voordat we zelfs maar zijn begonnen.

Ik weet niet zeker welke plek er nog is voor de middag die ik me had voorgesteld.