Bekendmaking van de Adviesgroep voor Wiskunde en Kunstmatige Intelligentie

Met deze gastbijdrage willen wij de oprichting aankondigen van de Adviesgroep voor Wiskunde en Kunstmatige Intelligentie (Advisory Group on Mathematics and Artificial Intelligence), gevestigd bij het Institute for Advanced Study (Princeton) en online bereikbaar via agmai.org.

De snelle vorderingen in kunstmatige intelligentie (AI) bieden zowel kansen als uitdagingen voor het wiskundig onderzoek. Wij geloven dat we ons op een historisch moment voor onze discipline bevinden. Recente gebeurtenissen roepen dringende vragen op over hoe het menselijk begrip van wiskunde op de lange termijn kan worden ondersteund.

Doel

Het doel van deze groep is om AI-bedrijven te adviseren over hun interacties met wiskundig onderzoek en de wiskundige gemeenschap, inclusief de verantwoorde presentatie en publicatie van wiskundige resultaten. Wij streven ernaar te handelen in het beste belang van de wiskunde en de wiskundige gemeenschap, en we willen dienen als een mogelijk communicatiekanaal tussen wiskundigen en de AI-industrie.

Onafhankelijkheid, Transparantie en Verantwoording

Deze groep opereert onafhankelijk van elk AI-bedrijf en de leden accepteren geen betaling voor dit werk. Wij zullen onze aanbevelingen aan AI-bedrijven publiceren op onze website. We zijn bereid dergelijke aanbevelingen te doen aan elk AI-bedrijf wier modellen waarschijnlijk een aanzienlijke impact zullen hebben op de wiskunde. Hoewel wij advies geven, hebben we geen beslissingsbevoegdheid binnen AI-bedrijven; de verantwoordelijkheid voor de beslissingen die door een bedrijf worden genomen, rust bij dat bedrijf zelf.

Leden van de Adviesgroep

• François Charles (ENS-PSL)
• Camillo De Lellis (IAS, GSSI)
• Timothy Gowers (Collège de France, Cambridge)
• Martin Hairer (EPFL, Imperial College London)
• Nikhil Srivastava (Berkeley, Simons Institute)
• Ulrike Tillmann (Oxford, INI)
• Ravi Vakil (Stanford)
• Edward Witten (IAS)
• Melanie Matchett Wood (Harvard)

Deze groep is gevormd nadat OpenAI enkele van haar leden benaderde over het oprichten van een externe adviesraad. In overeenstemming met OpenAI hebben zij besloten een onafhankelijke groep op te richten en anderen uit te nodigen om zich aan te sluiten.

Huidige Taak

We staan momenteel voor de zeer specifieke uitdaging om OpenAI te adviseren over hoe de publicatie van een groot aantal significante resultaten in de wiskunde moet worden gecoördineerd, waarvan zij rapporteren dat deze zijn geproduceerd door hun interne model.

Wij verwelkomen input van de wiskundige gemeenschap over deze kwestie. Gebruik alstublieft het formulier om uw gedachten zo spoedig mogelijk met ons te delen. Uw reacties zullen worden gebruikt om onze aanbevelingen te onderbouwen en zullen niet openbaar worden gemaakt zonder uw toestemming.

***

Discussie en Reacties

Anoniem: We staan momenteel voor de zeer specifieke uitdaging om OpenAI te adviseren over hoe de publicatie van een groot aantal significante resultaten in de wiskunde moet worden gecoördineerd die zij rapporteren geproduceerd te hebben door hun interne model. Wordt ons op een bepaald moment verteld wat de aard van deze resultaten is? En hoe zit het met het feit dat ze wiskunde niet als benchmark zouden moeten gebruiken, zodat deze situatie in de toekomst niet meer voorkomt?

Anoniem: Recente modellen zijn zo capabel dat het testen ervan op onderzoeksproblemen de enige betekenisvolle manier is om hun vermogens te meten. Daar is niets mis mee. Niemand bezit de wiskunde.

Anoniem: Het is zeer ontmoedigend om alle cynische reacties hier te zien. Ten eerste: of wiskunde nu als benchmark wordt gebruikt of niet, de situatie zal nooit veranderen. Vandaag zullen er 100 problemen worden opgelost en volgend jaar 1000. Het maakt niet uit of ze worden opgelost door OpenAI, Anthropic of een Chinese groep. Als je de progressie van schaakengines bestudeert, zullen zelfs laptops zeer binnenkort in staat zijn om Navier-Stokes op te lossen.

Ten tweede is het aan de academische wereld om menselijke bijdragen in de wiskunde te waarderen, zoals bijvoorbeeld de uiteenzetting van bewijzen (proof exposition). Dit heeft niets te maken met de frontier labs. Sterker nog, we zouden hen moeten bedanken voor het blootleggen van onze problemen. Als wetenschapper geloof ik dat de academische wereld al een tijdje kapot is. We zouden deze kans moeten grijpen om samen met de frontier labs aan tafel te gaan zitten om te werken aan een betere toekomst. We kunnen de academische wereld hervormen en menselijk werk belonen. Het ligt echt aan ons. En vergeet niet dat zodra het stof is neergedaald, AI ook voor de natuurwetenschappen zal komen, wat zal leiden tot versnelde genezingen voor duizenden ziekten. Laten we de toekomst niet bestrijden, maar juist omarmen.

Burt Totaro: Als ik dacht dat dit een goed idee was, zou dit een geweldige groep mensen zijn om het te doen. Maar ik heb onmiddellijke twijfels. OpenAI heeft zeer slechte publiciteit gehad en probeert daarom gebruik te maken van het vertrouwen en respect dat deze wiskundigen genieten. Het is onrealistisch om te denken dat deze groep de manier waarop OpenAI zaken doet kan veranderen; ik hoef jullie niet alle bezwaren te noemen die mensen daarover hebben geuit. Is het een goed idee om te helpen bij hun crisismanagement?

Just different: Wat is het alternatief en waarom zou dat op de lange termijn beter zijn?

Michele Caselli: Op dit moment denk ik dat enige samenwerking beter is dan geen samenwerking. Ik begrijp de zorg dat dit wordt gebruikt als crisismanagement, maar laten we realistisch zijn. Er is al een wijdverbreid beeld (door de manier waarop dit in de media wordt gerapporteerd) dat "wiskunde is opgelost" en dat wiskundigen aandringen op het vertragen van AI-wiskunde om hun privileges/baan niet te verliezen.

Als we ons glazen kasteel blijven beschermen en OpenAI morgen 100 door AI opgeloste open problemen publiceert, zonder zorg voor uiteenzetting of voor de ideeën die door de gemeenschap worden geabsorbeerd zoals tot nu toe is gebeurd, denk ik dat de situatie alleen maar erger zou worden. OpenAI heeft de samenwerking van de wiskundige gemeenschap niet nodig om resultaten te publiceren. Het is tijd dat enkele wiskundigen, als een onafhankelijke entiteit, instappen om concrete en tastbare richtlijnen te geven over wat er moet gebeuren. Natuurlijk is er een risico dat OpenAI reputatievoordeel haalt uit deze interactie, en dat is een prijs die we denk ik moeten betalen, maar het weigeren van elke vorm van contact zal het kasteel niet repareren. Het kasteel heeft al zichtbare scheuren, en het laten gebeuren zonder enige samenwerking zou het zeker vernietigen.

Anoniem: @Michele Caselli, jouw positie gaat ervan uit dat wiskundigen in het nadeel zijn. In feite heeft Burt gelijk dat we, als we weigeren samen te werken, de hele onderneming van OpenAI om "wiskunde op te lossen" kunnen delegitimeren. We moeten zeer voorzichtig zijn; deze mensen zijn NIET onze vrienden. Ze streven er in feite expliciet naar om wiskundigen te vervangen. Waarom zouden we hen helpen? Als een conjectuur in een bos viel maar niemand het zag vallen, viel het dan wel?

Michele Caselli: Ik denk niet dat mijn positie dat aanneemt. Mijn positie is dat het publieke/mediale narratief is dat wiskundigen in het nadeel zijn, wat iets anders is en iets dat veel minder onder onze controle staat. In die zin denk ik dat we de prijs van inactiviteit op dit moment onderschatten. Ik ben absoluut geen fan van OpenAI en de manier waarop ze ons vakgebied voor eigen gewin hebben gebruikt. Maar het probleem is er al, en simpelweg niets doen is geen antwoord. Er is die uitspraak: "Als je niet aan tafel zit, sta je op het menu." Nou, ik denk dat dit onze kans is om aan tafel te gaan zitten. Ze hebben het eerste gerecht al gegeten, we krijgen misschien geen tweede kans.

S: De situatie is simpelweg dat OpenAI enkele resultaten heeft en tegen de wiskundige gemeenschap (vertegenwoordigd door deze groep) zegt: "we hebben enkele resultaten; beslis maar of jullie ze willen of niet". Reageren op hen "helpt" OpenAI niet; als wiskundigen niet willen dat ze hun resultaten communiceren, zijn ze gelukkig om op die resultaten te gaan zitten en door te gaan met wat ze intern doen. Je zegt dat het onrealistisch is om te denken dat deze groep de manier waarop OpenAI zaken doet kan veranderen, en dat is inderdaad onrealistisch, maar er is geen reden om dat überhaupt te denken; OpenAI is expliciet in hun blogpost dat "de groep niet verantwoordelijk zal zijn voor het adviseren over hoe we de snelheid van onze interne voortgang in de wiskunde bepalen".

Anoniem: "we hebben enkele resultaten; beslis maar of jullie ze willen of niet". Heb je bewijs dat dit is wat ze tegen de wiskundigen hebben gezegd? Zo niet, dan is dit hooguit indirect bewijs en je laat het veel altruïstischer en welwillender klinken dan het in werkelijkheid is. Deze relatie met OpenAI is niet eenzijdig. OpenAI (specifiek hun aankondiging over NS) zou graag willen overkomen alsof ze deze grote stellingen aan de mensheid schenken, terwijl ze in al hun reclame misbruik hebben gemaakt van wiskundigen. Denk aan de reclame met Terence Tao, die slechts fragmenten waren van een interview dat hij gaf, geadverteerd buiten de context. OpenAI leunt momenteel sterk op wiskundigen voor legitimiteit en publiciteit. Maak de dingen niet eenvoudiger dan ze zijn!

S: Dit is mijn lezing van de aankondiging van OpenAI over deze groep (met aandacht voor waar de groep over zal adviseren):

dit model heeft nu meer dan 100 langdurige open problemen in de meeste gebieden van de wiskunde opgelost [...] Dit heeft geleid tot interne discussies over de beste manier om de gemeenschap te informeren over de snelle voortgang [...] De groep zal adviseren over de beoordeling en communicatie van opkomende resultaten: ze zullen OpenAI helpen de significantie ervan te beoordelen, adviseren over hoe de verspreiding gecoördineerd moet worden, en adviseren over academische en professionele standaarden van wiskundig onderzoek. Het zal ook adviseren over hoe onze tools wiskundig onderzoek en leren kunnen ondersteunen. [...] Belangrijk is dat de groep niet verantwoordelijk zal zijn voor het adviseren over hoe we de snelheid van onze interne voortgang in de wiskunde bepalen.

Dus uit de aankondiging is duidelijk dat:

1. Ze zullen doorgaan met werken aan wiskunde, voor hun eigen doelen (de ontwikkeling en evaluatie van hun modellen).
2. Ze alleen input vragen van deze groep over of en hoe ze hun resultaten communiceren.

Ik denk niet dat ik het altruïstisch en welwillend laat klinken; ik denk zelfs dat er niets altruïstisch of welwillends aan is. Ze geven primair om hun modellen, en de impact op de wiskunde is secundair, laat staan de impact op wiskundigen. Ze besteden simpelweg de verantwoordelijkheid voor het communiceren van hun resultaten aan de wiskundige gemeenschap uit naar deze groep. Maar elke reactie (inclusief geen reactie) van deze groep zal intern niet (veel) beïnvloeden wat ze doen.

Anoniem: To the point en correct.

DH: "Deze groep vossen heeft ons uitgenodigd om hen te helpen alle kippen zo soepel mogelijk op te eten. We nodigen de kippen uit om suggesties te doen over hoe ze het beste gegeten kunnen worden."

Anoniem: Zeer treffend verwoord, DH.

Anoniem: Hallo! Ik ben een tweedejaars PhD-student in de zuivere wiskunde, en de zin "...een groot aantal significante resultaten in de wiskunde die zij rapporteren geproduceerd te hebben door hun interne model" maakt me echt moedeloos. Vooral zonder te zeggen hoeveel resultaten en welke resultaten. Ik begrijp dat dergelijke vorderingen belangrijk zijn voor de wiskunde, maar mijn kleine menselijke brein kan niet anders dan interpreteren dat de tijd die ik besteed aan mijn PhD tijdverspilling is. Vier jaar besteden aan iets dat een agent-zwerm in één dag of minder zou kunnen bewijzen.

Vergeef mijn pessimisme. Ik heb veel wiskundigen horen praten over de huidige situatie met variërende graden van enthousiasme, variërend van volledige afwijzing van LLM's tot onvoorwaardelijke assimilatie in de gemeenschap. Ik geloof dat er veel te winnen valt bij computerondersteunde wiskunde, maar persoonlijk weet ik niet of dit een beroep is waar ik aan wil deelnemen. Antwoorden zoeken via vibe-prompting van LLM's. Maar, voor beter of slechter, de toekomst volgt geen vaste set regels. Ik denk dat alleen de tijd zal uitwijzen hoe de zaken evolueren...

Ik maak misschien de indruk van een oppervlakkig persoon, en dat ben ik misschien ook, maar de huidige stand van zaken voelt overweldigend voor mij. Ik geloof dat dit een redelijke reactie is voor mijn fase in de carrière, en natuurlijk deel van de menselijke natuur. Maar de menselijke natuur kan gemakkelijk worden misleid. In mijn hoofd komt de volgende parafrase van Thucydides: "Mensen denken altijd dat de grootste oorlog degene is die ze op dit moment voeren, en wanneer die voorbij is, zijn ze meer onder de indruk van oorlogen uit de oudheid."

Misschien loopt alles goed af en zitten we gewoon in het midden van een spreekwoordelijke paniekaanval. Maar hoop alleen is niet genoeg. Er moeten acties worden ondernomen om te behouden wat het waard is om bewaard te worden in de gemeenschap en om aan te passen wat de toekomst niet kan doorstaan. Excuses voor het lange bericht, en voor het "hardop denken".

Anoniem: Elke PhD-student denkt precies zo. Naar mijn mening is er geen toekomst voor wiskundigen zolang deze technologie bestaat. Mensen worden wiskundige omdat ze ervan genieten om prachtige problemen op te lossen, niet omdat ze graag "slop" lezen en interpreteren dat door een machine is uitgespuugd. Het echte gevaar voor de wiskunde is niet dat AI onze banen overneemt (omdat het per definitie de wiskunde niet kan "oplossen", wat een inherent menselijke activiteit is), maar eerder dat niemand het meer wil doen, omdat er niets aantrekkelijks is aan het lezen van resultaten die uit een next-bit predictor komen. Ze hebben ons iets waardevols ontnomen en we zouden deze bedrijven moeten behandelen als wat ze zijn—vijanden van de wiskunde en de mensheid in het algemeen. Er is geen onderhandeling of afspraak mogelijk met hen. Wat jammer om te zien dat wiskundigen helpen bij het automatiseren van hun eigen verdwijning onder het mom van het oplossen van prachtige problemen...

felixleditzky: Ik vind je bericht absoluut niet oppervlakkig, en je uit zeer geldige en reële zorgen die ik ook van mijn promovendi heb gehoord. Het spijt me echt voor de negatieve impact die deze recente ontwikkelingen op jou en andere studenten hebben gehad.

old-bielefelder: Bedankt voor je open gedachten. Heb je ooit een model zoals ChatGPT 5.6 of Astra 6.0 geprobeerd voor je onderzoeksvragen? Zo niet, doe dat dan onmiddellijk. Het zal je het gevoel geven dat je vliegt. Na een paar uur heb je tussenresultaten die je zullen helpen om veel geavanceerdere vragen te formuleren.

Ik ben geboren in 1961 en was van 1994 tot 2023 professor in de toegepaste wiskunde. In de afgelopen 12 maanden heb ik – met behulp van AI – meer prachtige resultaten behaald dan in de 43 jaar daarvoor samen. Ik ben ook actief in de wereld van het schaken met computerhulp sinds 1979. De veranderingen en uitdagingen die de wiskunde nu ziet, gebeurden in de jaren 90 in de schaakwereld. En het tilde het menselijke schaakniveau naar volledig nieuwe hoogten. 20 jaar geleden zei oud-wereldkampioen Vishy Anand in deze woorden: Wat we nu in het schaken zien, gebeurde soortgelijk in de astronomie. Het is niet langer zo romantisch als het was, maar het gebruik van computergestuurde technieken gaf een enorme boost aan inzichten en voortgang. Terug naar mijn eerste punt: probeer AI eens uit bij je onderzoeksvragen. Ik wens je het allerbeste, Ingo Althöfer.

Anoniem: Ik ben uiterst wantrouwig tegenover AI-bedrijven in het algemeen en ben somber over de toekomst van het vakgebied. Ik ben een niemand die als elektricien werkt in een derde-wereldland die het niet kon betalen om naar college te gaan, dus ik bestudeer wiskunde in mijn vrije tijd, alleen en autonoom. Dat zijn mijn referenties (op een bepaalde manier waardeloos, hè).

Hoe dan ook, als dit bericht en initiatief serieus zijn, zou ik de groep adviseren om allereerst een duidelijke verklaring te eisen over het soort menselijke interventie dat is gebruikt bij alle problemen (met betrekking tot prompting, begeleiding, het opschonen van valse starts, etc.) en de gebruikte middelen (elektriciteit, rekenkracht, koelmedia, internettoegang, etc.). Ten slotte, vraag beleefd maar dringend dat ze de wiskunde voorlopig met rust laten, aangezien de manier waarop ze het vakgebied misbruiken om hun reputatie te bevorderen absoluut walgelijk is.

Anoniem: OpenAI wil de probleemoplossende capaciteit van hun AI-model voor PR-doeleinden gebruiken, aangezien ze dit zien als een manier om hun komende IPO te stimuleren. Wil je hen helpen met deze PR?

Anoniem: Wat voor aandelen krijg ik?

Anoniem: Dit is surely gewoon een Trojaans paard?

Anoniem: Ik dacht dat we er eindelijk over eens waren dat het belang van OpenAI (en in het algemeen alle AI-bedrijven) en het belang van de wiskundige gemeenschap op een bepaalde manier orthogonaal waren, maar hier gaan we weer. Ik zou niet verrast zijn als we volgende maand een kop lezen als "9 topwiskundigen zeggen dat OpenAI de beste is...".

brianbeverly1: "We staan momenteel voor de zeer specifieke uitdaging om OpenAI te adviseren over hoe de publicatie van een groot aantal significante resultaten in de wiskunde moet worden gecoördineerd die zij rapporteren geproduceerd te hebben door hun interne model."

Ik zou naar het LEAN-certificaat kijken om er zeker van te zijn dat het geldig is. Controleer de premisse, want garbage in garbage out, en zorg ervoor dat het een unieke ontdekking is en niet gebaseerd is op het ongepubliceerde werk van iemand anders. Ik zou zeggen: peer review het, maar niemand gaat een bewijs van 200 pagina's met de hand controleren. Ed Witten zit in de raad. Was het de Yang-Mills mass gap? Ik ben in de bar als iemand zich bij mij wil voegen.

Anoniem: Zou je mensen uit de geesteswetenschappen kunnen uitnodigen voor het gesprek? Wiskunde kan nieuwe waarheden ontdekken, maar het is ook de taak van de geesteswetenschappen om te vragen wat die waarheden betekenen voor mensen. Wiskundigen weten zelden hoe ze moeten nadenken over hoe de geest van wiskundigen werkt. We hebben mensen nodig die diep nadenken over de aard van de menselijke geest, in samenwerking met andere geesten — we hebben mensen nodig die op de hoogte zijn van de geschiedenis van het werk en de praktijk. We hebben filosofie, cognitieve wetenschap en sociologie nu meer dan ooit nodig...

Anoniem: Ik vind het goed dat deze resultaten openbaar worden gemaakt. Ik wil dat ze een paar dingen onthullen: welke problemen hebben ze geprobeerd? Wat was de methodologie om deze resultaten te verkrijgen? Wat was de denkketen (chain of thought) achter deze resultaten? Wat betreft de beste manier om dit openbaar te maken, denk ik dat ze contact moeten opnemen met experts in de specifieke problemen die ze hebben opgelost en hen de tijd moeten geven om iets op te schrijven of die taak te delegeren aan hun studenten/postdocs. Ik denk dat dit bedrijf in de toekomst weg moet blijven van de frontlinies van het wiskundig onderzoek.

Anoniem: Ik ben het sterk eens met de suggestie om ook de geprobeerde problemen, de methodologie en de denkketen te onthullen. Over het uitschrijven: er is geen echt geweldig alternatief gezien de huidige instituten, maar ik vind het niet fijn dat OpenAI (of enig ander comité) verantwoordelijk is voor het kiezen van winnaars en verliezers in deze omstandigheid. Het zou beter zijn om oplossingen in een vaste publieke repository te plaatsen (niet arXiv) en iedereen die een goede uiteenzetting of aanvullende inzichten wil extraheren, dat te laten doen. Misschien kan er een manier zijn om aan te geven dat iemand hiermee bezig is, zodat anderen kunnen coördineren, maar ik kan me voorstellen dat dat ook nadelen heeft.

Hoewel ik ermee eens ben dat het beter is dat deze resultaten gewoon openbaar worden gemaakt, en ik veel respect heb voor de leden van de groep in dit bericht, deel ik ook het scepticisme dat veel reacties hebben geuit over deze coördinatie. Er is een lange geschiedenis van mensen met goede bedoelingen die coördineren met mensen aan de top van OpenAI, om er kort daarna achter te komen dat ze gemanipuleerd zijn.

bengreen: Ik vind dit idee echt niet leuk. Zouden de experts/studenten/postdocs geheim moeten houden welke resultaten ze uitschrijven? Hoe zouden deze mensen worden gekozen? Zouden ze toegestaan worden om verdere gerelateerde richtingen te volgen terwijl ze dit doen? Nu deze resultaten zijn bewezen en bekend zijn bij sommige mensen, zie ik geen ander alternatief dan ze zo snel mogelijk openbaar te maken aan de wiskundige gemeenschap, die vervolgens ethische manieren moet afspreken om verder te gaan. Persoonlijk is het model dat ik voortrek (en het makkelijkst te controleren) dat iedereen die aan een uiteenzetting of ontwikkeling van een bepaald resultaat wil werken, dat vrij kan doen zonder enig begrip van "prioriteit" en zonder haast, en met sterke ethische standaarden (als men beïnvloed is door de uiteenzetting van een andere partij, geef dat dan aan). Idealiter zouden mensen vrij open zijn over welke projecten ze uitvoerden.

Anoniem: Dat is vast een leuk idee, maar als ik iemand bij OpenAI kan vragen een probleem voor mij op te lossen, dan werk ik zelf niet aan dat probleem, en ik ben er zeker van dat dit voor velen geldt. (Als dat geldt voor alle wiskunde, dan is het inderdaad tijd om iets anders te gaan doen.) De resultaten-dump zal leiden tot het verlaten van het vakgebied. Het meest productieve wat ze voor de gemeenschap kunnen doen, is Sebastian Bubeck ontslaan.

Anoniem: OpenAI is een groot bedrijf, en het primaire doel van de taskforce zou moeten zijn om een garantie te krijgen dat hun aanbevelingen serieus worden overwogen door iemand met werkelijke beslissingsbevoegdheid. OpenAI heeft al veel wiskundigen aangenomen, waaronder een verse Fields-medaillewinnaar, en vond het prima om elke denkbare grens over te gaan toen Navier-Stokes in zicht was.

Just different: Natuurlijk doet OpenAI dit alleen omdat ze denken dat het in hun eigen lange-termijnvoordeel is, maar ik vertrouw deze mensen veel meer dan dat ik een groep Caltech-ondergraduates vertrouw om niet in de maling genomen te worden.

Anoniem: "We staan momenteel voor de zeer specifieke uitdaging om OpenAI te adviseren over hoe de publicatie van een groot aantal significante resultaten in de wiskunde moet worden gecoördineerd die zij rapporteren geproduceerd te hebben door hun interne model." Bedoelen jullie dat jullie de uitdaging hebben om ervoor te zorgen dat ze deze keer een soepele advertentie krijgen? Als ze willen bijdragen aan de wiskunde, hoeven ze alleen maar honderden wiskundigen aan te nemen om hun "slop" te verteren. Wij zijn niet hun slaven.

Anoniem: Het is onduidelijk of het achterhouden van ontdekkingen hier de juiste weg is.

Anoniem: In tegenstelling tot wat deze groep van plan is, roep ik op tot een boycot van alle affiliaties met OpenAI. Hun gedrag (dat verder gaat dan wiskunde) is roekeloos en onverantwoordelijk geweest. Ik zie geen zin in het geven van legitimiteit aan hen, tenzij ze volledig transparant zijn over hun proces (het woord "open" in OpenAI voelt ironischer naarmate de tijd verstrijkt), hun overtredingen spijt betuigen, en een onafhankelijke audit van hun werking als bedrijf toestaan. Zolang ze de macht hebben, zal dit onafhankelijke comité geen nut hebben; ik zie het nut er niet van in. Hebben we niet al een gemeenschap van wiskundigen die conferenties kan organiseren waar we dit openlijk kunnen bespreken? Wat bereikt dit precies? Als OpenAI mee wil spelen, moeten ze dan komen discussiëren op ons terrein.

Anoniem: Hoe moet een gewone burger dit verteren? Ik heb nooit de kans gehad om te studeren, maar ik hoopte dat mijn kinderen die kans zouden krijgen. Nu lijkt het erop dat ze opgroeien in een wereld waar die dromen definitief dood zijn. Werken we serieus samen met een groep mensen die de rest van ons niet eens als mensen zien? Die vrolijk verklaren dat de beste en slimste van de soort "obsoleet" zijn? Ik ben nog nooit zo walgend geweest in mijn leven.

Anoniem: Als je advies geeft over hoe te interageren met de wiskundige gemeenschap, zou de wiskundige gemeenschap dan niet deze aanbevelingen moeten legitimeren? Ik ben het er niet mee eens dat een inputformulier hiervoor voldoende is. Ik wil er ook op wijzen dat dit door keuze een urgente zaak is gemaakt. Misschien is het de moeite waard om na te denken over waarom deze keuze is gemaakt en wie er profiteert van overhaaste aanbevelingen.

Anoniem: Als AI-bedrijven een wiskundig resultaat willen publiceren, hoeven ze simpelweg de normen van de gemeenschap te volgen: het resultaat uitschrijven voor publicatie, indienen bij een tijdschrift en presentaties geven op conferenties. Waarom hebben we een comité nodig om het overduidelijke uit te spellen?

Anoniem: Op dit moment vrees ik dat we het einde van de menselijke wiskundige cultuur tegemoet gaan. Terwijl OpenAI deze resultaten (en toekomstige resultaten, waarvan er ongetwijfeld veel zullen zijn) publiceert, zouden ze enorme sommen geld zonder voorwaarden moeten doneren aan historici en antropologen om de laatste jaren van een prachtige periode in onze geschiedenis te bestuderen en vast te leggen.

old-bielefelder: Tegenovergesteld standpunt: er komen prachtige jaren met veel nieuwe prachtige inzichten in de wiskunde.

Anoniem: Gezien het enthousiasme van sommige leden van deze niet-gekozen adviesraad, heb ik het gevoel dat de uitkomst al geschreven is.

Anoniem: Ik ben persoonlijk oké met het bestaan van de groep, zolang het alleen voor deze reeks resultaten is. Daarna zou OpenAI niet meer moeten deelnemen aan wiskundig onderzoek (misschien met uitzondering van wanneer de gemeenschap daarom vraagt na een democratische beslissing).

Grigori Avramidi: Het lijkt belangrijk om de capaciteiten van dit model te begrijpen. Met dit in gedachten: plaats de resultaten in een publieke, gemakkelijk doorzoekbare repository die onafhankelijk is van arXiv. Bied een manier om de auteurs (menselijk of AI) te bevragen over elk van de individuele resultaten/papers om vervolgvragen te beantwoorden. Update de resultaten met meer leesbare versies zodra deze beschikbaar komen (dit is ook een test van capaciteiten). Dit zou ons helpen de staat van de modellen te begrijpen, hoe snel de zaken vorderen, en in hoeverre ze argumenten produceren die resistent zijn tegen een menselijk interpreteerbare vorm (dit zou een rode vlag zijn).

Anoniem: Ik vind dit initiatief verontrustend om een reden die enigszins verschilt van de zorgen die de discussie tot nu toe hebben gedomineerd. Als OpenAI werkelijk een groot aantal significante wiskundige resultaten heeft verzameld die nog niet zijn vrijgegeven, dan is de vraag niet langer alleen hoe de gemeenschap AI-gegenereerde wiskunde moet verifiëren, verteren of uitleggen. Er is nu een voorafgaande vraag: wie bepaalt wanneer, hoe en in welke volgorde de wiskundige gemeenschap deze resultaten mag zien?

Wat de bedoelingen van de leden van deze adviesgroep ook zijn, de structuur is opvallend oligarchisch: een privaat bedrijf controleert de systemen die de wiskunde produceren, terwijl een zeer kleine groep buitengewoon eminente wiskundigen het adviseert over het vrijgeven van kennis die mogelijk al direct van invloed is op het werk van vele onderzoekers elders. Een wiskundige zou maanden of jaren kunnen besteden aan een probleem dat in het bedrijf al is opgelost, zonder enige manier om te weten dat dit het geval is.

Traditionele wiskunde heeft altijd poortwachters gehad: redacteuren, referees, selectiecommissies, prijzencommissies. Maar in principe controleerden zij prestige en certificering, niet de toegang tot de onderliggende kennis. Een auteur die door een tijdschrift werd afgewezen, kon de volgende ochtend nog steeds een paper op arXiv plaatsen. Wat hier lijkt te ontstaan, is kwalitatief anders: de producent van het wiskundige resultaat, de computationele infrastructuur en de beslissing over het openbaar maken van het resultaat zijn allemaal geconcentreerd in dezelfde private organisatie.

Als overvloed werkelijk het nieuwe probleem is, zou ik veel liever zien dat de gemeenschap beweegt naar een principe van toegang eerst, curatie daarna: publieke depositie van resultaten, informatie over herkomst, formalisaties waar beschikbaar, en daarna open evaluatie, uitleg, kritiek en prioritering door de bredere gemeenschap. Anders lossen we het probleem van AI-gegenereerde wiskundige overvloed op door iets nog minder aantrekkelijks te creëren: een klein college van niet-gekozen wiskundige kardinalen die beslissen wanneer de rest van ons de wiskunde mag zien.

Anoniem: "AI" zal, net als elke andere technologie of tool, voor goed en kwaad worden gebruikt en er is werkelijk geen middel of reden om het (mis)bruik te controleren. Sorry dat wiskunde, taalrijk en formeel, het tweede meest toegankelijke gebied was voor infiltratie (na programmeren), maar zo is het nu eenmaal; wen er maar aan.

Anoniem: Ik denk dat het een goed initiatief is, mits het aanbevelingen doet die goed zijn voor de wiskunde (met het besef dat AI bestaat en dat deze bedrijven diverse resultaten hebben geproduceerd die ze sowieso ergens gaan dumpen). De groep kan de hoge standaarden van transparantie uitdrukken die nodig zijn en de bijbehorende academische verantwoordelijkheden van het bedrijf (of werknemers daarvan) en hen aansporen om serieuze inspanningen te leveren en veel kostbare middelen hiervoor toe te wijzen. Als de raad meer of minder gezonde suggesties doet over hoe het bedrijf hiermee om kan gaan op een manier die de wiskunde significant meer ten goede komt dan wat ze voorheen deden, dan ligt de bal bij het bedrijf om veel meer te leveren dan alleen wat gegenereerde output.

rebeltechnicallya0e7b72ad5: Helaas, hoe hoopvol ik ook wil zijn, het voelt enigszins nutteloos om enige vorm van vertraging te verwachten. Ik verwacht volledig dat deze bedrijven een kritieke hoeveelheid zeer belangrijke resultaten zullen publiceren om het punt van hoe krachtig hun modellen zijn, kracht bij te zetten. Misschien kunnen we, hoe eerder we het accepteren, sneller convergeren naar de best mogelijke oplossingen om te redden wat er overblijft van een gebeurtenis die het vakgebied verandert. Het zou hartverscheurend zijn als, na het verwachten van een vertraging, de zaken veel sneller versnellen en we worden betrapt zonder enige concrete stappen.

Anoniem: Ik ondersteun dit. De reden dat we betaald kregen om wiskundig onderzoek te doen, was dat voortgang en wiskundige training ten goede komen aan de wetenschap en dus aan de samenleving in het algemeen. Snellere voortgang is in ieders belang. Laten we kijken of we de uiteenzetting die uit de frontier labs komt kunnen verbeteren en de resultaten beter in de wiskundige literatuur kunnen passen. Kwaliteit van uiteenzetting, transparantie en breder toegankelijkheid zouden de doelen van de gemeenschap moeten zijn. De wiskundige gemeenschap is altijd hoofdzakelijk gefinancierd door geld uit het onderwijs; laten we proberen uit te vinden hoe we universiteiten kunnen hervormen om zich aan te passen aan de nieuwe tools; wat is gunstig voor de studenten? Wiskundige vaardigheid zal altijd belangrijk blijven.

Anoniem: Snellere voortgang en wiskundige training staan tegenover elkaar. Het is gezien (en is overduidelijk!) dat studenten die AI-tools gebruiken in hun studie slechter scoren op beoordelingen van dat begrip. Deze studies zijn kortetermijn; op de lange termijn creëren we een generatie van domme mensen. Toegegeven, dit lijkt een prioriteit van onze samenleving te zijn en we waren hier al mee bezig.

Anoniem: Ik ben geen wiskundige, maar misschien is een visie van buitenaf nuttig. Naar mijn mening is deze groep zinvol, en zou deze zelfs zonder input van OpenAI gecreëerd moeten zijn. Zoals de tekst zegt, is dit inderdaad een historisch moment waarin de betekenis van het beroep verandert en de groep een rol zou moeten spelen in het sturen van de bredere wiskundige gemeenschap naar het vinden van wat het zal omvatten, inclusief de rol van AI en commerciële entiteiten daarachter (OpenAI is het topje van de ijsberg).

Enkele zaken om te overwegen (naar mijn mening):

• het niet hebben van zo'n groep is niet de nulhypothese; weigering zal tegen de wiskundige gemeenschap worden gebruikt;
• commerciële entiteiten zullen wiskunde gebruiken voor PR, testen, etc... Je kunt dit niet stoppen, het publiek geeft er op zijn best niet om;
• dit is niet het einde van de wiskunde, maar wiskunde (net als veel/de meeste andere vakgebieden) zal veranderen;
• niemand kent de antwoorden in dit stadium; het opbouwen van een constructieve en effectieve communicatie binnen de gemeenschap is essentieel;
• wiskunde, zoals het is, wordt gedreven door objectieve waarheid, commerciële entiteiten — door winst. Een ideale oplossing zal hier rekening mee houden. Veel succes!

Anoniem: Dat Witten plotseling deel uitmaakt van dit gesprek verrast me. Hij speelde een grote rol bij het populariseren van het uploaden van preprints naar arXiv, wat er veel voor heeft gedaan om onderzoeksniveau-wiskunde zo toegankelijk te maken, een ethos die onze gemeenschap niet deelt met veel anderen maar dat transparantie werkelijk een zegen is voor de samenleving in het algemeen.

We zouden er aannemen dat OpenAI liegt, bedriegt en steelt totdat ze voor elk enkel resultaat buiten redelijke twijfel het tegendeel bewijzen, waarna ze zeker enige inspanning verdienen om presentabel te zijn in een tijdschrift/arXiv. Het is overduidelijk dat deze bedrijven vanaf het begin op de professionele manier hadden moeten handelen. Antieken zoals die van Levant Apolge leken zeker een berekende aanval tegen de academie; hebben deze bedrijven echt een Fields-medaillewinnaar nodig om hen uit te leggen wat de verwachtingen zijn voor studenten en academische publicaties? Ik zou ook eens kunnen zeggen dat de ivoren toren zich hier moet nederigen en dat het een beetje naar beneden halen op een vreemde manier welkom is. Maar zeker hoef ik Ed Witten hier niet over te beleren!? Het was waarschijnlijk beter om hierover stil te blijven en gewoon te observeren, maar desalniettemin ben ik er zeker van dat zijn gedachten hierover sappig zijn. Ik denk niet dat er een juist/goed antwoord is hier, maar beslissende acties zullen snel moeten worden ondernomen, en de consequenties zullen we allemaal moeten accepteren, of we dat nu leuk vinden of niet. Als wetenschap geen kunst is, zullen we Frankensteins creëren; ik kan mijn minachting voor deze bedrijven en hun duistere bedoelingen voor de mensheid, waar we allemaal al getuige van zijn, niet genoeg verbergen. We kunnen politiek niet langer vermijden, of we dat nu leuk vinden of niet. Gelukkig ben ik niet degene die nu als diplomaat in het gedrang wordt gebracht � .

Anoniem: Ik ben nu een PhD-student wiskunde in de laatste fase. Ik ben het eens met deze sentimenten. Ik zou graag dit toevoegen: Zelfs als iemand wil doorgaan met het doen van wiskunde en het lezen van LLM-output, zelfs als wiskunde doen die door een paar AI-agenten gedaan zou kunnen worden niet aanvoelt als tijdverspilling, zie ik niet waarom iemand iemand als ik zou inhuren (voor wat het waard is, ik zit aan een sterke maar niet mega-elite afdeling, ik ben geen uitblinkende student maar ik denk dat ik mijn werk redelijk doe) wanneer ze een paar dollar kunnen betalen aan OpenAI of Anthropic en dezelfde onderzoeksoutput kunnen produceren? Eerlijk gezegd, als men mijn hele salaris van ongeveer 25k aan tokens zou besteden, zou men waarschijnlijk meer resultaten krijgen vergeleken met het betalen van mij voor die 25k. immers, ik moet huur betalen, eten, etc. en mijn indruk is dat de modellen al beter zijn in mijn onderzoek dan ikzelf. Zeker is wiskunde niet "opgelost" door AI op een grootse of esoterische manier, maar ik zie niet waarom dat impliceert dat mensen zoals ik nog steeds betaald zullen worden om het als beroep uit te oefenen. Als iemand een reden heeft waarom ze denken dat mijn baan niet zal worden geëlimineerd, zou ik dat graag willen weten.