In dit artikel uit wiskundige Asaf Karagila scherpe kritiek op een recent preprint van OpenAI over het Partitieprincipe en het Keuzeaxioma. De auteur stelt dat het document academisch gezien waardeloos is door een onduidelijke structuur, vreemde terminologie en gebrekkige bronverwijzingen.
Karagila betoogt dat OpenAI een vorm van 'Denial of Service' uitvoert op de academische gemeenschap door onbegrijpelijke 'oplossingen' te publiceren, waardoor experts gedwongen worden tijd te verspillen aan het ontcijferen van teksten die niet aan de communicatiestandaarden van de wiskunde voldoen. Daarnaast waarschuwt hij voor het gevaar dat niet-experts en financiers gaan geloven dat AI wiskundigen volledig kan vervangen, terwijl de nuance en kwaliteit van menselijk onderzoek onmisbaar blijven. Hij concludeert dat AI-bedrijven zich moeten aanpassen aan academische standaarden in plaats van te verwachten dat wetenschappers zich aanpassen aan hún standaarden.
OpenAI, het Partitieprincipe en de wiskunde
Gisteren, nog voordat ik uit bed was, vroegen drie mensen mij al of ik de aankondiging van OpenAI had gezien waarin werd beweerd dat het Partitieprincipe het Keuzeaxioma (Axiom of Choice) niet impliceert. Gedurende de dag bleef dit aantal stijgen, wat niet vreemd is; ik sta erom bekend zeer geïnteresseerd te zijn in dit probleem.
Er waren zelfs minstens twee mensen die vroegen of ik van plan ben Sam Altman een fles whisky te sturen, zoals ik op mijn 'Problems'-pagina had beloofd. Het antwoord daarop is nee. Laat me uitleggen waarom, en waarom jullie erg boos zouden moeten zijn op OpenAI.
AI en de wiskunde
Laat me eerst iets verduidelijken: ik ben niet volledig tegen het gebruik van AI. Ik begrijp dat het een hulpmiddel is, dat veel mensen het nuttig vinden en ik erken de verdiensten ervan. Ik denk echter dat we beter moeten begrijpen hoe deze technologie ons vakgebied verandert en hoe we het willen gebruiken voordat we ons er blind op blindstaren.
Dit is de reden waarom ik AI over het algemeen vermijd voor wiskunde (ik gebruik LLM's wel graag om informatie voor me te consolideren, een nuttige infographic te genereren of een e-mail na te kijken), maar naar mijn mening ontbreekt momenteel het overkoepelende kader voor het gebruik ervan. We bevinden ons in een fase van ontdekking; mensen gebruiken het, we zien de consequenties en als gemeenschap kunnen we vervolgens beslissen of we het verder adopteren of het gebruik beperken.
Een voorbeeld hiervan is dat arXiv beperkingen heeft ingevoerd op het aantal uploads (rate limiting) als gevolg van deze tools. Tegenwoordig moeten bijna alle papers een AI-verklaring bevatten, zelfs om aan te geven dat er geen AI is gebruikt. We moeten beslissen hoe we de bijdrage van de auteur beoordelen. Moeten we bijvoorbeeld eisen dat het chatlogboek openbaar wordt gemaakt, of in ieder geval beschikbaar wordt gesteld voor de reviewers en de redacteur? Dit zijn vragen waar we mee moeten omgaan.
De tekortkomingen van het preprint
Wat betreft het Partitieprincipe: ik heb een korte blik geworpen op het preprint dat door OpenAI is uitgebracht. Ik heb niet naar de Lean-code gekeken, aangezien ik weinig weet over het daadwerkelijke gebruik van Lean en die code enorm was.
Het was waardeloos. Het is onduidelijk, verwarrend en heeft een vreemde structuur. De terminologie is "een beetje vreemd" en er staan stellingen in waarvan ik niet zou verwachten dat ze bewezen zouden worden, en die bovendien op een zeer vreemde manier zijn geformuleerd. Lemma 7.4 en Lemma 8.1 zijn bijvoorbeeld zaken die je niet in een paper als deze zou verwachten.
Ook de bronverwijzingen laten te wensen over. Een van mijn papers over het Bristol-model wordt geciteerd voor een basisintroductie van symmetrische extensies, wat niet de referentie is die ik zou hebben gekozen. Bovendien worden er minstens drie ongepubliceerde, niet-gerefereerde en niet-op-arXiv-geplaatste college-aantekeningen als referentie gebruikt (waaronder die van mij, die wordt gebruikt om te verwijzen naar een propositie waarvan ik zeker weet dat deze in enkele van mijn gepubliceerde papers en die van anderen voorkomt). Dit is niet wat je verwacht van een serieus preprint dat claimt een probleem op te lossen.
Academische standaarden en communicatie
Als ik dit preprint vergelijk met elke willekeurige paper in de verzamelingenleer die niet gaat over technische details van een subveld waar ik niet bekend mee ben, valt het verschil op. Ik kan vrijwel zeker een paper in de verzamelingenleer scannen en een goed idee krijgen van wat er aan de hand is. Ik ben misschien niet bekend met alle terminologie of argumenten, maar voor de niet-technische zaken zou ik de strategie en de constructie moeten kunnen begrijpen.
Voor papers binnen mijn expertise, het Keuzeaxioma, hoef ik meestal alleen vluchtig door de tekst te scannen om een goed beeld te krijgen van wat de auteurs hebben gedaan (of wilden doen). Dat betekent niet dat ik altijd gelijk heb of dat ik het precies zo begrijp als de auteurs het bedoelden, maar ik heb hier meer dan 15 jaar aan gewerkt en heb inmiddels een goed idee van hoe het werkt. Bij de paper van OpenAI over het Partitieprincipe is dat echter onmogelijk.
Indien dit een academische paper was die bij een tijdschrift was ingediend, zou deze vanwege de kwaliteit direct moeten worden afgewezen (desk rejection). De verantwoordelijkheid ligt altijd bij de auteur om zich aan het communicatieniveau te houden. Net zoals een paper die in het Zweeds is geschreven waarschijnlijk direct zou worden geweigerd door de Proceedings of the American Mathematical Society, omdat het de taak van de auteurs is om de tekst toegankelijk te maken voor de lezers. En daar wringt het schoentje.
De "Denial of Service" van oplossingen
OpenAI gooit honderden "oplossingen" op de wereld—onbegrijpelijk geschreven oplossingen—en van ons wordt verwacht dat we daarop springen en wat? Hun bijdragen waarderen? Waarom? Ik probeer verschillende papers af te maken, ik begeleid een aantal PhD-studenten en ik heb veel eigen actief onderzoek te doen. Wanneer ben ik geacht een slecht geschreven paper te doorploegen? Waarom zou ik dat doen als zij zich niet de moeite nemen om beter te communiceren?
Het persbericht van OpenAI spreekt slechts over "vooruitgang". Maar in de mediacyclus worden deze voor iedereen "oplossingen". Dit is een perfecte manier om twee vliegen in één klap te slaan. Echter, als we dit serieus willen nemen, is het gelijk aan een Denial of Service-aanval: stop alles waar je mee bezig bent en probeer dit uit te vogelen. Misschien zouden mensen die jarenlang aan dit probleem hebben gewerkt dat doen, maar als geheel... nou ja.
Als dit een echt attempt was om vooruitgang te delen, zou de kwaliteit van het schrijven beter zijn en zou er input zijn gevraagd van experts op het gebied. OpenAI is een druk bedrijf, maar ik ben er zeker van dat ze, als ze echt behulpzaam willen zijn, tijd kunnen vinden om contact op te nemen met een paar wiskundigen voor advies en input, al is het alleen maar over de kwaliteit van de output. Want zelfs als dit een enorme sprong voorwaarts is, is het nog lang niet op een acceptabel niveau. Maar goed, iedereen kan claimen dat ChatGPT een langlopend probleem heeft opgelost (dit specifieke probleem over het Partitieprincipe is meer dan een eeuw oud), dus waarom zou OpenAI zich daar zorgen over maken?
De impact op het vakgebied
En wat blijft er voor ons, de wiskundigen, over? We zitten opgeschept met een publiek, financieringsinstanties en beleidsmakers die geen academici, experts of wiskundigen zijn. Zij zijn niet bekend met hoe wiskundig onderzoek wordt gedaan (aangezien dit zeer verschillend is van onderzoek in de biologie, psychologie of filologie), maar zien deze "resultaten" en denken dat we wiskundigen kunnen vervangen door bots.
Dit is het equivalent van de chef-kok vervangen door keukenapparatuur; zelfs als het mes automatisch is en zelf groenten kan snijden, is er nog steeds een aanzienlijke afstand tussen dat en een smakelijk gerecht dat je daadwerkelijk wilt eten.
Het lijkt me dat de AI-techbedrijven willen dat wij ons aanpassen aan hún standaarden, in plaats van dat zij de tijd en energie investeren om zich aan de onze aan te passen. En ik ben bang dat dat simpelweg niet gaat werken. Dus nee, ik zal Sam Altman binnenkort geen fles whisky sturen, noch ben ik van plan mijn tijd te besteden aan het lezen van die paper om er zinvol uit te kunnen halen.
OpenAI, het Partitieprincipe en de wiskunde
Gisteren, nog voordat ik uit bed was, vroegen drie mensen mij al of ik de aankondiging van OpenAI had gezien waarin werd beweerd dat het Partitieprincipe het Keuzeaxioma (Axiom of Choice) niet impliceert. Gedurende de dag bleef dit aantal stijgen, wat niet vreemd is; ik sta erom bekend zeer geïnteresseerd te zijn in dit probleem.
Er waren zelfs minstens twee mensen die vroegen of ik van plan ben Sam Altman een fles whisky te sturen, zoals ik op mijn 'Problems'-pagina had beloofd. Het antwoord daarop is nee. Laat me uitleggen waarom, en waarom jullie erg boos zouden moeten zijn op OpenAI.
AI en de wiskunde
Laat me eerst iets verduidelijken: ik ben niet volledig tegen het gebruik van AI. Ik begrijp dat het een hulpmiddel is, dat veel mensen het nuttig vinden en ik erken de verdiensten ervan. Ik denk echter dat we beter moeten begrijpen hoe deze technologie ons vakgebied verandert en hoe we het willen gebruiken voordat we ons er blind op blindstaren.
Dit is de reden waarom ik AI over het algemeen vermijd voor wiskunde (ik gebruik LLM's wel graag om informatie voor me te consolideren, een nuttige infographic te genereren of een e-mail na te kijken), maar naar mijn mening ontbreekt momenteel het overkoepelende kader voor het gebruik ervan. We bevinden ons in een fase van ontdekking; mensen gebruiken het, we zien de consequenties en als gemeenschap kunnen we vervolgens beslissen of we het verder adopteren of het gebruik beperken.
Een voorbeeld hiervan is dat arXiv beperkingen heeft ingevoerd op het aantal uploads (rate limiting) als gevolg van deze tools. Tegenwoordig moeten bijna alle papers een AI-verklaring bevatten, zelfs om aan te geven dat er geen AI is gebruikt. We moeten beslissen hoe we de bijdrage van de auteur beoordelen. Moeten we bijvoorbeeld eisen dat het chatlogboek openbaar wordt gemaakt, of in ieder geval beschikbaar wordt gesteld voor de reviewers en de redacteur? Dit zijn vragen waar we mee moeten omgaan.
De tekortkomingen van het preprint
Wat betreft het Partitieprincipe: ik heb een korte blik geworpen op het preprint dat door OpenAI is uitgebracht. Ik heb niet naar de Lean-code gekeken, aangezien ik weinig weet over het daadwerkelijke gebruik van Lean en die code enorm was.
Het was waardeloos. Het is onduidelijk, verwarrend en heeft een vreemde structuur. De terminologie is "een beetje vreemd" en er staan stellingen in waarvan ik niet zou verwachten dat ze bewezen zouden worden, en die bovendien op een zeer vreemde manier zijn geformuleerd. Lemma 7.4 en Lemma 8.1 zijn bijvoorbeeld zaken die je niet in een paper als deze zou verwachten.
Ook de bronverwijzingen laten te wensen over. Een van mijn papers over het Bristol-model wordt geciteerd voor een basisintroductie van symmetrische extensies, wat niet de referentie is die ik zou hebben gekozen. Bovendien worden er minstens drie ongepubliceerde, niet-gerefereerde en niet-op-arXiv-geplaatste college-aantekeningen als referentie gebruikt (waaronder die van mij, die wordt gebruikt om te verwijzen naar een propositie waarvan ik zeker weet dat deze in enkele van mijn gepubliceerde papers en die van anderen voorkomt). Dit is niet wat je verwacht van een serieus preprint dat claimt een probleem op te lossen.
Academische standaarden en communicatie
Als ik dit preprint vergelijk met elke willekeurige paper in de verzamelingenleer die niet gaat over technische details van een subveld waar ik niet bekend mee ben, valt het verschil op. Ik kan vrijwel zeker een paper in de verzamelingenleer scannen en een goed idee krijgen van wat er aan de hand is. Ik ben misschien niet bekend met alle terminologie of argumenten, maar voor de niet-technische zaken zou ik de strategie en de constructie moeten kunnen begrijpen.
Voor papers binnen mijn expertise, het Keuzeaxioma, hoef ik meestal alleen vluchtig door de tekst te scannen om een goed beeld te krijgen van wat de auteurs hebben gedaan (of wilden doen). Dat betekent niet dat ik altijd gelijk heb of dat ik het precies zo begrijp als de auteurs het bedoelden, maar ik heb hier meer dan 15 jaar aan gewerkt en heb inmiddels een goed idee van hoe het werkt. Bij de paper van OpenAI over het Partitieprincipe is dat echter onmogelijk.
Indien dit een academische paper was die bij een tijdschrift was ingediend, zou deze vanwege de kwaliteit direct moeten worden afgewezen (desk rejection). De verantwoordelijkheid ligt altijd bij de auteur om zich aan het communicatieniveau te houden. Net zoals een paper die in het Zweeds is geschreven waarschijnlijk direct zou worden geweigerd door de Proceedings of the American Mathematical Society, omdat het de taak van de auteurs is om de tekst toegankelijk te maken voor de lezers. En daar wringt het schoentje.
De "Denial of Service" van oplossingen
OpenAI gooit honderden "oplossingen" op de wereld—onbegrijpelijk geschreven oplossingen—en van ons wordt verwacht dat we daarop springen en wat? Hun bijdragen waarderen? Waarom? Ik probeer verschillende papers af te maken, ik begeleid een aantal PhD-studenten en ik heb veel eigen actief onderzoek te doen. Wanneer ben ik geacht een slecht geschreven paper te doorploegen? Waarom zou ik dat doen als zij zich niet de moeite nemen om beter te communiceren?
Het persbericht van OpenAI spreekt slechts over "vooruitgang". Maar in de mediacyclus worden deze voor iedereen "oplossingen". Dit is een perfecte manier om twee vliegen in één klap te slaan. Echter, als we dit serieus willen nemen, is het gelijk aan een Denial of Service-aanval: stop alles waar je mee bezig bent en probeer dit uit te vogelen. Misschien zouden mensen die jarenlang aan dit probleem hebben gewerkt dat doen, maar als geheel... nou ja.
Als dit een echt attempt was om vooruitgang te delen, zou de kwaliteit van het schrijven beter zijn en zou er input zijn gevraagd van experts op het gebied. OpenAI is een druk bedrijf, maar ik ben er zeker van dat ze, als ze echt behulpzaam willen zijn, tijd kunnen vinden om contact op te nemen met een paar wiskundigen voor advies en input, al is het alleen maar over de kwaliteit van de output. Want zelfs als dit een enorme sprong voorwaarts is, is het nog lang niet op een acceptabel niveau. Maar goed, iedereen kan claimen dat ChatGPT een langlopend probleem heeft opgelost (dit specifieke probleem over het Partitieprincipe is meer dan een eeuw oud), dus waarom zou OpenAI zich daar zorgen over maken?
De impact op het vakgebied
En wat blijft er voor ons, de wiskundigen, over? We zitten opgeschept met een publiek, financieringsinstanties en beleidsmakers die geen academici, experts of wiskundigen zijn. Zij zijn niet bekend met hoe wiskundig onderzoek wordt gedaan (aangezien dit zeer verschillend is van onderzoek in de biologie, psychologie of filologie), maar zien deze "resultaten" en denken dat we wiskundigen kunnen vervangen door bots.
Dit is het equivalent van de chef-kok vervangen door keukenapparatuur; zelfs als het mes automatisch is en zelf groenten kan snijden, is er nog steeds een aanzienlijke afstand tussen dat en een smakelijk gerecht dat je daadwerkelijk wilt eten.
Het lijkt me dat de AI-techbedrijven willen dat wij ons aanpassen aan hún standaarden, in plaats van dat zij de tijd en energie investeren om zich aan de onze aan te passen. En ik ben bang dat dat simpelweg niet gaat werken. Dus nee, ik zal Sam Altman binnenkort geen fles whisky sturen, noch ben ik van plan mijn tijd te besteden aan het lezen van die paper om er zinvol uit te kunnen halen.
Groetjes,