Het artikel behandelt de spanning tussen traditionele symbolische intelligentie (gebaseerd op logische structuren) en moderne AI-systemen die gebruikmaken van continue vectoren. De auteurs stellen dat neurale netwerken impliciet symbolische structuren realiseren, wat ze aantonen door vectorrepresentaties in domeinen zoals rekenkunde, logica, computercode en taal te benaderen met gesloten symbolische formules.
Belangrijke conclusies zijn:
- Vectorrepresentaties van zowel kleine netwerken als grote taalmodellen (LLM's) kunnen worden vervangen door symbolische structuren zonder significant verlies van functionaliteit.
- Door deze symbolische structuren te identificeren, is het mogelijk om het gedrag van LLM's via precieze interventies gericht aan te passen.
- Dit werk biedt een theoretische brug tussen de vector-gebaseerde aanpak van moderne AI en langdurige symbolische concepties van intelligentie.
De emergente symbolische structuur van kunstmatige neurale netwerken
Samenvatting
Moderne systemen in kunstmatige intelligentie (AI) blinken op een bepaalde manier uit in domeinen waarvoor ze slecht geschikt lijken. Intelligentie is traditioneel gemodelleerd als het werken met gestructureerde combinaties van symbolen, zoals logische formules. De sterkste moderne AI-systemen zijn echter gebaseerd op neurale netwerken, die informatie juist representeren in continue vectoren.
Vectoren lijken onvoldoende om de structuur van taal, logica en andere cognitieve domeinen vast te leggen, toch behalen neurale netwerken indrukwekkende prestaties in deze gebieden. Hoe doen ze dat?
In dit werk stellen we een mogelijk antwoord voor: ondanks de schijn realiseren de interne representaties van neurale netwerken wellicht impliciet een symbolische structuur. Ter ondersteuning van deze hypothese tonen we aan dat de vectorrepresentaties van diverse neurale netwerken nauwkeurig kunnen worden benaderd met symbolische structuren. We kunnen het volledige proces van het netwerk voor het genereren van representaties vervangen door een gesloten formule die een symbolische structuur instantiëert, waarbij het gedrag van het netwerk grotendeels ongewijzigd blijft.
Deze bevinding geldt zowel voor kleinschalige neurale netwerken die zijn getraind om lijsten te manipuleren, als voor grote taalmodellen (LLM's) die opereren in vier domeinen die centraal staan in symbolische tradities:
- Rekenkunde
- Logica
- Computercode
- Taal
Verder stelt onze symbolische benadering ons in staat om het gedrag van een LLM op gerichte wijze aan te passen via precieze interventies in de interne representaties. Dit toont aan dat het gedrag van de LLM afhankelijk is van de symbolische structuren die we hebben geïdentificeerd. Dit werk biedt een potentiële manier om langdurige symbolische concepties van intelligentie te verzoenen met de vector-gebaseerde aard van moderne AI.
De emergente symbolische structuur van kunstmatige neurale netwerken
Samenvatting
Moderne systemen in kunstmatige intelligentie (AI) blinken op een bepaalde manier uit in domeinen waarvoor ze slecht geschikt lijken. Intelligentie is traditioneel gemodelleerd als het werken met gestructureerde combinaties van symbolen, zoals logische formules. De sterkste moderne AI-systemen zijn echter gebaseerd op neurale netwerken, die informatie juist representeren in continue vectoren.
Vectoren lijken onvoldoende om de structuur van taal, logica en andere cognitieve domeinen vast te leggen, toch behalen neurale netwerken indrukwekkende prestaties in deze gebieden. Hoe doen ze dat?
In dit werk stellen we een mogelijk antwoord voor: ondanks de schijn realiseren de interne representaties van neurale netwerken wellicht impliciet een symbolische structuur. Ter ondersteuning van deze hypothese tonen we aan dat de vectorrepresentaties van diverse neurale netwerken nauwkeurig kunnen worden benaderd met symbolische structuren. We kunnen het volledige proces van het netwerk voor het genereren van representaties vervangen door een gesloten formule die een symbolische structuur instantiëert, waarbij het gedrag van het netwerk grotendeels ongewijzigd blijft.
Deze bevinding geldt zowel voor kleinschalige neurale netwerken die zijn getraind om lijsten te manipuleren, als voor grote taalmodellen (LLM's) die opereren in vier domeinen die centraal staan in symbolische tradities:
- Rekenkunde
- Logica
- Computercode
- Taal
Verder stelt onze symbolische benadering ons in staat om het gedrag van een LLM op gerichte wijze aan te passen via precieze interventies in de interne representaties. Dit toont aan dat het gedrag van de LLM afhankelijk is van de symbolische structuren die we hebben geïdentificeerd. Dit werk biedt een potentiële manier om langdurige symbolische concepties van intelligentie te verzoenen met de vector-gebaseerde aard van moderne AI.
Groetjes,