Dit artikel onderzoekt het vermogen van grote taalmodellen (LLM's) om te reflecteren op hun eigen interne toestanden. Door representaties van concepten direct in de activaties van modellen te injecteren, stelden onderzoekers vast dat sommige modellen — met name Claude Opus — deze manipulaties kunnen herkennen en identificeren.
De belangrijkste resultaten zijn:
Conceptidentificatie: Modellen kunnen geïnjecteerde concepten opmerken.
Representatiegeheugen: Ze kunnen eerdere interne representaties onderscheiden van tekstinvoer.
Output-onderscheid: Sommige modellen maken een verschil tussen hun eigen output en kunstmatige prefills.
Interne controle: Modellen kunnen hun activaties moduleren wanneer ze instructies krijgen over specifieke concepten.
De auteurs concluderen dat er sprake is van een functioneel introspectief bewustzijn, maar dat dit in de huidige fase nog onbetrouwbaar en contextafhankelijk is.
Emergent Introspectief Bewustzijn in Grote Taalmodellen
Samenvatting
Wij onderzoeken of grote taalmodellen (LLM's) in staat zijn om te reflecteren op hun eigen interne toestanden. Het is moeilijk om deze vraag uitsluitend via conversatie te beantwoorden, aangezien echte introspectie niet te onderscheiden is van confabulaties (verzinsels). In dit onderzoek pakken we deze uitdaging aan door representaties van bekende concepten in de activaties van een model te injecteren en de invloed van deze manipulaties op de zelfgerapporteerde toestanden van het model te meten.
Belangrijkste bevindingen
Identificatie van concepten: We stellen vast dat modellen in bepaalde scenario's de aanwezigheid van geïnjecteerde concepten kunnen opmerken en deze nauwkeurig kunnen identificeren.
Geheugen voor representaties: Modellen tonen een zeker vermogen om eerdere interne representaties op te halen en deze te onderscheiden van ruwe tekstinvoer.
Onderscheid in output: Opvallend is dat we ontdekken dat sommige modellen hun vermogen om eerdere intenties op te halen kunnen gebruiken om hun eigen output te onderscheiden van kunstmatige prefills.
Modelprestaties: In al deze experimenten vertonen Claude Opus 4 en 4.1, de meest capabele modellen die we hebben getest, over het algemeen het grootste introspectieve bewustzijn. De trends tussen verschillende modellen zijn echter complex en gevoelig voor post-trainingsstrategieën.
Interne controle: We onderzoeken daarnaast of modellen hun interne representaties expliciet kunnen beheersen. Hieruit blijkt dat modellen hun activaties kunnen moduleren wanneer ze de instructie krijgen of worden gestimuleerd om over een specifiek concept na te "denken".
Conclusie
Over het algemeen wijzen onze resultaten erop dat huidige taalmodellen over een zeker functioneel introspectief bewustzijn van hun eigen interne toestanden beschikken. We benadrukken echter dat dit vermogen in de huidige modellen zeer onbetrouwbaar en contextafhankelijk is; het is mogelijk dat deze capaciteit zich verder ontwikkelt naarmate de modelcapaciteiten verbeteren.
Auteur: Jack Lindsey
Emergent Introspectief Bewustzijn in Grote Taalmodellen
Samenvatting
Wij onderzoeken of grote taalmodellen (LLM's) in staat zijn om te reflecteren op hun eigen interne toestanden. Het is moeilijk om deze vraag uitsluitend via conversatie te beantwoorden, aangezien echte introspectie niet te onderscheiden is van confabulaties (verzinsels). In dit onderzoek pakken we deze uitdaging aan door representaties van bekende concepten in de activaties van een model te injecteren en de invloed van deze manipulaties op de zelfgerapporteerde toestanden van het model te meten.
Belangrijkste bevindingen
Identificatie van concepten: We stellen vast dat modellen in bepaalde scenario's de aanwezigheid van geïnjecteerde concepten kunnen opmerken en deze nauwkeurig kunnen identificeren.
Geheugen voor representaties: Modellen tonen een zeker vermogen om eerdere interne representaties op te halen en deze te onderscheiden van ruwe tekstinvoer.
Onderscheid in output: Opvallend is dat we ontdekken dat sommige modellen hun vermogen om eerdere intenties op te halen kunnen gebruiken om hun eigen output te onderscheiden van kunstmatige prefills.
Modelprestaties: In al deze experimenten vertonen Claude Opus 4 en 4.1, de meest capabele modellen die we hebben getest, over het algemeen het grootste introspectieve bewustzijn. De trends tussen verschillende modellen zijn echter complex en gevoelig voor post-trainingsstrategieën.
Interne controle: We onderzoeken daarnaast of modellen hun interne representaties expliciet kunnen beheersen. Hieruit blijkt dat modellen hun activaties kunnen moduleren wanneer ze de instructie krijgen of worden gestimuleerd om over een specifiek concept na te "denken".
Conclusie
Over het algemeen wijzen onze resultaten erop dat huidige taalmodellen over een zeker functioneel introspectief bewustzijn van hun eigen interne toestanden beschikken. We benadrukken echter dat dit vermogen in de huidige modellen zeer onbetrouwbaar en contextafhankelijk is; het is mogelijk dat deze capaciteit zich verder ontwikkelt naarmate de modelcapaciteiten verbeteren.
Zichtbare categorieën
Kies welke categorieën je wilt zien.
Over deze site
Waarom Tech-update?
Tech-update is ontstaan omdat ik merkte dat ik dagelijks veel verschillende websites moest bezoeken om interessant technieuws te vinden. Dat kon efficiënter.
Hoe werkt het?
Meerdere keren per etmaal gaat mijn zelfgebouwde AI-agent op zoek naar interessante artikelen op blogs en nieuwssites.
Vindt hij iets relevants, dan wordt het artikel naar het Nederlands vertaald en op Tech-Update geplaatst.
Van ieder artikel maakt de AI ook een korte samenvatting. Zo kun je snel bepalen of het de moeite waard is om het volledige artikel te lezen.
Bij ieder artikel staat altijd een link naar de oorspronkelijke bron (vaak een Engelstalige website).
Artikelen kun je bewaren als favoriet, vastzetten in de zijbalk of terugvinden via de zoekfunctie.
In de instellingen (tandwielikoon rechtsboven) geef je aan in welk soort nieuws je geïnteresseert bent.
Groetjes,