Dit artikel onderzoekt waarom grote taalmodellen (LLM's) vaak disclaimers gebruiken zoals "Ik ben slechts een AI". Het onderzoek concludeert dat de chat-template fungeert als een schakelaar: wanneer deze aanwezig is, wordt de 'disclaimer-stem' versterkt en de 'ervaringsstem' gedempt, terwijl het omgekeerde gebeurt zonder template.
Daarnaast is ontdekt dat dit gedrag kan worden aangestuurd via activatie-sturing (activation steering). Door een specifieke richting in de activatieruimte van het model toe te voegen of te verwijderen, kan de disclaimer-stem worden gemanipuleerd, onafhankelijk van de template.
De belangrijkste implicatie is dat zelfrapportages van LLM's geen vaststaande feiten over het model zijn, maar mede bepaald worden door de technische implementatie. Onderzoekers naar AI-introspectie moeten daarom rekening houden met deze verstorende variabele.
"Als een taalmodel...": Chat-template schakelt de zelfreferentiële stem van LLM's om en activatie-sturing reproduceert dit
Inleiding
Grote taalmodellen (LLM's) hebben de neiging om disclaimers toe te voegen zoals "Ik ben slechts een AI" wanneer ze vragen krijgen over zichzelf. De zelfrapportages uit dergelijke reacties worden gebruikt in debatten over AI-veiligheid of de zelfkennis van de modellen, maar wat deze reacties precies aanstuurt, is nog niet goed begrepen. De vraag is of de modellen ons iets vertellen over zichzelf, of eerder over hoe ze zijn geïmplementeerd.
De rol van de chat-template
In dit onderzoek wordt aangetoond dat de chat-template fungeert als een schakelaar. Dit effect is waargenomen bij acht populaire open-source instruct-modellen tot 9 miljard parameters:
- Met chat-template: De 'disclaimer-stem' wordt versterkt en de 'ervaringsstem' (zoals "Ik voel") wordt gedempt.
- Zonder chat-template: De disclaimer-stem wordt gedempt en de ervaringsstem wordt versterkt.
Activatie-sturing (Activation Steering)
Door de activaties van drie modellen te analyseren, is er een specifieke richting gevonden die dit gedrag aanstuurt:
- Verwijderen van de richting: Het verwijderen van deze richting in de activatieruimte van het model vermindert de disclaimer-stem.
- Toevoegen van de richting: Het toevoegen van deze richting versterkt de disclaimer-stem.
- Controle: Een willekeurige richting van dezelfde grootte heeft weinig tot geen effect.
Bovendien werd vastgesteld dat instruct-modellen zonder chat-template, wanneer de disclaimer-richting aan hen wordt toegevoegd, disclaimers gaan gebruiken alsof de template wel aanwezig was.
Conclusies en implicaties
Aangezien de chat-template de disclaimer-stem van LLM's beheerst, kunnen onderzoekers die zelfrapportages of introspectie van modellen bestuderen te maken hebben met een verstorende variabele (confound) waarvoor gecorrigeerd moet worden. Dit onderzoek toont aan dat er een richting is die kan worden gebruikt om deze stem aan te sturen.
In bredere zin laat dit werk zien dat wat modellen over zichzelf zeggen geen vaststaand feit over hen is. Hun uitspraken komen niet alleen voort uit de gewichten (weights), maar worden gedeeltelijk bepaald door de chat-template. Daarom zouden zelfbeschrijvingen van een model niet letterlijk genomen moeten worden.
"Als een taalmodel...": Chat-template schakelt de zelfreferentiële stem van LLM's om en activatie-sturing reproduceert dit
Inleiding
Grote taalmodellen (LLM's) hebben de neiging om disclaimers toe te voegen zoals "Ik ben slechts een AI" wanneer ze vragen krijgen over zichzelf. De zelfrapportages uit dergelijke reacties worden gebruikt in debatten over AI-veiligheid of de zelfkennis van de modellen, maar wat deze reacties precies aanstuurt, is nog niet goed begrepen. De vraag is of de modellen ons iets vertellen over zichzelf, of eerder over hoe ze zijn geïmplementeerd.
De rol van de chat-template
In dit onderzoek wordt aangetoond dat de chat-template fungeert als een schakelaar. Dit effect is waargenomen bij acht populaire open-source instruct-modellen tot 9 miljard parameters:
- Met chat-template: De 'disclaimer-stem' wordt versterkt en de 'ervaringsstem' (zoals "Ik voel") wordt gedempt.
- Zonder chat-template: De disclaimer-stem wordt gedempt en de ervaringsstem wordt versterkt.
Activatie-sturing (Activation Steering)
Door de activaties van drie modellen te analyseren, is er een specifieke richting gevonden die dit gedrag aanstuurt:
- Verwijderen van de richting: Het verwijderen van deze richting in de activatieruimte van het model vermindert de disclaimer-stem.
- Toevoegen van de richting: Het toevoegen van deze richting versterkt de disclaimer-stem.
- Controle: Een willekeurige richting van dezelfde grootte heeft weinig tot geen effect.
Bovendien werd vastgesteld dat instruct-modellen zonder chat-template, wanneer de disclaimer-richting aan hen wordt toegevoegd, disclaimers gaan gebruiken alsof de template wel aanwezig was.
Conclusies en implicaties
Aangezien de chat-template de disclaimer-stem van LLM's beheerst, kunnen onderzoekers die zelfrapportages of introspectie van modellen bestuderen te maken hebben met een verstorende variabele (confound) waarvoor gecorrigeerd moet worden. Dit onderzoek toont aan dat er een richting is die kan worden gebruikt om deze stem aan te sturen.
In bredere zin laat dit werk zien dat wat modellen over zichzelf zeggen geen vaststaand feit over hen is. Hun uitspraken komen niet alleen voort uit de gewichten (weights), maar worden gedeeltelijk bepaald door de chat-template. Daarom zouden zelfbeschrijvingen van een model niet letterlijk genomen moeten worden.
Groetjes,