Het artikel introduceert de Infinite-Parameter LLM, een architectuur die probeert de beperkingen van statische pretraining en bevroren gewichten in traditionele taalmodellen te doorbreken. Waar huidige modellen nieuwe informatie tijdens runtime verwerken via retrieval of prompt-instructies (die na elk verzoek worden gewist), stelt deze nieuwe methode voor om live-data direct in de gewichten te integreren.
Kernpunten van de architectuur:
- Hypernetwork: Een compact netwerk dat live-data omzet in een low-rank modulatie van een basisnetwerk.
- Bayesiaanse benadering: Het model hanteert een evoluerende Bayesiaanse overtuiging over de latente code, waardoor gewichten online worden bijgewerkt naarmate de sessie vordert.
De belangrijkste voordelen ten opzichte van in-context learning zijn:
- Een efficiënter gebruik van rekenkracht (amortized compute).
- Het vrijmaken van het contextvenster.
- Betere persistentie van informatie over verschillende interacties heen.
- Verbeterde generalisatiecapaciteiten.
Infinite-Parameter LLMs: Genereren en Aanpassen van Gewichten op basis van Live Data
Samenvatting
De scaling laws stellen dat een taalmodel krachtiger wordt naarmate er meer parameters en meer trainingsdata worden gebruikt. Mixture-of-Experts (MoE) architecturen hebben deze wetten benut om opmerkelijke resultaten te behalen door voor elk token slechts een fractie van een enorme bank met opgeslagen parameters te activeren. Dit succes is echter gebaseerd op statische pretraining-data.
Een geïmplementeerd model bevindt zich in een andere wereld, waar veel van de data die het model nuttiger zou maken niet in de trainingsset zit, maar in de live-interactie die het model op dat moment verwerkt — zoals feiten die een gebruiker verstrekt of correcties die zij geven. Een conventioneel model kan niet van deze data leren, omdat de gewichten na de training bevroren zijn. In plaats daarvan worden de kennis en het gedrag die tijdens de runtime worden aangeleverd, via retrieval of instructies in de prompt geplaatst; deze worden bij elk verzoek opnieuw gelezen en vervolgens gewist zodra het verzoek is beëindigd.
De Infinite-Parameter LLM
Wij stellen de vraag hoe een architectuur kan leren van live-interactie door dit direct in de gewichten te schrijven. Geïnspireerd door MoE stellen wij de Infinite-Parameter LLM voor.
Een compact hypernetwork zet de data die tijdens de runtime wordt gegeven om in een low-rank modulatie van een gedeeld basisnetwerk. Hierdoor worden de feed-forward gewichten gegenereerd vanuit live-data in plaats van dat ze zijn opgeslagen in een vaste bank. Waar eerdere gewichtsgeneratoren de context één keer lezen en vervolgens bevriezen, hanteren wij een Bayesiaanse overtuiging (Bayesian belief) over de latente code van de generator en werken we deze online bij. Hierdoor wordt het effectieve gewicht opnieuw afgeleid uit die evoluerende overtuiging naarmate de sessie vordert, in plaats van dat het na één lezing wordt vastgezet.
Voordelen en Evaluatie
Hoewel de opgeslagen voetafdruk (stored footprint) vast blijft, zijn de gewichten die het model kan compileren effectief oneindig. Voor de kennis en het gedrag die tijdens de runtime worden aangeleverd, biedt het opslaan hiervan in de gewichten (in plaats van in de prompt) de volgende voordelen:
- Het is geamortiseerd in rekenkracht (compute).
- Het maakt het contextvenster vrij.
- Het blijft behouden over verschillende beurten (turns) heen.
- Het kan beter generaliseren dan bij in-context gebruik.
Wij specificeren een evaluatieprotocol dat dit exact test tegenover in-context learning en retrieval.
Infinite-Parameter LLMs: Genereren en Aanpassen van Gewichten op basis van Live Data
Samenvatting
De scaling laws stellen dat een taalmodel krachtiger wordt naarmate er meer parameters en meer trainingsdata worden gebruikt. Mixture-of-Experts (MoE) architecturen hebben deze wetten benut om opmerkelijke resultaten te behalen door voor elk token slechts een fractie van een enorme bank met opgeslagen parameters te activeren. Dit succes is echter gebaseerd op statische pretraining-data.
Een geïmplementeerd model bevindt zich in een andere wereld, waar veel van de data die het model nuttiger zou maken niet in de trainingsset zit, maar in de live-interactie die het model op dat moment verwerkt — zoals feiten die een gebruiker verstrekt of correcties die zij geven. Een conventioneel model kan niet van deze data leren, omdat de gewichten na de training bevroren zijn. In plaats daarvan worden de kennis en het gedrag die tijdens de runtime worden aangeleverd, via retrieval of instructies in de prompt geplaatst; deze worden bij elk verzoek opnieuw gelezen en vervolgens gewist zodra het verzoek is beëindigd.
De Infinite-Parameter LLM
Wij stellen de vraag hoe een architectuur kan leren van live-interactie door dit direct in de gewichten te schrijven. Geïnspireerd door MoE stellen wij de Infinite-Parameter LLM voor.
Een compact hypernetwork zet de data die tijdens de runtime wordt gegeven om in een low-rank modulatie van een gedeeld basisnetwerk. Hierdoor worden de feed-forward gewichten gegenereerd vanuit live-data in plaats van dat ze zijn opgeslagen in een vaste bank. Waar eerdere gewichtsgeneratoren de context één keer lezen en vervolgens bevriezen, hanteren wij een Bayesiaanse overtuiging (Bayesian belief) over de latente code van de generator en werken we deze online bij. Hierdoor wordt het effectieve gewicht opnieuw afgeleid uit die evoluerende overtuiging naarmate de sessie vordert, in plaats van dat het na één lezing wordt vastgezet.
Voordelen en Evaluatie
Hoewel de opgeslagen voetafdruk (stored footprint) vast blijft, zijn de gewichten die het model kan compileren effectief oneindig. Voor de kennis en het gedrag die tijdens de runtime worden aangeleverd, biedt het opslaan hiervan in de gewichten (in plaats van in de prompt) de volgende voordelen:
- Het is geamortiseerd in rekenkracht (compute).
- Het maakt het contextvenster vrij.
- Het blijft behouden over verschillende beurten (turns) heen.
- Het kan beter generaliseren dan bij in-context gebruik.
Wij specificeren een evaluatieprotocol dat dit exact test tegenover in-context learning en retrieval.
Groetjes,