Het artikel introduceert Cache-to-Cache (C2C), een nieuw paradigma voor communicatie tussen Large Language Models (LLM's). Waar bestaande systemen communiceren via tekst—wat leidt tot informatieverlies en latentie door token-generatie—stelt C2C directe semantische overdracht voor.
C2C maakt gebruik van een neuraal netwerk om de KV-cache van een bronmodel te projecteren en te fuseren met die van een doelmodel, ondersteund door een leerbaar gating-mechanisme. De resultaten tonen aan dat C2C:
- Een nauwkeurigheid behaalt die 6,4-14,2% hoger ligt dan die van individuele modellen.
- Ongeveer 3,1-5,4% beter presteert dan tekstgebaseerde communicatie.
- Een gemiddelde versnelling van 2,5x in latentie oplevert.
Cache-to-Cache: Directe Semantische Communicatie tussen Large Language Models
Samenvatting
Systemen met meerdere LLM's benutten de complementaire sterktes van diverse Large Language Models, waardoor prestatie- en efficiëntiewinsten worden behaald die niet haalbaar zijn met een enkel model. In bestaande ontwerpen communiceren LLM's via tekst, wat ertoe leidt dat interne representaties moeten worden omgezet in output-tokensequenties. Dit proces resulteert zowel in het verlies van rijke semantische informatie als in latentie door de token-voor-token generatie.
Gestimuleerd door deze beperkingen stellen wij de vraag: kunnen LLM's communiceren buiten tekst om? Oracle-experimenten tonen aan dat het verrijken van de KV-Cache-semantiek de responskwaliteit kan verbeteren zonder de cachegrootte te vergroten, wat aantoont dat de KV-Cache een effectief medium is voor inter-model communicatie.
Daarom stellen wij Cache-to-Cache (C2C) voor, een nieuw paradigma voor directe semantische communicatie tussen LLM's. C2C maakt gebruik van een neuraal netwerk om de KV-cache van het bronmodel te projecteren en te fuseren met die van het doelmodel, om zo directe semantische overdracht mogelijk te maken. Een leerbaar gating-mechanisme selecteert de doellagen die profiteren van cache-communicatie.
In tegenstelling tot tekstcommunicatie maakt C2C gebruik van de diepe, gespecialiseerde semantiek van beide modellen, terwijl expliciete tussenliggende tekstgeneratie wordt vermeden. Experimenten tonen aan dat C2C een gemiddeld 6,4-14,2% hogere nauwkeurigheid behaalt dan individuele modellen. Bovendien presteert het ongeveer 3,1-5,4% beter dan het tekstcommunicatie-paradigma, terwijl het een gemiddelde versnelling van 2,5x in latentie oplevert.
Auteurs: Tianyu Fu, Zihan Min, Hanling Zhang, Jichao Yan, Guohao Dai, Wanli Ouyang, Yu Wang
Cache-to-Cache: Directe Semantische Communicatie tussen Large Language Models
Samenvatting
Systemen met meerdere LLM's benutten de complementaire sterktes van diverse Large Language Models, waardoor prestatie- en efficiëntiewinsten worden behaald die niet haalbaar zijn met een enkel model. In bestaande ontwerpen communiceren LLM's via tekst, wat ertoe leidt dat interne representaties moeten worden omgezet in output-tokensequenties. Dit proces resulteert zowel in het verlies van rijke semantische informatie als in latentie door de token-voor-token generatie.
Gestimuleerd door deze beperkingen stellen wij de vraag: kunnen LLM's communiceren buiten tekst om? Oracle-experimenten tonen aan dat het verrijken van de KV-Cache-semantiek de responskwaliteit kan verbeteren zonder de cachegrootte te vergroten, wat aantoont dat de KV-Cache een effectief medium is voor inter-model communicatie.
Daarom stellen wij Cache-to-Cache (C2C) voor, een nieuw paradigma voor directe semantische communicatie tussen LLM's. C2C maakt gebruik van een neuraal netwerk om de KV-cache van het bronmodel te projecteren en te fuseren met die van het doelmodel, om zo directe semantische overdracht mogelijk te maken. Een leerbaar gating-mechanisme selecteert de doellagen die profiteren van cache-communicatie.
In tegenstelling tot tekstcommunicatie maakt C2C gebruik van de diepe, gespecialiseerde semantiek van beide modellen, terwijl expliciete tussenliggende tekstgeneratie wordt vermeden. Experimenten tonen aan dat C2C een gemiddeld 6,4-14,2% hogere nauwkeurigheid behaalt dan individuele modellen. Bovendien presteert het ongeveer 3,1-5,4% beter dan het tekstcommunicatie-paradigma, terwijl het een gemiddelde versnelling van 2,5x in latentie oplevert.
Groetjes,