Het artikel bespreekt een experiment naar representatiegeometrie in LLM-embeddings. Naar aanleiding van een observatie dat embeddings van de maanden van het jaar een cirkelvormig patroon vormen in een PCA-plot (met een bijbehorende circulante Gram-matrix), gaat auteur Jamie Simon de weddenschap aan dat hij ook met tien willekeurig ogende woorden een soortgelijk patroon kan vinden.
Door gebruik te maken van een iteratief zoekproces en een objectieve functie die matcht met een doel-circulante Gram-matrix, slaagt Simon erin een set woorden te vinden die inderdaad een cirkel vormt. Hoewel de amplitude van deze patronen lager is dan die van de maanden, bewijst dit dat schijnbare geometrische structuren in hoogdimensionale data door toeval of gerichte zoekopdrachten kunnen ontstaan. De auteur concludeert dat dit een belangrijke waarschuwing is voor onderzoekers: het zoeken naar laag-dimensionale geometrie zonder voldoende statistische beperkingen kan misleidend zijn, wat implicaties heeft voor het vakgebied van schaalbare interpreteerbaarheid.
Hoe je een biertje wint met hoogdimensionale statistiek
Mijn langdurige labgenoot, die inmiddels mijn student en vriend is [1], Dhruva Karkada, schreef onlangs een geweldig artikel over datastatistiek. Dit artikel ging terecht viraal op Twitter, mede omdat het een van de mooiste wetenschappelijke figuren bevat die ik ooit heb gezien.
Stel dat je een verzameling woorden hebt die deel uitmaken van een vocabulair $\mathcal{V}$. Er wordt hier gekeken naar modellen $f$ die $f: \mathcal{V} \rightarrow \mathbb{R}^d$ afbeelden: dat wil zeggen, ze wijzen elk woord toe aan een $d$-dimensionale vector. We nemen de maanden van het jaar $\{vi\}{i=1}^{12} = \{\texttt{januari}, \texttt{februari}, \ldots\}$, nemen de 12 bijbehorende embedding-vectoren $\mathbf{w}i = f(vi)$, en berekenen twee zaken:
- Een projectie op de twee belangrijkste PCA-richtingen van $\{ \mathbf{w}_i \}$ (linker kolom);
- De Gram-matrix $\mathbf{M} \in \mathbb{R}^{12 \times 12}$ zodanig dat $M{ij} = \mathbf{w}i^\top \mathbf{w}_j$ (rechter kolom).
Wanneer men de rijen van deze figuur van boven naar beneden leest [2], stellen zij vast dat:
- LLM-embeddings projecteren naar een cirkel (zoals Engels et al. (2024) ook zagen), en de Gram-matrix is ongeveer een circulante matrix;
- Deze bevindingen worden redelijk benaderd, zelfs met primitieve word2vec-embeddings;
- Een analytische theorie van de circulante Gram-matrix geeft een zeer overtuigende match.
Dit is van groot belang omdat het datastatistiek verbindt met representatiegeometrie via een zeer eenvoudige wiskundige theorie.
Een speld in de hooiberg zoeken
Nadat ik dit een aantal keren had gezien en er een tijdje naar had gestaard, kreeg ik de neiging om een gaatje te schieten in dit prachtige resultaat. Daarom wedde ik met Dhruva een biertje dat ik een verzameling andere, schijnbaar ongerelateerde woorden kon vinden die op dezelfde manier een cirkel en een circulante matrix vormden. Hij (en de meeste anderen die ik erover vertelde) dacht dat dit krankzinnig was, aangezien de cirkel duidelijk voortkomt uit de speciale relatie tussen de woorden. We spraken de voorwaarden van de weddenschap af: ik moest tien willekeurig ogende woorden vinden waarvan de word2vec-embeddings, wanneer ze zoals hierboven werden uitgezet, een duidelijke en overtuigende cirkel vormden.
Waarom dacht ik dat dit mogelijk was? Nou, we hebben een vocabulair van $25.000$ woorden om uit te kiezen. Dat geeft $N = \binom{25000}{10} \approx 3 \times 10^{37}$ sets om uit te selecteren. Ik dacht dat als je dat vaak genoeg pijltjes naar een bord zou gooien, je zeker minstens één keer een cirkel zou maken. Informatietheoretisch gezien heb je $\log_2 N \approx 124$ bits aan informatie, en je kunt met die hoeveelheid oplossend vermogen zeker een redelijke cirkel van 10 punten maken. De vraag is alleen hoe je een set van tien goede woorden in de hooiberg vindt.
Dit is hoe ik het heb aangepakt:
- Uit het bekijken van PCA-plots van willekeurige sets schatte ik dat je bij een willekeurige selectie met een waarschijnlijkheid van misschien $3^{-10}$ een redelijke cirkel zou krijgen, dus willekeurig gissen zou plausibel kunnen werken.
- Ik schreef een objectieve functie voor "ziet er circulair uit", genereerde tienduizenden willekeurige sets en koos de beste. Het was nipt, maar niet goed genoeg om Dhruva volledig te verslaan.
- Ik upgradeerde dit naar een iteratieve zoekopdracht, waarbij we bij elke stap het slechtste punt verwijderen en de beste vervanging uit het vocabulair kiezen. Dat werkte vrij goed.
- Ik veranderde de objectieve functie van "ziet er circulair uit op een PCA-plot" naar "komt overeen met een doel-circulante Gram-matrix". Dat werkte ontzettend goed.
Let op dat de embedding-grootte $d = 10000$ hier nooit een rol in speelde. Dit alles kostte een middag werk met een coding agent.
Het resultaat is als volgt: dat is circulair. Je kunt dus simpelweg andere sets van willekeurig ogende woorden vinden die cirkels vormen!
Heeft dit enige werkelijke betekenis?
Dit roept bepaalde open vragen op, waaronder "hoe kan één man zo mis zitten?", iets wat ik niet bevoegd ben om te beantwoorden.
Maar serieus: we kunnen duidelijk schijnbare geometrische patronen vinden. Zou dit ons begrip van representatiegeometrie moeten veranderen? Ik zou eerst een paar kanttekeningen willen plaatsen:
- Hoewel de Gram-matrix van mijn schijn-cirkel-set inderdaad prachtig circulant is, is de amplitude van de (sinusoïdale) off-diagonalen lager dan bij de maanden. Ik kon ze niet zo hoog krijgen dat ze overeenkwamen met de Gram-matrix van de maanden, zelfs niet binnen een factor twee.
- Dit werkt erg goed met een set van tien, maar ik betwijfel of het zou werken met een set van bijvoorbeeld 50 (hoewel ik dat eerlijk gezegd niet hard geprobeerd heb). De andere geometrische bevindingen van Dhruva (over bijvoorbeeld alle jaren van 1700-2020) kunnen dus niet op deze manier worden gesimuleerd.
Desondanks laat het wel zien dat het uitvoeren van een soort pursuit-matching-style zoektocht naar een bepaalde laag-dimensionale PCA-geometrie je kan misleiden, tenzij je genoeg statistische beperkingen op je doel hebt zodat het niet door toeval gebeurt! Dit sluit bepaalde automatische feature-vindingsalgoritmen uit, wat implicaties heeft voor onderzoeksagenda's zoals schaalbare interpreteerbaarheid.
***
Voetnoten: [1] Als deze beschrijving wat omslachtig overkomt, komt dat omdat mijn baan verwarrend is. [2] Let op: ik heb de volgorde van de rijen omgedraaid voor het gemak van het verhaal, niet dat het uitmaakt.
Hoe je een biertje wint met hoogdimensionale statistiek
Mijn langdurige labgenoot, die inmiddels mijn student en vriend is [1], Dhruva Karkada, schreef onlangs een geweldig artikel over datastatistiek. Dit artikel ging terecht viraal op Twitter, mede omdat het een van de mooiste wetenschappelijke figuren bevat die ik ooit heb gezien.
Stel dat je een verzameling woorden hebt die deel uitmaken van een vocabulair $\mathcal{V}$. Er wordt hier gekeken naar modellen $f$ die $f: \mathcal{V} \rightarrow \mathbb{R}^d$ afbeelden: dat wil zeggen, ze wijzen elk woord toe aan een $d$-dimensionale vector. We nemen de maanden van het jaar $\{vi\}{i=1}^{12} = \{\texttt{januari}, \texttt{februari}, \ldots\}$, nemen de 12 bijbehorende embedding-vectoren $\mathbf{w}i = f(vi)$, en berekenen twee zaken:
- Een projectie op de twee belangrijkste PCA-richtingen van $\{ \mathbf{w}_i \}$ (linker kolom);
- De Gram-matrix $\mathbf{M} \in \mathbb{R}^{12 \times 12}$ zodanig dat $M{ij} = \mathbf{w}i^\top \mathbf{w}_j$ (rechter kolom).
Wanneer men de rijen van deze figuur van boven naar beneden leest [2], stellen zij vast dat:
- LLM-embeddings projecteren naar een cirkel (zoals Engels et al. (2024) ook zagen), en de Gram-matrix is ongeveer een circulante matrix;
- Deze bevindingen worden redelijk benaderd, zelfs met primitieve word2vec-embeddings;
- Een analytische theorie van de circulante Gram-matrix geeft een zeer overtuigende match.
Dit is van groot belang omdat het datastatistiek verbindt met representatiegeometrie via een zeer eenvoudige wiskundige theorie.
Een speld in de hooiberg zoeken
Nadat ik dit een aantal keren had gezien en er een tijdje naar had gestaard, kreeg ik de neiging om een gaatje te schieten in dit prachtige resultaat. Daarom wedde ik met Dhruva een biertje dat ik een verzameling andere, schijnbaar ongerelateerde woorden kon vinden die op dezelfde manier een cirkel en een circulante matrix vormden. Hij (en de meeste anderen die ik erover vertelde) dacht dat dit krankzinnig was, aangezien de cirkel duidelijk voortkomt uit de speciale relatie tussen de woorden. We spraken de voorwaarden van de weddenschap af: ik moest tien willekeurig ogende woorden vinden waarvan de word2vec-embeddings, wanneer ze zoals hierboven werden uitgezet, een duidelijke en overtuigende cirkel vormden.
Waarom dacht ik dat dit mogelijk was? Nou, we hebben een vocabulair van $25.000$ woorden om uit te kiezen. Dat geeft $N = \binom{25000}{10} \approx 3 \times 10^{37}$ sets om uit te selecteren. Ik dacht dat als je dat vaak genoeg pijltjes naar een bord zou gooien, je zeker minstens één keer een cirkel zou maken. Informatietheoretisch gezien heb je $\log_2 N \approx 124$ bits aan informatie, en je kunt met die hoeveelheid oplossend vermogen zeker een redelijke cirkel van 10 punten maken. De vraag is alleen hoe je een set van tien goede woorden in de hooiberg vindt.
Dit is hoe ik het heb aangepakt:
- Uit het bekijken van PCA-plots van willekeurige sets schatte ik dat je bij een willekeurige selectie met een waarschijnlijkheid van misschien $3^{-10}$ een redelijke cirkel zou krijgen, dus willekeurig gissen zou plausibel kunnen werken.
- Ik schreef een objectieve functie voor "ziet er circulair uit", genereerde tienduizenden willekeurige sets en koos de beste. Het was nipt, maar niet goed genoeg om Dhruva volledig te verslaan.
- Ik upgradeerde dit naar een iteratieve zoekopdracht, waarbij we bij elke stap het slechtste punt verwijderen en de beste vervanging uit het vocabulair kiezen. Dat werkte vrij goed.
- Ik veranderde de objectieve functie van "ziet er circulair uit op een PCA-plot" naar "komt overeen met een doel-circulante Gram-matrix". Dat werkte ontzettend goed.
Let op dat de embedding-grootte $d = 10000$ hier nooit een rol in speelde. Dit alles kostte een middag werk met een coding agent.
Het resultaat is als volgt: dat is circulair. Je kunt dus simpelweg andere sets van willekeurig ogende woorden vinden die cirkels vormen!
Heeft dit enige werkelijke betekenis?
Dit roept bepaalde open vragen op, waaronder "hoe kan één man zo mis zitten?", iets wat ik niet bevoegd ben om te beantwoorden.
Maar serieus: we kunnen duidelijk schijnbare geometrische patronen vinden. Zou dit ons begrip van representatiegeometrie moeten veranderen? Ik zou eerst een paar kanttekeningen willen plaatsen:
- Hoewel de Gram-matrix van mijn schijn-cirkel-set inderdaad prachtig circulant is, is de amplitude van de (sinusoïdale) off-diagonalen lager dan bij de maanden. Ik kon ze niet zo hoog krijgen dat ze overeenkwamen met de Gram-matrix van de maanden, zelfs niet binnen een factor twee.
- Dit werkt erg goed met een set van tien, maar ik betwijfel of het zou werken met een set van bijvoorbeeld 50 (hoewel ik dat eerlijk gezegd niet hard geprobeerd heb). De andere geometrische bevindingen van Dhruva (over bijvoorbeeld alle jaren van 1700-2020) kunnen dus niet op deze manier worden gesimuleerd.
Desondanks laat het wel zien dat het uitvoeren van een soort pursuit-matching-style zoektocht naar een bepaalde laag-dimensionale PCA-geometrie je kan misleiden, tenzij je genoeg statistische beperkingen op je doel hebt zodat het niet door toeval gebeurt! Dit sluit bepaalde automatische feature-vindingsalgoritmen uit, wat implicaties heeft voor onderzoeksagenda's zoals schaalbare interpreteerbaarheid.
***
Voetnoten: [1] Als deze beschrijving wat omslachtig overkomt, komt dat omdat mijn baan verwarrend is. [2] Let op: ik heb de volgorde van de rijen omgedraaid voor het gemak van het verhaal, niet dat het uitmaakt.
Groetjes,