Exploderende variantie van gemiddelden van exponentiële functies: kleinste-kwadraten tot de redding

Een veelvoorkomende taak in machine learning is het schatten of optimaliseren van "log-sum-exp"-functies met (potentieel continu) veel termen, zoals: $$ \log \Big( \int_{\mathcal{X}} e^{v(x)} dq(x) \Big),$$ waarbij \(v: \mathcal{X} \to \mathbb{R}\) een potentiaalfunctie is en \(q\) een kansverdeling op de verzameling \(\mathcal{X}\). Dit heeft vele toepassingen binnen data science, vaak via de normalisatie van probabilistische modellen, maar ook als een vloeiende benadering van het maximum, in transformers via de afgeleiden ervan, of in reinforcement learning bij het gebruik van entropie-regularisatie [19]. Soms is de verzameling \(\mathcal{X}\) eindig (potentieel groot) en kan de integraal door expliciete sommatie worden uitgevoerd, maar vaak is een exacte berekening onhaalbaar en wordt in plaats daarvan sampling uit de kansverdeling \(q\) gebruikt.

De belangrijkste moeilijkheid komt voort uit de variantie van dergelijke schattingen, in het bijzonder wanneer \(v\) grote waarden aanneemt. In het eenvoudigste voorbeeld, voor \(z1, \dots, zn \in \mathbb{R}\) die onafhankelijk en normaal verdeeld zijn met gemiddelde \(\mu\) en variantie \(\sigma^2\), is de relatieve gekwadrateerde fout voor het schatten van \(\mathbb{E}[e^z]\): $$\frac{ {\rm var}\big( \frac{1}{n} \sum{i=1}^n e^{zi} \big) }{( \mathbb{E}[ e^{z} ])^2} = \frac{1}{n} \frac{ {\rm var}(e^z) }{( \mathbb{E}[ e^{z} ])^2} = \frac{ e^{\sigma^2}-1}{n}.$$ Deze convergeert naar nul wanneer \(n\) groeit (zoals verwacht vanuit de wet van de grote getallen), maar explodeert exponentieel wanneer \(\sigma\) groeit. Zelfs het nemen van de logaritme verandert de exploderende variantie niet; dat wil zeggen, \({\rm var}\big( \log \big( \frac{1}{n} \sum{i=1}^n e^{zi} \big)\big)\) groeit asymptotisch vergelijkbaar met \(\frac{ e^{\sigma^2}-1}{n}\) (wanneer \(n\) groot is, zoals afgeleid kan worden via de delta-methode).

Ondanks de schattingsproblemen beschikt de log-sum-exp-functie over veel mooie eigenschappen. In het bijzonder is het:

1. Een vloeiende benadering van het maximum.
2. Een manier om probabilistische modellen te normaliseren die is aangepast aan maximum likelihood-schatting, met name in hiërarchische probabilistische modellen waar (conditionele) onafhankelijkheidsaannames leiden tot scheidbaarheid van de bijbehorende verliesfuncties.

De hoofdvraag die ik in dit bericht probeer te beantwoorden is: kunnen we de voordelen behouden van het optimaliseren van log-sum-exp-functies, terwijl we minder blootstaan aan hun computationele en statistische nadelen?

De magie van de kleinste-kwadraten

Aan de andere kant van het spectrum staat de regressie van de kleinste-kwadraten (least-squares), met in essentie exact de tegenovergestelde kenmerken.

Aan de positieve kant verkrijgen we computationele en statistische eenvoud:

• Het leidt tot schattingen in gesloten vorm voor lineaire modellen via lineaire algebra.
• Het is gebaseerd op het berekenen van momenten met een vaste, gecontroleerde variantie.
• Het leidt tot scherpe analyses in diverse scenario's (acceleratie, stochastic gradient descent, etc.).

Aan de negatieve kant creëert het gebruik van kleinste-kwadraten voor alle voorspellingsproblemen, met name bij discrete outputs, bepaalde artefacten. Een traditioneel voorbeeld is classificatie met Gaussische klasse-conditionele data (met identieke covariantiematrices), waarbij kleinste-kwadraten op one-hot gecodeerde outputs problemen oplevert, zoals "masking" (zie [13, Sectie 2.4]) of een hoge benaderingsfout vergeleken met multinomiale logistische regressie (ook wel softmax-regressie genoemd), omdat bij die laatste de log-conditionele kansen affien zijn.

Kunnen we deze twee verzoenen? Is kleinste-kwadraten werkelijk alles wat ik nodig heb?

Er is een andere klassieke poging om de wereld via kleinste-kwadraten te bekijken: dit in series via de methode van Newton, wat in deze context leidt tot iteratively reweighted least-squares. Dit is echter alleen bedoeld voor berekeningen, zonder statistische verbetering. Ons doel is sterker: kunnen we gesloten schatters op basis van kleinste-kwadraten krijgen voor maximum-likelihood-problemen die gewoonlijk de optimalisatie van een convexe functie vereisen (zoals logistische of softmax-regressie)?

Interessant genoeg kan mijn nieuwe poging worden samengevat in één integraalvergelijking: $$ t \log t\, – t + 1 = \int_0^1 \!\! \frac{ (t-1)^2}{\rho t + 1-\rho} (1-\rho) d\rho,$$ wat gecontroleerd kan worden met gebruikelijke integratietechnieken. Laten we zien waarom en hoe.

Relatieve dichtheidsschatting als testomgeving

Ik bekijk een eenvoudig fundamenteel probleem waarin we verschillende schattingskaders kunnen bestuderen en vergelijken, met de opmerking dat dit op verschillende manieren kan worden uitgebreid (met name via wederzijdse informatie).

We beschouwen twee kansverdelingen \(p\) en \(q\) op \(\mathcal{X}\); ons doel is om de logaritme van de relatieve dichtheid \(\log \big(\frac{dp}{dq}(x)\big)\) te schatten. Dit blijkt equivalent te zijn aan het schatten van de Kullback-Leibler (KL) divergentie vanwege de variationele formulering [1]: $${\rm KL}(p\|q) = \int{\mathcal{X}} \log \big(\frac{dp}{dq}(x)\big) dp(x) = \sup{v: \mathcal{X} \to \mathbb{R}} \int{\mathcal{X}} v(x) dp(x) + 1\, – \int{\mathcal{X}} e^{v(x)} dq(x). \tag{1} $$

Dit is een bijzonder belangrijk voorbeeld van een \(f\)-divergentie (zie bijv. [2]), met de volgende definitie en variationele formulering gebaseerd op de Fenchel-conjugaat \(f^\ast\) van \(f\): $$D(p\|q) = \int{\mathcal{X}} f \big( \frac{dp}{dq}(x) \big) dq(x)= \sup{v: \mathcal{X} \to \mathbb{R}} \int{\mathcal{X}} v(x) dp(x) \, – \int{\mathcal{X}} f^\ast(v(x)) dq(x),$$ waarbij de representatie een gevolg is van \(f(t) = \sup_{ u \in \mathbb{R}} ut-f^\ast(u)\) toegepast op elk \(t = \frac{dp}{dq}(x)\). De KL-divergentie correspondeert met \(f(t) = t \log t \, – t + 1\) en \(f^\ast(u) = e^u \, – 1\).

Voor het specifieke geval van de KL-divergentie verkrijgen we, bij optimalisatie met betrekking tot een constante bovenop \(v\), de Donsker-Varadhan representatie [3]: $${\rm KL}(p\|q) = \sup{v: \mathcal{X} \to \mathbb{R}} \int{\mathcal{X}} v(x) dp(x)\, – \log \Big( \int_{\mathcal{X}} e^{v(x)} dq(x) \Big). \tag{2}$$

Hier verschijnt de log-sum-exp-functie expliciet. Om de potentiaal \(v\) te schatten uit i.i.d. samples van \(p\) en \(q\), komt de traditionele variationele benadering overeen met het vervangen van integralen door empirische gemiddelden. Voor \(q\) leidt dit tot een potentieel onstabiel empirisch gemiddelde wanneer alleen samples beschikbaar zijn. Het doel van dit bericht is om een andere weg te verkennen.

De inkadering via \(f\)-divergenties is essentieel voor de nieuwe benadering. We stellen nog een andere (equivalente) variationele formulering vast met twee potentialen \(v\) en \(w\): \(D(p\|q)\) is gelijk aan: $$\sup{v,w: \mathcal{X} \to \mathbb{R}} \int{\mathcal{X}} v(x) dp(x) + \int_{\mathcal{X}} w(x) dq(x) \mbox{ zodanig dat } \forall x \in \mathcal{X}, w(x) \leqslant -f^\ast(v(x)). \tag{3} $$ Bij het optimum is \(w(x) = -f^\ast(v(x))\), en we herstellen Vergelijking (1) in het KL-geval. Deze formulering verschijnt in [25, Theorem 4.4] en heeft de mooie eigenschap dat de symmetrie van het probleem behouden blijft.

Gewogen chi-kwadraat-divergenties

Een andere relevante functie \(f\) voor \(f\)-divergenties is, voor een parameter \(\rho \in [0,1]\): $$ f(t) = \frac{1}{2} \frac{ (t-1)^2}{ \rho t + 1-\rho}. $$ Dit leidt tot een gewogen chi-kwadraat-divergentie: $$ D(p\|q) = \frac{1}{2} \int_{\mathcal{X}} \frac{ \big(\frac{dp}{dq}(x)-1 \big)^2}{ \rho \frac{dp}{dq}(x) + 1-\rho} dq(x).$$ Deze is gebruikt in diverse gebieden van de toegepaste wiskunde [4, 5] en staat bekend onder verschillende namen voor speciale gevallen, zoals de Pearson chi-kwadraat-divergentie voor \(\rho =0\), de Neyman chi-kwadraat voor \(\rho=1\), of de Le Cam-divergentie voor \(\rho=1/2\).

De functie \(f\) hierboven (van de vorm "kwadratisch over affien") heeft een variationele representatie via "kwadratische plus affiene" functies: $$ \frac{1}{2} \frac{ (t-1)^2}{ \rho t + 1-\rho} = \sup_{u \in \mathbb{R}} \ (t-1) u \, – \frac{1}{2} ( \rho t + 1 – \rho) u^2,$$ met de optimale \(u = \frac{t-1}{\rho t + 1 \, – \rho}\).

Door dit toe te passen voor elk \(x \in \mathcal{X}\) op \(t = \frac{dp}{dq}(x)\), hebben we voor deze functie \(f\): $$ D(p\|q) = \!\! \sup{u(\rho,\cdot):\mathcal{X} \to \mathbb{R}} \int{\mathcal{X}} \Big\{ \big(\frac{dp}{dq}(x) -1\big) u(\rho,x) \, – \frac{1}{2} \big( \rho \frac{dp}{dq}(x) + 1 – \rho\big) u(\rho,x)^2 \Big\} dq(x). $$ Dit is exact een kwadratisch variationeel probleem, aangezien de functie \(u(\rho,\cdot)\) alleen kwadratisch voorkomt. De optimale variationele functie is \(\displaystyle u(\rho,x) = \frac{ \frac{dp}{dq}(x) \, – 1}{ \rho \frac{dp}{dq}(x) + 1-\rho}.\)

Deze kwadratische kostenfunctie is expliciet een voorspellingsprobleem van de kleinste-kwadraten: voorspel \(y\) gegeven \(x\), waarbij met kans \(\rho\), \(y\) de waarde \(1/\rho\) aanneemt en \(x\) wordt gesampled uit \(p\), en met kans \(1-\rho\), \(y\) de waarde \(-1/(1-\rho)\) aanneemt en \(x\) wordt gesampled uit \(q\).

Deze variationele formulering kan worden herschreven als: $$ \sup{u(\rho,\cdot):\mathcal{X} \to \mathbb{R}} \int{\mathcal{X}} \big( u(\rho,x) \, – \frac{\rho}{2} u(\rho,x)^2 \big) dp(x) + \int_{\mathcal{X}} \big( -u(\rho,x)\, – \frac{1-\rho}{2} u(\rho,x)^2 \big) dq(x) .$$ We verkrijgen dan een formulering met twee potentialen: $$v(x) = u(\rho,x) \, – \frac{\rho}{2} u(\rho,x)^2 \ \ \mbox{ en } \ \ w(x) = -\, u(\rho,x) \, – \frac{1-\rho}{2} u(\rho,x)^2$$

Uitbreiding via integratie

Als we \(\displaystyle f(t) = \frac{1}{2} \int0^1 \frac{ (t-1)^2}{\rho t + 1-\rho} d\nu(\rho)\) kunnen schrijven voor een niet-negatieve maat \(\nu\) op het interval \([0,1]\), dan kunnen we direct de bovenstaande ontwikkelingen gebruiken om een representatie van \(D(p\|q) \) te krijgen als: $$\!\!\sup{u:[0,1] \times \mathcal{X} \to \mathbb{R}} \int{0}^1\!\!\!\! \int{\mathcal{X}} \!\! \Big[\! \, (\frac{dp}{dq}(x) -1) u(\rho)(x) \, – \frac{1}{2} ( \rho \frac{dp}{dq}(x) + 1 \, – \rho) u(\rho)(x)^2 dq(x) \!\Big] d\nu(\rho), \tag{4}$$ met een functie \(u\) van \([0,1] \times \mathcal{X}\) naar \(\mathbb{R}\).

We krijgen dan een formulering met twee potentialen: $$v(x) = \int0^1 \big[ u(\rho,x) \, – \frac{\rho}{2} u(\rho,x)^2 \big] d\nu(\rho) \tag{5} $$ en $$w(x) = \int0^1 \big[ -u(\rho,x) \, – \frac{1-\rho}{2} u(\rho,x)^2 \big] d\nu(\rho), \tag{6}$$ waarbij \(u(\rho,\cdot)\) een maximizer is van Vergelijking (4). Dit komt overeen met het parallel uitvoeren van een continuüm aan kleinste-kwadratenproblemen.

Deze ontwikkelingen zijn geldig voor alle \(f\)-divergenties met een integraalrepresentatie, en in het bijzonder voor de KL-divergentie, aangezien we hebben: $$t \log t\, – t + 1 = \int_0^1 \!\! \frac{ (t-1)^2}{\rho t + 1-\rho} (1-\rho) d\rho,$$ dat wil zeggen, \(d\nu(\rho) = 2 (1-\rho) d\rho\). Dit omvat KL, alle gewogen chi-kwadraat-divergenties en alle \(\alpha\)-divergenties [14], maar helaas niet de totale variatie.

Lineaire modellen met gesloten spectrale schatting

Als elke functie \(u(\rho,\cdot)\) wordt gemodelleerd als lineair in een kenmerkvector (feature vector) \(\varphi: \mathcal{X} \to \mathbb{R}^m\), dus \(u(\rho,x) = \theta(\rho)^\top \varphi(x)\), dan leidt het optimalisatieprobleem in Vergelijking (4) tot: $$ \sup{\theta(\rho) \in \mathbb{R}^m} \ (\mup – \muq)^\top \theta(\rho)\, -\, \frac{1}{2} \theta(\rho)^\top ( \rho \Sigmap + (1-\rho) \Sigmaq) \theta(\rho), $$ waarbij de momenten van \(\varphi\) met betrekking tot \(p\) en \(q\) zijn: \(\mup = \mathbb{E}p[\varphi(x)]\), \(\muq = \mathbb{E}q[\varphi(x)]\), \(\Sigmap = \mathbb{E}p[\varphi(x)\varphi(x)^\top]\), en \(\Sigmaq = \mathbb{E}_q[\varphi(x)\varphi(x)^\top]\).

De optimale \(\theta(\rho)\) wordt verkregen door een lineair systeem op te lossen: $$\theta(\rho) = ( \rho \Sigmap + (1-\rho) \Sigmaq)^{-1} ( \mup \,- \muq), $$ met een optimale waarde: $$ \frac{1}{2} ( \mup \, – \muq)( \rho \Sigmap + (1-\rho) \Sigmaq)^{-1} ( \mup\, – \muq).$$

Dit leidt tot een nieuwe divergentie die afhangt van de distributies \(p, q\) en de feature map \(\varphi\): $$F(p\|q,\varphi) = \frac{1}{2} \int0^1 ( \mup \, – \muq)^\top( \rho \Sigmap + (1-\rho) \Sigmaq)^{-1} ( \mup\, – \mu_q) d\nu(\rho), \tag{7}$$ en een nieuwe kandidaat voor \(v(x)\) om \(f'(dp/dq(x))\) te schatten via Vergelijking (5). Hiermee verkrijgen we een ondergrens voor de \(f\)-divergentie \(D(p\|q)\).

Om de integratie over \(\rho\) praktisch maakbaar te maken, kunnen we een gegeneraliseerde eigenwaardedecompositie van het paar \((\Sigmap, \Sigmaq)\) gebruiken. Dit levert een basis \((v1, \dots, vm)\) van \(\mathbb{R}^m\) op zodanig dat: $$ \forall i,j \in \{1,\dots,m\}, \ vi^\top \Sigmaq vj = 1{i=j} \ \mbox{ en } \ \Sigmap vi = \lambdai \Sigmaq vj.$$ Dit resulteert in de formule: $$F(p\|q,\varphi) = \sum{i=1}^m \big( ( \mup \, – \muq)^\top vi \big)^2 \frac{f(\lambdai)}{(\lambda_i-1)^2}.$$ Er zijn soortgelijke formules voor \(\theta(\rho)\) en de potentialen \(v(x)\) en \(w(x)\) als kwadratisch-lineaire vormen.

Hoewel individuele kleinste-kwadratenproblemen instabiel kunnen zijn rond \(\rho=0\) of \(\rho=1\), blijft de schatting na integratie stabiel voor alle functies \(f\) waarbij \(t \mapsto f(t)/(t-1)^2\) begrensd blijft.

De rekentijdcomplexiteit is \(O(m^2n + m^3)\) om de divergentie te berekenen en schattingen van \(v\) en \(w\) te vinden. Feature learning maakt het mogelijk om een \(r\)-dimensionale lineaire representatie te leren die gedeeld wordt over alle \(\rho\)'s, met iteraties van complexiteit \(O(r^3 + rmn)\).

Voordelen van spectrale schatting

Vermindert deze methode de variantie? De belangrijkste concurrent is de directe variationele benadering die Vergelijking (1) of (2) maximaliseert.

Hoog-dimensionale evaluatie op een Gaussisch model

In een scenario met Gaussische distributies met gemeenschappelijke covariantiematrices, waar de dimensie \(m\) en het aantal samples \(np, nq\) naar oneindig groeien, hangt de prestatie af van de aspect-ratio's \(\alphap = m/np\) en \(\alphaq = m/nq\).

Bij een groot aantal observaties (kleine \(\alphap, \alphaq\)) presteert de variationele methode beter vanwege een lagere bias. Echter, bij minder observaties maakt de toenemende variantie van de variationele methode de spectrale methode superieur.

Simulaties

Bij experimenten met data in twee dimensies (\(d=2\)) en een niet-lineaire log-dichtheid (geleerd via ReLU random features), blijkt de spectrale schatting voor KL beter dan het gebruik van de Pearson-divergentie en beter dan de variationele methode, behalve bij een zeer groot aantal observaties.

Wederzijdse informatie en conditionele schatting

Binnen de informatietheorie wordt de KL-divergentie vaak gebruikt als maat voor onafhankelijkheid, wat leidt tot de wederzijdse informatie (mutual information). Gegeven een productruimte \(\mathcal{X}1 \times \mathcal{X}2\) en een gezamenlijke distributie \(p(x1, x2)\), kunnen we \(\log \frac{ p(x2|x1)}{p(x_2)}\) schatten.

Ons kader voor gesloten schattingen maakt het mogelijk om conditionele dichtheidsschattingen \(\log p(x2|x1)\) uit te voeren. Wanneer \(\mathcal{X}_2\) eindig is, is deze gesloten schatting exact een manier om softmax-regressie uit te voeren.

De rekentijd voor softmax-regressie via de methode van Newton is \(O(nd^2k^2 + d^3k^3)\) per iteratie, terwijl de gesloten schatter slechts \(O(d^2n + kd^3)\) kost voor één eigenwaardedecompositie, wat een significante winst is.

Kenmerkleren (Feature Learning)

In plaats van vooraf gedefinieerde features, kunnen we features end-to-end leren. In ons variationeel kader betekent dit het maximaliseren van \(F(p\|q, \varphi)\) met betrekking tot \(\varphi\). Omdat \(F\) convex is in de momenten van \(\varphi\), kunnen we een minorization-maximization (MM) algoritme gebruiken, vergelijkbaar met het expectation-maximization (EM) algoritme. Dit maakt het algoritme schaalbaar naar grote netwerken en grote hoeveelheden observaties.

Conclusie

Ik heb een nieuw kader geïntroduceerd voor relatieve dichtheidsschatting dat de exploderende variantie van gemiddelden van exponentiële functies omzeilt. Dit is bereikt via een continuüm van stabiele kleinste-kwadratenproblemen, computationeel mogelijk gemaakt door een enkele gegeneraliseerde eigenwaardedecompositie.

Naast het aanpakken van het variantieprobleem voor modellen die genormaliseerd moeten worden, levert dit een gesloten schatter op voor softmax-regressie. Ik zie dit kader als een potentiële vervanging voor de laatste laag van neurale netwerken, waar cross-entropy loss en log-sum-exp momenteel domineren.

Referenties

[1] Nguyen, X., Wainwright, M. J., & Jordan, M. I. (2010). Estimating divergence functionals and the likelihood ratio by convex risk minimization. IEEE Transactions on Information Theory. [2] Polyanskiy, Y., & Wu, Y. (2025). Information Theory: From Coding to Learning. Cambridge University Press. [3] Donsker, M. D., & Varadhan, S. R. S. (1976). Asymptotic evaluation of certain Markov process expectations for large time-III. Communications on Pure and Applied Mathematics. [4] Györfi, L., & Vajda, I. (2001). A class of modified Pearson and Neyman statistics. Statistics & Risk Modeling. [5] Le Cam, L. (2012). Asymptotic Methods in Statistical Decision Theory. Springer. [6] Golub, G. H., Heath, M., & Wahba, G. (1979). Generalized cross-validation as a method for choosing a good ridge parameter. Technometrics. [7] Bach, F. (2026). A Spectral Framework for Closed-Form Relative Density Estimation. arXiv:2605.10668. [8] Golub, G. H., & Van Loan, C. F. (1996). Matrix Computations. Johns Hopkins University Press. [9] Bach, F. (2026). Regularized Variational and Spectral Log-Density-Ratio Estimation in the Gaussian Location Model. arXiv:2607.01895. [10] Henrion, D., Korda, M., & Lasserre, J. B. (2020). The Moment-SOS Hierarchy. World Scientific. [11] Bai, Z., & Silverstein, J. W. (2010). Spectral Analysis of Large Dimensional Random Matrices. Springer. [12] Thrampoulidis, C., Oymak, S., & Hassibi, B. (2014). The Gaussian min-max theorem in the presence of convexity. arXiv:1408.4837. [13] Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning. Springer. [14] Cichocki, A., & Amari, S. (2010). Families of alpha-beta- and gamma-divergences. Entropy. [15] Hunter, D. R., & Lange, K. (2004). A tutorial on MM algorithms. The American Statistician. [16] Mairal, J. (2013). Stochastic majorization-minimization algorithms for large-scale optimization. NeurIPS. [17] Dempster, A. P., Laird, N. M., & Rubin, D. B. (1977). Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society. [18] Cappé, O., & Moulines, E. (2009). On-line expectation–maximization algorithm for latent data models. Journal of the Royal Statistical Society. [19] Ziebart, B. D., et al. (2008). Maximum entropy inverse reinforcement learning. AAAI. [20] Bach, F. (2025). Sum-of-squares relaxations for information theory and variational inference. Foundations of Computational Mathematics. [21] Matsumoto, K. (2015). A new quantum version of f-divergence. Springer. [22] Sugiyama, M., Suzuki, T., & Kanamori, T. (2012). Density Ratio Estimation in Machine Learning. Cambridge University Press. [23] Harchaoui, Z., Bach, F., & Moulines, E. (2008). Testing for homogeneity with kernel Fisher discriminant analysis. arXiv:0804.1026. [24] Ribero, M., Schrab, A., & Gretton, A. (2026). Regularized \(f\)-divergence kernel tests. arXiv:2601.19755. [25] Broniatowski, M., & Keziou, A. (2006). Minimization \(\varphi\)-divergences on sets of signed measures. Studia Scientiarum Mathematicarum Hungarica. [26] Gutmann, M. U., & Hyvärinen, A. (2012). Noise-Contrastive Estimation of Unnormalized Statistical Models. JMLR.

Spelen met SDP's (Semi-Definite Programming)

We definieerden onze nieuwe divergentie in Vergelijking (7) als: $$F(p\|q,\varphi) = \frac{1}{2} \int0^1 ( \mup \, – \muq)^\top( \rho \Sigmap + (1-\rho) \Sigmaq)^{-1} ( \mup\, – \muq) d\nu(\rho). $$ Dit is convex in \(\Sigmap\), \(\Sigmaq\), en \(\mup – \muq\). Het belangrijkste resultaat is: $$F(p\|q,\varphi) = \ \sup{M,N,c} {\rm tr}(\Sigmap M) + {\rm tr}(\Sigmaq N) + 2c^\top (\mup – \muq) \qquad \qquad \qquad \qquad$$ $$\qquad \qquad \qquad \qquad \mbox{ zodanig dat } \ \forall \lambda \geqslant 0, \left( \begin{array}{cc} \lambda M + N & (\lambda-1)c \\ (\lambda-1)c^\top & -f(\lambda) \end{array} \right) \preccurlyeq 0.$$ De semi-definitieve restrictie hierboven impliceert exact dat de potentialen \(v(x)\) en \(w(x)\) zodanig zijn dat \(\forall x \in \mathcal{X}, \ w(x) + f^\ast(v(x)) \leqslant 0\), op precies dezelfde manier als semi-definitie programmeering kan worden gebruikt voor optimalisatie via sums-of-squares [10].

In eerder werk [20] had ik een vergelijkbaar kader ontwikkeld voor feature maps die genormaliseerd waren (\(\| \varphi(x)\|=1\)). De belangrijkste vernieuwing hier is dat we geen genormaliseerde features meer nodig hebben, wat het leren van features aanzienlijk vergemakkelijkt.