Functionele echografie-beeldvorming vanaf nul

Functionele echografie-beeldvorming (fUSI) is een methode voor hersenbeeldvorming die net begint te worden gedemonstreerd in menselijke studies. Velen zullen bekend zijn met structurele echografie, die statische beelden vormt met behulp van ultrasone geluidsgolven, zoals bij een sonogram¹. Functionele echografie legt daarentegen zeer snel video's van hersenweefsel vast, waarbij subtiele veranderingen worden gevolgd die worden veroorzaakt door de bloedstroom die volgt op neurale activiteit.

Functionele echografie-beeldvorming werd voor het eerst gedemonstreerd door Macé et al. (2011). Er wordt een ultrasone probe gebruikt om het brein van een rat zeer snel in beeld te brengen. Een computationele benadering isoleert snel veranderende pixels, waardoor een kaart van de vaten ontstaat.

Hoewel de bron van contrast hetzelfde is als bij functionele MRI (fMRI), heeft fUSI het potentieel om:

• Een tien keer hogere lineaire resolutie te hebben (1000x meer voxels);
• Kleiner te zijn (geen magneet!);
• Goedkoper te zijn (geen magneet!);
• Een hogere signaal-ruisverhouding te hebben.

De modaliteit combineert van nature goed met low-intensity focused ultrasound (LIFU, of verwarrend genoeg, fUS), die energie richt op een doelgebied in de hersenen om dit te moduleren—een nieuwe behandeloptie voor neuropsychiatrische en neurologische aandoeningen. Uitbreidingen waarbij gebruik wordt gemaakt van contrastmiddelen of gentherapieën zouden verder kunnen gaan dan hemodynamische responsen om vaten met superresolutie te meten of zelfs direct neurale activiteit te meten. En hoewel ultrasone golven de schedel niet gemakkelijk kunnen penetreren, is fUSI gedemonstreerd tijdens operaties en bij een patiënt die een akoestisch transparant craniaal implantaat ontving na reconstructieve schedelchirurgie.

Ik ben vorig jaar dieper in fUSI gedoken en ontdekte dat veel van de technische informatie verborgen is in de methodensecties van applicatiepapers, of verspreid is over lange boeken over echografie in het algemeen. fUSI pikt de hemodynamische respons op, maar hoe? Wat is de bron van contrast? Meet het de bloedstroom of het volume? Hoe gaat het om met bewegingen van het hoofd? Wat is echografie eigenlijk?

Ik ben in een rabbit hole gedoken—waaronder het bijna volledig lezen van een studieboek van 800 pagina's—zodat u dat niet hoeft te doen. Ik zal uitleggen hoe fUSI fysiek werkt en hoe het wordt geanalyseerd. Dit biedt een goede basis om fUSI computationeel te bestuderen. Omdat veel van de beschikbare analyse-toolkits voor fUSI-simulaties zijn vastgelegd in Matlab, heb ik een reeks Python-tutorials op Github geplaatst, zodat u (of uw agent) deze kunt volgen. Aan het einde van dit essay zou u moeten begrijpen wat fUSI is, hoe het werkt en waarom het nog lang niet aan zijn plafond zit.

Dit is een sterk uitgebreide versie van een artikel dat ik in februari op X heb geplaatst. Ik was niet tevreden met het origineel, dus heb ik een tweede versie gemaakt: dit stuk bevat nieuwe afbeeldingen en video's, gaat dieper in op de fysica en pinpoint waar de signaalverwerking van fUSI verbeterd zou kunnen worden.

Hoe fUSI op hoog niveau werkt

Functionele echografie-beeldvorming maakt, net als conventionele echografie, gebruik van transducers—die fungeren als zowel zenders als ontvangers—om ultrasone golven door weefsel te communiceren. Die ultrasone golven reizen grotendeels ongehinderd door hersenweefsel², maar worden teruggekaatst (backscattering) wanneer ze een verandering in impedantie tegenkomen, zoals een rode bloedcel, een luchtbel of de schedel. Door deze teruggekaatste golven te meten, is het mogelijk om lokale veranderingen in impedantie computationeel te reconstrueren. De resolutie van de gereconstrueerde beelden is proportioneel aan de golflengte van het gebruikte ultrasone geluid; dat kan betekenen tot circa 100 $\mu$m lineaire resolutie bij sonificatie op 18 MHz, wat aan de bovenkant zit van wat klinisch wordt gebruikt.

Dat verklaart hoe we structurele beelden met een hoge resolutie kunnen meten, maar hoe zit het met functionele beeldvorming? Wanneer neuronen vuren, verbruiken ze energie, wat vaatverwijding en een vertraagde instroom van bloed naar de actieve regio veroorzaakt: de hemodynamiek. Dat bloed heeft andere eigenschappen dan de basislijn: er is meer van, het beweegt sneller, het heeft een ander zuurstofgehalte en een andere kleur. Meerdere brain imaging modaliteiten maken gebruik van dit feit door veranderingen in sommige of al deze eigenschappen te meten, waaronder fMRI (BOLD) en fNIRS.

fUSI maakt gebruik van het feit dat bewegende rode bloedcellen zorgen voor verschuivende patronen van constructieve en destructieve interferentie in teruggekaatste golffronten, de fijnmazige textuur in echobeelden die bekend staat als speckle. fUSI neemt beelden van de hersenen zeer snel op—met een frequentie boven de kHz—en volgt veranderingen in speckle over tijd. De hoeveelheid verandering in deze beelden is gerelateerd aan de bloedstroom en het volume. De procentuele signaalverandering gemeten met fUSI is opmerkelijk hoog: tot 20%, vergeleken met de enkele procenten van het BOLD-signaal bij fMRI.

Hier is een intuïtieve analogie³ voor hoe dat werkt. Stel je een mooie high-res foto voor van de Brooklyn Bridge bij nacht, genomen met een lange sluitertijd. Het wateroppervlak ziet er glad en ononderbroken uit. Maar waar zit de beweging in dit beeld? Om beweging te volgen, kunnen we een high-speed video van de scène maken en meten hoe de helderheid van elke pixel varieert in een tijdsvenster met behulp van de standaarddeviatie. Wanneer we het resulterende beeld kleurcoderen, verschijnt het glinsterende wateroppervlak helderrood, zelfs als er geen bulkstroom is (waarbij we de getijden negeren). Men zou dit kunnen gebruiken om de onrust van het water te kwantificeren, of om te meten hoe water reageert op een boot die erdoorheen vaart. Videoanalyse kan dus stroming onthullen⁴.

Als u iets weet van fotografie en videografie, dan ziet u waarschijnlijk de gebreken in dit analyseplan. Als ik de framerate verhoog en daarmee de belichting verkort, zal dat de SNR (signaal-ruisverhouding) dan niet onaanvaardbaar verlagen? Als ik de camera in mijn hand houd, zal dat de analyse dan niet verstoren? Gooi ik niet te veel informatie weg door alleen de standaarddeviatie te berekenen? Inderdaad, dezelfde problemen die videogebaseerde bewegingsanalyse teisteren, beïnvloeden ook fUSI. Laten we zien hoe deze in detail uitvallen.

Een gedetailleerde analyse van fUSI

Ultrasnelle vlakgolven en reconstructie

Conventionele echografie vormt beelden door een gefocuste straallijn te scannen en deze over het gezichtsveld te bewegen, in de stijl van sonar in een onderzeeër. fUSI gebruikt een andere, gemultiplexte strategie: in plaats van een gefocuste straal verzendt het ongefocuste vlakgolven met vlakke golffronten die het hele beeldvlak in één keer bestralen, zodat één enkele puls een volledig beeld kan produceren. Meerdere detectoren kunnen vervolgens de bron van de terugkaatsing bepalen. De herhalingssnelheid wordt beperkt door de tijd die het echo nodig heeft om terug te keren naar de transducer: voor een retourweg van 10 cm en een voortplantingssnelheid van 1500 m/s bereikt de herhalingssnelheid 15 kHz. In de praktijk worden vlakgolven die onder meerdere hoeken en in meerdere herhalingen worden verzonden, coherent samengevoegd (compounded), waardoor de effectieve framerate daalt naar iets beheersbaars.

Het reconstructieprobleem is vervolgens om de dichtheid van verstrooiers (scatterers) in het weefsel af te leiden op basis van de tijdserie voor elk element. Om dat te doen, moeten we nadenken over hoe ultrasone golven zich door weefsel voortplanten, wat kan worden gedaan met behulp van de fysica. Het is een leuke oefening om de golfvergelijking voor geluid in een vloeistof vanaf nul af te leiden: deze is in feite vrij vergelijkbaar met het afleiden van de Navier-Stokes-vergelijking, maar met een andere set benaderingen. Als u uitgaat van een homogeen achtergrondmedium, kunt u de voortplantingsvergelijkingen analytisch afleiden en de vergelijkingen simuleren met behulp van Fourier-transformaties.

Om de reconstructie uit te voeren, moet u opmerken dat als u een signaal $s(t)$ meet op tijdstip $t$ op een bepaalde transducer, er slechts een klein stukje ruimte is waar het signaal vandaan zou kunnen komen: die ambiguïteit neemt de vorm aan van een kegelsnede. Elk element heeft een iets andere geometrie ten opzichte van het golffront en het weefsel, en de (conische) ambiguïteit lost zichzelf op door de kegelsneden samen te voegen. Er zijn verschillende manieren om dit te doen, waarbij het delay-and-sum beamforming (DAS) algoritme een populaire methode is. Voor elke pixel in het beeld berekent u hoe lang een geluidsgolf erover doet om van de transducer naar dat punt te reizen en terug, past u die vertragingen toe op de ruwe signalen en telt u deze op in de beeldruimte. Constructieve interferentie onthult de locaties van de verstrooiers.

Zoals vaak gebeurt bij dit soort zaken, kunt u dit in plaats daarvan gieten als een lineair reconstructieprobleem, waarbij u zult merken dat de sensitiviteitsmatrix $A$ zeer goed geconditioneerd is, waarbij de $A'A$-matrix dicht bij diagonaal ligt. Het DAS-beamforming-algoritme is "fout" in die zin dat het effectief de getransponeerde matrix met het signaal vermenigvuldigt, in plaats van de pseudo-inverse te gebruiken; maar er is weinig extra winst te behalen in termen van reconstructienauwkeurigheid door dit correctere algoritme te gebruiken. Al met al is het reconstructieprobleem eenvoudig, hoewel het subtiel kan zijn, aangezien de reconstructie plaatsvindt in de complexe ruimte; zie de notebooks voor details.

Het isoleren van de bloedstroom

Zodra we een grote stapel snel verworven beelden hebben, kunnen we een schatting van de standaarddeviatie via een schuivend venster (moving window estimate) gebruiken om te meten hoe de fijnmazige textuur van de beelden verandert, wat een proxy is voor het bloedvolume. Dit staat bekend als de Power Doppler (PD) schatting. De naam is misleidend: PD meet geen Doppler-frequentieshift, alleen de verandering in magnitude en fase van de beelden. Het is gevoelig voor beweging langs de straal en orthogonaal daaraan. Het wordt berekend door de standaarddeviatie van de complexe reconstructie te nemen. Simulaties en analytische oplossingen tonen aan dat PD vooral gevoelig is voor het aantal bewegende verstrooiers, en minder voor hun snelheid.

Een probleem met de Power Doppler-schatting is dat deze vrij gevoelig is voor globale beweging die niet te wijten is aan de hemodynamische respons (bijv. het vasthouden van de camera in de hand, in de Brooklyn Bridge-analogie). Bij hersenbeeldvorming beweegt alles: pols en ademhaling bewegen de probe en het weefsel (onthoud dat hersenen de textuur hebben van warme boter!), en de beweging van het subject wordt doorgegeven via het hoofd. De klassieke oplossing wordt clutter filtering genoemd: het neemt ruwe beeldsequenties en gebruikt de SVD (Singular Value Decomposition) om de leidende termen in een decompositie over tijd en ruimte te vinden, en verwijdert deze vervolgens.

In de praktijk verwijdert clutter filtering vaak >99% van de variantie in de beeldsequentie. Het is een vrij bot instrument en het verwijdert waarschijnlijk veel meer dan nodig is. Een betere oplossing is om de beweging direct te schatten en te annuleren met een piecewise rigid motion estimator; bijvoorbeeld door NoRMCorre te gebruiken, dat normaal wordt gebruikt voor calcium-beeldanalyse, om globale beweging te corrigeren vóór een (minder harde) clutter filter.

Het is ook niet duidelijk of de standaarddeviatie de beste schatting is van lokale bewegingen van rode bloedcellen. We kunnen inspiratie putten uit andere disciplines: in diffuse correlation spectroscopy, die de destructieve en constructieve interferentie van licht gebruikt om iets over het monster af te leiden, wordt de beweging van verstrooiers afgelezen uit de autocorrelatiefunctie van het signaal, niet uit de standaarddeviatie. Als het Power Doppler-signaal vooral gevoelig is voor het aantal verstrooiers—het cerebrale bloedvolume—dan is de autocorrelatie-vervaltijd meer proportioneel aan de snelheid—de cerebrale bloedstroom. Dit zou een orthogonaal kanaal kunnen bieden om te bestuderen, zoals gedemonstreerd door Tang et al. (2020).

Ten slotte zou men zich kunnen voorstellen dat al deze signaalverwerking wordt overgeslagen en er simpelweg een end-to-end deep learning-methode wordt gebruikt om beeldsequenties in te bedden voor decodering. Helaas is er erg weinig van deze data vrij beschikbaar, wat het onmogelijk maakt om een foundation model voor fUSI te trainen op echte data, maar simulaties zouden het trucje kunnen doen: je moet er alleen zeker van zijn dat de deep learning-methode uiteindelijk duizenden frames per seconde kan verwerken.

Het analyseren van de data

Stel dat we, zoals in Rabut et al. (2024), het ontstoorde Power Doppler-signaal meten over de motorische cortex in een paradigma waarbij een patiënt de instructie krijgt om een joystick te gebruiken om op verschillende manieren een afbeelding te tekenen. Dit soort tijdreeksen, waarbij de activiteit naar verwachting tijd-gekoppeld is aan een extern signaal, kunnen vruchtbaar worden geanalyseerd met enkele van dezelfde methoden als men zou gebruiken om fMRI te analyseren. Dat betekent GLM's (General Linear Models), decodering- en encoderingsmodellen, MVPA en al hun varianten. We kunnen bijvoorbeeld een GLM gebruiken om voxels te vinden die worden gemoduleerd door bewegingsintentie; we kunnen een decoder gebruiken (bijv. logistische regressie) om te bepalen in welke richting de patiënt probeerde een joystick te bewegen.

Een van de interessante open vragen is hoeveel de extra resolutie van fUSI u oplevert vergeleken met fMRI in termen van decoderingsnauwkeurigheid. Het hangt waarschijnlijk af van de variabele die gedecodeerd moet worden. Sommige belangrijke variabelen zijn vloeiend gecodeerd op het corticale manifold, bijvoorbeeld retinotopie en somatotopie. Andere aspecten zijn op een veel granulaire manier verspreid; oriëntatieselectiviteit in de primaire visuele cortex is een voorbeeld. Het is natuurlijk om te denken dat variabelen die granularer zijn gecodeerd, meer baat zullen hebben dan variabelen die vloeiend zijn gecodeerd. Het beantwoorden van deze vraag is belangrijk om de toepasbaarheid van fUSI voor brain-machine interfaces af te bakenen—wat is de granulariteit van de beweging die u kunt decoderen?—of voor neuropsychiatrische stoornissen—kunnen we subjectieve waarde decoderen uit een heterogene populatie neuronen om deze te beïnvloeden?

Voorbij een bepaalde resolutie wordt het signaal echter beperkt door de topologie van de vasculatuur. Het signaal op het niveau van de capillairen, die een handvol neuronen voeden en draineren, is maximaal selectief, maar het is minuscuul. Daarentegen transporteren grote aderen signalen die groot genoeg zijn om door fUSI te worden opgepikt, maar omdat ze middelen over een groot drainagegebied met gemengde selectiviteit, kunnen ze slecht selectief zijn. Het is een beetje als het lezen van het niveau van vervuiling in de Mississippi-rivier met behulp van remote sensing via satelliet: u krijgt veel signaal in New Orleans, waar de rivier een mijl breed is, maar het zou de bron van de vervuiling niet oplossen, omdat het stroomgebied op dat punt een groot deel van het continent beslaat.

De kans is groot dat venulen (venules) het ideale punt (sweet spot) vormen. Inderdaad, GLM-afgeleide activatiebeelden van fUSI tonen opvallende patronen: het lijkt erop dat de best gemoduleerde signalen niet bovenop (duidelijk zichtbare) grote aderen liggen, maar juist in de periferie van deze aderen, wat naar mijn vermoeden de venulen zijn.

Conclusie

Het is nog vroeg voor fUSI. De modaliteit heeft een hoog plafond met veel ruimte om te groeien. Zelfs zonder toegang tot speciale apparatuur zijn er verschillende projecten, waar ik hier naar heb verwezen, die een beginnend computationeel neurowetenschapper of machine learning-engineer zou kunnen doen om de analyse ervan te verbeteren.

Een groot deel van het groeipad van fUSI is om het toegankelijker te maken. Toen ik ongeveer een jaar geleden begon met het bekijken van fUSI, konden AI-agents ultrasone voortplanting niet correct simuleren of delay-and-sum niet correct coderen. Daarom heb ik gewerkt aan een serie van vier notebooks om te tonen wat ik in dit essay bespreek en mezelf ervan te overtuigen dat ik begrijp hoe het werkt: ultrasone voortplanting, structurele reconstructie, functionele reconstructie en analyse van echte data. De notebooks zijn open source; uw bijdragen en PR's zijn altijd welkom.

***

Voetnoten:

1. De Midjourney-scanner is een ander voorbeeld van structurele echografie, maar in tegenstelling tot een sonogram gebruikt deze, naast backscatter, ook attenuatie en vertraging in een transmissieconfiguratie.
2. Mits de starre schedel niet in de weg zit.
3. Het is een vrij precieze analogie, behalve dat de bron van contrast de willekeurige relatieve hoek van het omgevingslicht en het wateroppervlak is, in plaats van speckle.
4. Een gerelateerde set technieken omvat video-elastografie en Eulerse magnificatie. U kunt deze methoden toepassen op reguliere beelden, echografie of optische coherentietomografie.