De opkomst van Audio AR

De juiste informatie, op het juiste moment, zonder te kijken

Voor een tijdje werden virtual reality (VR) en augmented reality (AR) gepresenteerd als het volgende grote ding.

Meta ging er volledig voor in en besteedde jaarlijks miljarden aan R&D voor Oculus, om uiteindelijk de naam van het bedrijf te wijzigen om deze focus te signaleren. Microsofts Hololens zorgde voor veel buzz, Magic Leap was de favoriet van de techpers en investeerders, Sony leverde miljoenen PSVR-units en er gingen geruchten dat Apple aan iets groots werkte.

Maar de hype materialiseerde nooit echt.

Oculus heeft nog steeds geen 'killer-app' gevonden en niemand weet precies wat hij met Apples Vision Pro moet doen. ChatGPT arriveerde en AI werd snel het volgende grote ding, waardoor VR/AR naar de achtergrond verschoof. Zelfs Meta lijkt tegenwoordig meer over LLaMA te praten dan over AR.

Maar stilletjes vallen de puzzelstukjes op hun plek voor een ander soort AR: Audio Augmented Reality (AAR). Dankzij de opkomst van slimme koptelefoons, verbeterde spraakherkenning en -generatie, AI-taalmodellen en betere contextuele gegevens, is AAR klaar om langzaam maar zeker in ons dagelijks leven door te dringen. AAR zal de juiste informatie leveren op het juiste moment, zonder dat we onze focus hoeven te verleggen. Het is een monumentale verschuiving in hoe we met technologie omgaan, en het komt eerder dan je denkt.

De pioniers van Audio AR

Het concept van Audio AR is niet geheel nieuw. Microsofts Soundscape en FourSquares MarsBot waren twee vroege pogingen om een Audio AR-ervaring te bieden.

Microsofts Soundscape werd primair ontwikkeld als een toegankelijkheidstool voor visueel beperkten. Terwijl gebruikers door een stad liepen, maakten ruimtelijke audiosignalen hen attent op interessante punten in de omgeving, van wasserettes tot restaurants. Het demonstreerde het potentieel van ruimtelijk geluid en locatiegebaseerde meldingen om de realiteit aan te vullen. Echter, in dichtbevolkte stedelijke omgevingen creëerde het een overweldigende kakofonie van geluiden. En in buitenwijken was het te schaars om echt nuttig te zijn.

FourSquares MarsBot hanteerde een meer gepersonaliseerde, datagestuurde aanpak. Het maakte gebruik van de uitgebreide database van FourSquare met plaatsen, beoordelingen en recensies om locaties te voorspellen en aan te bevelen die een gebruiker interessant zou kunnen vinden. Maar MarsBot floreerde alleen in een omgeving met een hoge dichtheid, zoals New York City. Het was een experiment – met sterke ideeën over wat een audio-first AR-app inhoudt – dat nooit echt is doorgebroken. Het lukte niet om echt passief te zijn; het vroeg te veel aandacht van de gebruiker om door irrelevante meldingen te filteren.

Deze apps en vergelijkbare experimenten hebben belangrijk grondwerk verricht en lieten zien dat Audio AR voor meer gebruikt kan worden dan eenvoudige navigatie. Soundscape toonde de kracht van ruimtelijk geluid en locatiegebaseerde meldingen voor wegwijzers. MarsBot pionierde met het gebruik van gepersonaliseerde gegevens en experimenteerde met menselijkere meldingen. Maar het lijkt erop dat alleen een zeer specifieke groep nerds, zoals ikzelf, dit opmerkte. Hun ideeën bleven een paar jaar sluimeren, wachtend op de juiste ondersteunende technologieën.

De komst van ondersteunende technologieën

In de afgelopen jaren zijn er verschillende sleuteltechnologieën verschenen die een nieuwe generatie Audio AR-applicaties mogelijk maken:

• Slimme draadloze koptelefoons, zoals de AirPods van Apple, zijn massaal geadopteerd. Hiermee heeft veel mensen een altijd beschikbare, handsfree audio-interface in hun oren. Ze leveren geluid van hoge kwaliteit en geven ontwikkelaars toegang tot diverse besturingen en sensorgegevens, van volume tot hoofdbewegingen en biometrie. Ingebouwde microfoons en eenvoudige bediening maken het makkelijk om assistenten en audio-apps te activeren.
• Spraakherkenning heeft enorme sprongen gemaakt dankzij verbeterde ruisonderdrukking, taalmodellen en edge computing. Praten met virtuele assistenten voelt nu bijna zo natuurlijk als een gesprek met een mens. Je kunt informeel spreken zonder je spraak aan te passen. Spraak-naar-tekst is nu snel en nauwkeurig, zelfs zonder netwerkverbinding.
• Tekst-naar-spraak-engines kunnen nu mensachtige stemmen genereren met realistische buigingen en intonaties. De nieuwste modellen zijn moeilijk te onderscheiden van een echt mens, vooral bij korte uitwisselingen. Dit maakt de vloeiende generatie van dynamische inhoud mogelijk.
• Grote taalmodellen (LLM's) kunnen open gesprekken voeren, vervolgvragen beantwoorden en zelfs acties uitvoeren namens de gebruiker. Ze vertalen imperfecte en inconsistente spraakcommando's naar programmatische acties, wat een complexere interface zonder scherm mogelijk maakt. Bovendien kunnen LLM's dienen als beslissingsmachines voor welke inhoud wanneer getoond moet worden.
• Rijke locatie- en contextgegevens stellen Audio AR-apps in staat om de omgeving en huidige situatie van de gebruiker diepgaand te begrijpen. Dit omvat gedetailleerde plaatsgegevens, realtime weer en verkeer, agenda- en berichtengegevens, en meer. Zonder deze data is het onmogelijk om precies op het juiste moment het juiste stukje informatie te serveren.

Wanneer we dit combineren, kunnen we nu zeer contextuele en gepersonaliseerde audio-inhoud en interacties leveren aan gebruikers terwijl ze hun dag doorgaan. De uitdaging verschuift nu van het bouwen van de ondersteunende technologie naar het ontwerpen van de UX (gebruikerservaring).

Het probleem dat opgelost moet worden

De kernuitdaging voor de UX van Audio AR-applicaties is het leveren van de juiste informatie op het juiste moment. Te veel irrelevante informatie wordt overweldigend. Te weinig, en de ervaring is niet nuttig. Het ideale middenpunt is frustrerend nauw.

Om deze uitdaging te illustreren, beginnen we met een Audio AR-app en use-case die goed werkt: audiotours.

Een paar weken geleden reisde ik naar Gent, België, voor een vergadering van de Overture Maps Foundation. Terwijl ik de stad verkende, probeerde ik een audiotour van de stad via VoiceMap. Ik weet niet hoe goed andere tours zijn, maar deze tour was perfect. Zo goed, dat het het potentieel van Audio AR suggereerde.

De tours van VoiceMap werken door de GPS van je telefoon te gebruiken om audiobeschrijvingen te triggeren die gekoppeld zijn aan specifieke waypoints. Terwijl je loopt, stuurt de verteller je zachtjes in de juiste richting en geeft hij herkenningspunten aan waar het volgende segment van de tour begint. VoiceMap helpt makers om hun inhoud te timen aan specifieke routesegmenten, wat resulteert in een ontspannen maar naadloze ervaring tijdens het wandelen. Als je pauzeert om een café in te gaan, wordt de volgende aanwijzing niet geactiveerd en pauzeert de audio. Zodra je naar buiten loopt, gaat de inhoud weer verder. De interface bestond uit mijn koptelefoon en mijn locatie, en dat was alles.

Maar, om een term uit game-design te lenen, ik zat "op rails".

De inhoud en meldingen waren perfect omdat ik de tour had gekocht en gestart. VoiceMap wist waar ik heen ging en welke informatie ik wilde. Voor een klein deel van Gent was dit de perfecte Audio AR-ervaring. Ik begon me af te vragen wat er nodig zou zijn om de hele stad te voorzien van inhoud en aanwijzingen, zodat ik overal kon lopen waar ik wilde. Maar zelfs dan zou ik de tour uitzetten als ik een pad nam dat ik al eens bewandeld had, of als ik gewoon niet gestoord wilde worden. Zelfs met volledige inhoudsdekking zouden de triggers snel complex worden en meer vereisen dan alleen mijn huidige locatie. Het tijdstip, mijn agenda, mijn eerdere locatiegeschiedenis – dit alles zou bepalen hoe de inhoud gepresenteerd moet worden.

Het creëren van een altijd-aan, ambiente ervaring die proactief relevante informatie naar voren haalt, is een enorme uitdaging.

Na de tour zocht ik naar MarsBot om te zien of het nog beschikbaar was. Dat is niet het geval, maar Denis Crowley, de oprichter van FourSquare en maker van MarsBot, probeert het opnieuw met een nieuw bedrijf genaamd BeeBot. BeeBot maakt gebruik van LLM's om te helpen bij contentcreatie en om te bepalen wanneer een audio-melding moet worden verzonden. Crowley werd onlangs geïnterviewd in de Big Technology Podcast van Alex Kantrowitz.

Net als MarsBot en SoundScape is de aanpak van Crowley met BeeBot om inhoud naar de gebruiker te "pushen". Dit is ongetwijfeld de 'harde modus' van Audio AR. Je moet niet alleen bepalen welke inhoud je pusht, maar ook wanneer je dat doet.

Voor hun entree in Audio AR heeft Meta de tegenovergestelde aanpak gekozen.

Foto door Phil Nickinson voor Digital Trends

Een glimp van de toekomst

Meta's Wayfarer-zonnebrillen zijn misschien wel het beste Audio AR-product dat momenteel op de markt is. Ze combineren de ondersteunende technologieën – slimme koptelefoons, spraakherkenning en -synthese, LLM's en contextgegevens – in één samenhangend product.

Ondanks dit vliegen ze nogal onder de radar. Voordat ik mijn eigen paar had, kende ik slechts één persoon die ze gebruikte... en die werkt bij Meta. Voor wie niet bekend is met de Wayfarers van Meta: ze zien er bijna identiek uit als de iconische Wayfarer-brillen van Ray Ban, met iets dikkere pootjes. Ze hebben ingebouwde speakers die ruimtelijk geluid leveren, zodat alleen jij het kunt horen; er is geen bas, maar het is uitstekend voor gesproken woord. Ze hebben camera's waarmee je foto's en korte video's kunt maken vanuit je eigen perspectief (POV). En als je meedoet aan het bèta-programma, krijg je toegang tot Meta's multi-modale AI-stem. Als je meer wilt weten over wat je ziet, zeg je gewoon "Hey Meta" en stel je je vraag.

Natuurlijk zijn er nog onvolkomenheden. De assistent weigert veel soorten vragen te beantwoorden en zit er af en toe naast. De interface is onzichtbaar, waardoor gebruikers aangewezen zijn op vallen en opstaan.

Ondanks dit slagen de Wayfarers van Meta omdat ze een "pull"-UX-model gebruiken: gebruikers moeten expliciet om informatie vragen. Het giswerk van wanneer je inhoud moet pushen wordt geëlimineerd; een welkome beslissing voor een product waarvan de ruwe randen nog zeer duidelijk aanwezig zijn (vandaar het bèta-programma). Contextuele gegevens worden nog steeds gebruikt om het antwoord van de assistent te informeren – zowel met de locatie van de gebruiker als het beeld van de camera – maar de gebruiker bepaalt de timing.

En wanneer alles samenkomt, zijn Meta's Wayfarers een glimp van de toekomst.

Foto door Trusted Reviews

Focus op specifieke contextsessies

Er is een hybride aanpak van de UX die overweging verdient: het focussen op een specifieke context in een sessie die een gebruiker proactief start. Gedurende deze periode kan de app met vertrouwen inhoud pushen, wetende dat deze relevant is. Dit ontwerppatroon wordt uitstekend toegepast door de Fitness-app van Apple.

Als je een AirPod in je oor houdt terwijl je de Fitness-app gebruikt, ontvang je informatie over je tempo, feedback over je hartslag en meer. Tijdens het fietsen stuurt de Fitness-app meldingen naar één oor, waardoor ik mijn telefoon in mijn tas kan laten zitten. Door een specifieke context te activeren, zijn alle pushmeldingen relevant. Het oppervlak van de UX is beperkt, wat zorgt voor een meer gecontroleerde ervaring.

Buiten fitness om zou dit model goed kunnen werken voor een reeks contexten waarbij de gebruiker kiest voor een contextspecifieke sessie. VoiceMaps zou een stad kunnen bedekken met gegenereerde inhoud en gebruikers een 'exploratiemodus' kunnen laten activeren, waarbij de app wordt uitgenodigd om frequent inhoud te pushen. Een kook-app zou instructies kunnen pushen en timers kunnen instellen, beginnend bij de start van een receptsessie. Een shopping-app zou productbeoordelingen en reviews kunnen geven terwijl men artikelen in de winkel oppakt, zodra een winkelsessie begint.

Het focussen op actief geëngageerde contexten is een geweldige manier om het probleem van Audio AR stap voor stap op te lossen. De app kan onbezonnen pushen, maar alleen wanneer de gebruiker dit aanzet. Ontwikkelaars kunnen zich concentreren op specifieke contextuele gegevens en een beperkte set meldingstriggers.

Wat we nodig hebben voor de mainstream

Om het potentieel van Audio AR volledig te realiseren, moeten we de tools bouwen en de gegevens verkrijgen die nodig zijn om onze context om te zetten in een onzichtbare interface.

In de drie besproken voorbeelden – VoiceMap, Meta's Wayfarers en Apple Fitness – zien we zowel het potentieel als de uitdagingen van Audio AR. Elk product is op zijn eigen manier onhandig, maar hun struikelblokken hebben vaak te maken met de toegang tot contextuele gegevens.

Als je van de rails van een VoiceMap-tour afwijkt, heeft de app niets meer te zeggen. De kennis van de wereld is beperkt tot het pad dat is voorbereid door een tourmaker; het kan je niet helpen bij het verkennen.

Meta's Wayfarers kunnen geen vragen beantwoorden over mijn agenda of berichten, omdat ze geen toegang hebben tot die gegevens. En Siri, die wel toegang heeft tot die zaken, kan niet worden aangeroepen via de bril.

Apple Fitness stelt me niet voor om naar huis te gaan als ik binnenkort een vergadering heb of als het bijna gaat regenen. De data is er, maar het contextuele domein waar Fitness zich op richt, is beperkt tot mijn workout.

Het voelt alsof we terug zijn aan het begin van het Web 2.0-tijdperk, vóór de 'Cambrische explosie' van API's die onze tools in staat stelden met elkaar te communiceren. Assistent-interfaces presenteren zich alsof ze enorme mogelijkheden hebben, maar ze struikelen zodra ze iets nodig hebben van een ander platform.

Voor Audio AR om echt door te breken buiten contextuele sessies, hebben we open standaarden nodig voor het interfaceren met koptelefoons, het delen van contextuele informatie en het aanroepen van spraakassistenten. Recente updates aan Apples API's voor AirPods en Androids Awareness API zijn stappen in de goede richting, maar we zijn nog ver verwijderd van een ideale fundering. (Hopelijk spoort de angst voor antitrustwetgeving betere gewoonten aan...)

Totdat we deze stabiele fundering hebben, zullen we het UX-probleem van Audio AR – het leveren van de juiste informatie op het juiste moment – stap voor stap oplossen in specifieke contextsessies.

Onze "Guy in the Chair"

De techindustrie heeft de gewoonte om achter nieuwe technologische use-cases aan te gaan wanneer ze een solide referentie in de popcultuur hebben. Ready Player One was waardevoller als ijkpunt voor de VR-positionering van Meta dan als film. Het aantal big data- of business intelligence-bedrijven dat hun diensten verkocht door te verwijzen naar Minority Report of The Dark Knight is te groot om te tellen.

Nu ChatGPT is gearriveerd en AI zijn moment heeft, heeft de techindustrie zwaar geleund op de film Her om de visie van een conversationele AI tot leven te wekken. Hoewel dit passend lijkt voor Audio AR, denk ik dat we beter kunnen doen.

Mensen willen geen conversationele relatie met een AI-assistent. Mensen willen een "guy in the chair".

Misschien wel het beste voorbeeld van de "guy in the chair"-trope is Ving Rhames als Luther Stickell in de Mission Impossible-serie. Luther is de techneut die op de basis blijft, de voortgang van het team monitort en hen voorziet van de informatie die ze nodig hebben om te slagen. Hij is degene die het grote geheel ziet en de held naar succes kan leiden. Hij is degene die de juiste informatie op het juiste moment kan leveren, zonder dat de held zijn blik van de taak af hoeft te wenden.

De assistent in Her is een anomalie. De "guy or gal in the chair"-trope is constant en alomtegenwoordig in onze media. Het zit in Mission Impossible, The Matrix, Apollo 13, The Martian en de Batman, Spiderman en Avengers-series. In videogames is het een basisprincipe, cruciaal voor het ontwerp van Metal Gear Solid, Portal, Half-Life en Mass Effect. De voorbeelden op de TV Tropes-pagina zijn schijnbaar eindeloos.

We willen een "guy in the chair" die de juiste informatie op het juiste moment levert, zonder dat we weg hoeven te kijken.

Audio AR vertegenwoordigt een grote verschuiving in hoe we omgaan met digitale informatie. Door de interface te verplaatsen van onze schermen naar onze oren, kunnen we onze blik omhoog houden en betrokken blijven bij de wereld om ons heen. Het heeft het potentieel om technologie minder indringend en meer ambient te maken, en minder beperkt door de vormfactoren van onze apparaten.

Maar om daar te komen moeten we enkele belangrijke interactie-uitdagingen oplossen. We hebben open standaarden nodig voor integratie met koptelefoons en het begrijpen van context. We hebben doordacht ontwerp nodig dat de juiste informatie op het juiste moment levert.

De ondersteunende technologieën zijn er al. Koptelefoons, spraakinterfaces en AI hebben een niveau van volwassenheid bereikt waardoor Audio AR praktisch is. En we zien overtuigende producten – niet alleen experimenten – zoals de Wayfarer-brillen van Meta.

Het tijdperk van Audio AR is al begonnen. Het is slechts een kwestie van tijd voordat het mainstream wordt.