De Groeiende Kloof in het Begrip van LLM-Capaciteiten

De Funnel van LLM-gebruik

De verdeling van het begrip en gebruik van LLM's kan als volgt worden geschetst:

  • De niet-gebruikers (~6 miljard mensen / ca. 75% van de populatie): Deze groep is nauwelijks in contact gekomen met LLM's.
  • De incidentele gebruikers (~1-2 miljard mensen / ca. 20%): Gebruikers van gratis versies van producten zoals ChatGPT. Deze groep ziet onhandige chatbots en gebruikt ze als een verbeterde Google-zoekopdracht of als schrijfhulp. Sommigen, waaronder niet-technische vrienden en professionals buiten de sectoren wiskunde en code, ervaren weinig nut. Voor hen blijft de technologie, ondanks een intellectueel begrip van wat er gebeurt, abstract en van tweede hands.
  • Professioneel gebruik van frontier-grade LLM's in wiskunde en code (~20 miljoen mensen / 0,2%): Deze groep ziet uit de eerste hand dat grote, complexe projecten die voorheen weken of maanden duurden, nu met een prompt door agents kunnen worden voltooid. Denk aan het bouwen, kopiëren, vertalen en decompileren van applicaties vanuit binaries. Deze verschuiving is zeer recent; minder dan een jaar geleden werd code nog handmatig getypt, karakter voor karakter, met incidenteel gebruik van Tab voor autocomplete.
  • Interne toegang tot frontier-grade systemen (~5.000 mensen / 0,00006%): De buitenwereld heeft slechts een preview gezien. In deze laag gaat het om zwermen van duizenden agents die wekenlang samenwerken aan software-megaprojecten: het creëren van zero days, het uitvoeren van cyberaanvallen en -verdedigingen op machinale snelheid, het ontdekken van nieuwe wetenschap en het verleggen van de grenzen van de wiskunde. Dit zijn zaken waar topprofessionals in de industrie voorheen jaren over deden. Ondertussen begint het menselijk vermogen tot review en begrip achter te blijven. Zo zijn mensen nog steeds bezig met de "archeologie" van het OpenAI-HF incident van maanden geleden, en zullen wiskundigen waarschijnlijk nog een tijd bezig zijn met het bestuderen van de 722 manuscripten over geavanceerde wiskunde.

De aandrijvende factoren van de funnel

Deze verdeling wordt veroorzaakt door een combinatie van factoren:

  1. Schaalbaarheid van impact: De impact schaalt mee met ambitie, probleemgrootte en horizon. Een vraag met een antwoord van één alinea belast het systeem nauwelijks. Men heeft een reservoir aan grote, moeilijke problemen nodig die echt ertoe doen. Dit aspect bepaalt de dimensie tussen consument en professional.
  2. De "gekarteldheid" (jaggedness) van het systeem: De capaciteiten pieken in domeinen die digitaal, verifieerbaar en economisch waardevol zijn. Dit komt doordat LLM-capaciteiten voortkomen uit reinforcement learning op basis van verifieerbare beloningen in een gecureerde omgeving, aangestuurd door revenue-potentieel. Dit bepaalt de domeindimensie (bijv. wiskunde en code).
  3. Toegang: Het onderscheid tussen gratis versies, betaalde versies en interne toegang.

De paradox van het moment

Dit zorgt voor een vreemde huidige situatie. Het grote publiek heeft grotendeels geen interactie gehad met deze systemen, of ziet ze als onhandige chatbots. De meerderheid van de professionals ziet slechts een bescheiden verbetering. Tegelijkertijd ervaart een kleine splinter van professionals de duizeling van een curve die verticaal gaat. Dit alles gebeurt gelijktijdig.

Veel mensen hebben vorig jaar de gratis versie van ChatGPT geprobeerd en hebben hun visie op AI te veel op die specifieke ervaring gebaseerd.

Aanvullende perspectieven

Analogie van de boormachine (Adam @adam_fresko): De situatie kan worden samengevat als volgt: sommige mensen boren met een handboor, anderen hebben een draadloze boormachine gekregen, en ongeveer 5.000 mensen hebben hele fabrieken gekregen. Terwijl wij nog discussiëren of draadloze boormachines nuttig zijn, zijn die 5.000 mensen al bezig met het bouwen van teleporteurs. Dat is hoe ver ze voorop kunnen lopen.

De ironie van het huidige gebruik (signüll @signulll): De gemiddelde Amerikaan heeft een telefoon van 1.000 dollar in zijn zak met een krankzinnig krachtige superintelligentie, die vervolgens wordt gebruikt om te bepalen of een appje met "hey" of "heyyy" duidt op romantische interesse.