Wat gebeurt er als je college football analyseert zoals de CIA?

Een paar weekenden geleden verloor het footballteam van Illinois thuis van Duke met 31–27. Mijn Hinsley-model werd onmiddellijk veel minder optimistisch over de kansen van Illinois om de College Football Playoff te halen.

Tegelijkertijd werd het echter optimistischer over de offensive line en onze nieuwe quarterback. Dat klinkt tegenstrijdig, maar het is precies wat ik wilde dat er zou gebeuren.

De afgelopen 15 jaar hebben we samengewerkt met mensen wiens baan het is om oordelen te vellen over onzekere toekomsten: inlichtingen- en overheidsanalisten, onderzoekers van buitenlands beleid, investeerders en bedrijfsstrategen. Dit jaar besloot ik een experiment te doen. Ik nam de methodologie die we voor dat soort werk hebben ontwikkeld en paste deze toe op iets dat aanzienlijk minder consequential is: het inschatten van het lot van het footballteam van de University of Illinois.

Om te begrijpen waarom, helpt het om na te denken over wat een inlichtingenanalist feitelijk doet.

Hoe inlichtingenanalisten denken

Tijdens de Cubaanse Raketcrisis probeerden Amerikaanse inlichtingenanalisten te begrijpen wat de Sovjet-Unie in Cuba deed. Ze beschikten over een groeiende verzameling bewijzen, maar het moeilijke deel was om te bepalen wat dit betekende. Analisten moesten concurrerende verklaringen overwegen, de waarnemingen identificeren die de ene verklaring van de andere onderscheidden, en hun beoordelingen herzien naarmate er nieuw bewijs arriveerde. Uiteindelijk leverden U-2-foto's veel sterker bewijs dat de Sovjets kernraketten aan het installeren waren.

De belangen zijn overduidelijk anders, maar het analytische probleem is verrassend algemeen. Meestal is er niet één feit dat je het antwoord geeft. Er zijn verschillende mogelijke toekomsten, een enorme hoeveelheid imperfecte informatie, en een kleiner aantal zaken die daadwerkelijk helpen om tussen die toekomsten te onderscheiden. De taak van de analist is om hier structuur in aan te brengen zonder zekerder te worden dan het bewijs rechtvaardigt.

Je vindt versies van dit probleem overal. Een analist buitenlands beleid probeert misschien te begrijpen of een conflict zal escaleren. Een beleggingsanalist denkt na over hoe geopolitiek, regelgeving of een nieuwe technologie een activa in de komende tien jaar zal beïnvloeden. Een overheidsanalist schat in hoe een ander land zal reageren op een beleidswijziging. De nuttige vraag is niet simpelweg: "Wat denk ik dat er zal gebeuren?" maar:

• Wat zijn de plausibele manieren waarop dit zou kunnen aflopen?
• Wat zou waar moeten zijn voor elk van die scenario's?
• Waar moet ik op letten?
• En welk nieuw bewijs zou ervoor zorgen dat ik van gedachten verander?

Het is niet algemeen bekend, maar Cultivate beheerde meer dan een decennium lang een voorspellingsmarkt voor de Amerikaanse inlichtingendiensten, waardoor analisten een manier hadden om probabilistische voorspellingen te maken en te aggregeren over geopolitieke gebeurtenissen en nationale veiligheid. Recentelijk is ons werk uitgebreid van het voorspellen van individuele vragen naar het bredere analytische proces daaromheen.

Dat leidde ons tot de ontwikkeling van Continuous Probabilistic Foresight (CPF), de methodologie die ten grondslag ligt aan Hinsley, ons hybride AI/menselijke analyseplatform. CPF begint met een strategische vraag en brengt het scala aan plausibele uitkomsten in kaart als scenario's. Het ontleedt het probleem in de drijfveren en indicatoren die die scenario's waarschijnlijker of minder waarschijnlijk maken, maakt aannames expliciet en zet belangrijke onzekerheden om in oplosbare voorspellingsvragen. Naarmate er nieuw bewijs arriveert, kunnen die voorspellingen en de bredere beoordeling mee veranderen.

Het idee is niet om een glazen bol te bouwen. Het is om een gestructureerd, expliciet beeld van een onzekere toekomst te behouden, en om te weten waarom je beeld verandert wanneer het bewijs dat doet.

Dit brengt me terug bij Illinois football.

Een inlichtingenmodel bouwen voor Illinois football

Omdat ik ben opgegroeid in Champaign, ben ik een levenslang fan van Illinois. College football blijkt bijna komisch goed geschikt te zijn voor dit soort analyse. Een seizoen is een onzekere toekomst omringd door een enorme hoeveelheid informatie die constant evolueert. We hebben preseason recruiting, wedstrijdresultaten, blessures, prestaties van concurrenten, statistieken, coachingwijzigingen, prestaties op het veld, preseason-modellen, verslagen van beat-reporters, podcasts en eindeloze hoeveelheden geïnformeerde en ongeïnformeerde commentaren. We weten sommige dingen met redelijke zekerheid, hebben sterke meningen over andere zaken, en zitten bijna zeker fout over een paar dingen die we momenteel als vanzelfsprekend beschouwen.

Dus in plaats van het seizoen te volgen zoals ik normaal zou doen, vroeg ik Hinsley om Illinois te volgen zoals een analist een land, bedrijf, markt of strategisch vraagstuk zou volgen.

Ik begon een paar maanden geleden met de vraag die ik denk dat de meeste Illinois-fans uiteindelijk proberen te beantwoorden voor aanvang van een seizoen: Wat is het plafond van het University of Illinois footballteam dit seizoen?

Vanaf dat punt liet ik Hinsley aan het werk gaan. De research-agent begon informatie over het team te verzamelen: terugkerende spelers, transfers, recruiting, blessures, coachingwijzigingen, sterktes en zwaktes per positiegroep, het schema, preseason-modellen, enzovoort.

De bevindingen waren dat dit externe perspectief vrij optimistisch was. Illinois had in de afgelopen twee seizoenen 19 wedstrijden gewonnen, en het onderzoek van Hinsley suggereerde dat een regulier seizoen met 10 overwinningen en een mogelijke plek in de College Football Playoff een plausibel plafond vormden. Maar er waren duidelijke redenen waarom dit niet zou kunnen gebeuren. Illinois moest Luke Altmyer vervangen als quarterback, had slechts één basisspeler in de offensive line terug en verving veel defensieve ervaring onder een nieuwe coördinator.

Er zat ook een bijzonder interessante waarschuwing in het onderzoek: Illinois had in de afgelopen drie seizoenen 13 wedstrijden met één punt verschil gewonnen. Misschien zijn de teams van Bret Bielema ongebruikelijk goed in het winnen van nipte wedstrijden. Of misschien was een deel daarvan geluk dat niet eeuwig zou voortduren.

Dat is precies het soort zaken dat ik met deze oefening wilde blootleggen. In plaats van te zeggen: "Illinois heeft twee jaar op rij negen wedstrijden gewonnen, dus ze zullen waarschijnlijk weer goed zijn," had ik nu een set aannames die schuilgingen onder dat geloof.

De volgende stap was om Hinsley te vragen de grote vraag om te zetten in vier scenario's voor hoe het seizoen zou kunnen eindigen, en initiële waarschijnlijkheden voor elk van die scenario's te genereren op basis van alles wat het op dat moment wist.

Maar scenario's en zelfs de bijbehorende waarschijnlijkheden zijn op zichzelf niet bijzonder nuttig als je niet kunt uitleggen waarom de ene waarschijnlijker wordt en de andere minder waarschijnlijk. Daarom bouwde ik wat we een decompositie noemen: in feite een kaart van de zaken die betekenisvol kunnen beïnvloeden in welk scenario we zouden eindigen.

Mijn model had negen brede categorieën. Deze omvatten:

• De transitie van de quarterback;
• Continuïteit en gezondheid van de offensive line;
• Of de defensie zich opnieuw kon opbouwen;
• Prestaties tegen de beste teams op het schema;
• Executie in twijfelwedstrijden;
• Hoe snel transfers in het team pasten;
• Of sleutelspelers gezond bleven;
• Special teams en het bezitverschil;
• De mogelijkheid van een onverwachte schok in de selectie of spelersgeschiktheid.

Daaronder zaten veel specifiekere zaken die Hinsley daadwerkelijk kon volgen: de voltooiings- en interceptiepercentages van Houser, toegelaten sacks, third-down defensie, turnover-marge, resultaten van nipte wedstrijden, blessures, enzovoort.

Dit was het punt waarop het minder voelde als het hebben van een mening over Illinois en meer als het hebben van een model van Illinois. Niet een statistisch model in de traditionele zin, maar een gestructureerde beschrijving van wat er goed zou moeten gaan om een geweldig seizoen te hebben, wat zou kunnen voorkomen dat dat gebeurt, en welk bewijs me zou vertellen in welke richting we bewogen.

Voor een handvol van de belangrijkste onzekerheden ging ik een stap verder en zette ik ze om in voorspellingsvragen:

• Zal Illinois dit seizoen 30 of minder sacks toestaan?
• Zal het seizoen eindigen met een turnover-marge van ten minste +7?
• Zullen tegenstanders minder dan 40% van hun third downs converteren?
• Zal Katin Houser ten minste 64% van zijn passes voltooien, terwijl hij zijn interceptiepercentage onder de 2,5% houdt?
• Zal Illinois eindigen in de top 12 van de definitieve College Football Playoff-ranglijsten?

In een oprechte poging om de toekomstige prestaties van het team in te schatten, zijn die vragen veel nuttiger voor mij dan het eindeloze debat op mijn messageboard-abonnement over de vraag of de offensive line "goed" is of dat Houser "goed speelt", omdat er uiteindelijk een antwoord zal zijn. Het AI-voorspellingsensemble van Hinsley kent waarschijnlijkheden aan deze vragen, en ik kan zelf voorspellingen doen of vrienden uitnodigen om hetzelfde te doen. Na verloop van tijd kan ik vergelijken wat de AI dacht, wat een groep Illinois-fans dacht en wat er daadwerkelijk is gebeurd.

Toen Illinois verloor van Duke

Een thuisverlies als dat leidt meestal tot een voorspelbare reactie van fans: het team is niet zo goed als we dachten, de vooruitzichten voor het seizoen zijn slechter. Het kan vermakelijk zijn om stoom af te blazen en anderen dat te zien doen, maar het is niet erg rationeel.

Hinsley reageerde anders, omdat de wedstrijd verschillende afzonderlijke stukken bewijs bevatte. De kansen van Illinois om in de top 12 van de definitieve CFP-ranglijsten te eindigen, daalden van 8% voor de wedstrijd naar 4% daarna. Dat is logisch: als je al een buitenstaander bent die probeert de playoff te halen, verbruikt een thuisverlies tegen Duke veel van je foutmarge.

Maar sommige van mijn voorspellingen bewogen in de tegenovergestelde richting. Een van de grootste zorgen voor het seizoen was de offensive line, waar Illinois bijna iedereen moest vervangen. Ik had een voorspelling gemaakt of het team 30 of minder sacks over het seizoen zou toestaan. Na twee wedstrijden, inclusief die tegen Duke, had Illinois geen enkele sack toegelaten. Dus ondanks het verlies — en ondanks enkele blessures in de line — ging de voorspelling van 52% naar 61%.

Hetzelfde gebeurde met Houser. Ik hield bij of hij ten minste 64% van zijn passes kon voltooien met maximaal 2,5% intercepties. Na Duke voltooide hij meer dan 71% van zijn passes met één interceptie in 52 pogingen. Zijn voorspelling verbeterde van 37% naar 42%.

Tegelijkertijd daalde de voorspelling dat Illinois zou eindigen met een turnover-marge van ten minste +7 van 29% naar 22%. Illinois had de strijd om de turnovers verloren en stond nu voor het seizoen op nul.

Als je deze vier bewegingen naast elkaar zet, krijg je een veel rijker beeld van wat er is gebeurd en waar het seizoen nog naartoe zou kunnen gaan dan "Illinois verloor thuis van Duke, we zijn verloren":

• CFP Top 12: 8% → 4% $\downarrow$
• 30 of minder sacks: 52% → 61% $\uparrow$
• Houser efficiëntie: 37% → 42% $\uparrow$
• +7 turnover marge: 29% → 22% $\downarrow$

Dit is, meer dan wat dan ook, wat ik leuk vind aan deze aanpak. Een verlies is duidelijk belangrijk, maar daaruit volgt niet dat alles wat je over het team geloofde in dezelfde richting moet bewegen. Het playoff-perspectief werd aanzienlijk slechter. Het bewijs over de pass-protectie werd beter. Het bewijs over Houser werd enigszins beter. Het turnover-perspectief werd slechter.

De vraag is niet simpelweg of het laatste nieuws "goed" of "slecht" is. De vraag is welk deel van je model door dat nieuwe bewijs daadwerkelijk moet worden aangepast.

In een vorm met zeer lage belangen is dat dezelfde analytische gewoonte die ik eerder beschreef. Begin met verschillende mogelijke toekomsten en werk terug naar de zaken die de ene waarschijnlijker maken dan de andere, om zo de belangrijke onzekerheden expliciet te maken. Wanneer er vervolgens nieuw bewijs arriveert, update je de overtuigingen waar het bewijs daadwerkelijk betrekking op heeft, in plaats van toe te staan dat één dramatische gebeurtenis de gehele analyse overstemt.

En omdat de structuur er al is, hoef ik mijn beeld van Illinois niet elke zondagochtend opnieuw op te bouwen. Het onderzoek loopt door, de voorspellingen worden bijgewerkt en de scenario-waarschijnlijkheden veranderen naarmate er nieuw bewijs binnenkomt. Elke week kan ik niet alleen zien wat er is veranderd, maar ook waarom het is veranderd.

Het geeft me ook iets wat ik als fan nooit echt heb gehad: een lopend verslag van wat ik over het team geloofde en waarom ik dat geloofde. Dat is verrassend nuttig, omdat sportfans erg goed zijn in het herschrijven van de geschiedenis. Nadat een speler doorbreekt, voelt het al snel alsof iedereen wist dat hij goed zou worden. Na een onverwachte nederlaag lijken alle waarschuwingssignalen plotseling overduidelijk. Voorspellen dwingt je om bij te houden wat je daadwerkelijk dacht voordat je het antwoord wist.

Wat zou je hier nog meer mee kunnen doen?

Ik ben geen grote gokker, maar er is een voor de hand liggende toepassing in sportweddenschappen. Als ik zou wedden op wedstrijden of zou handelen op Kalshi of Polymarket, zou ik minder geïnteresseerd zijn in of Hinsley dacht dat Illinois zou winnen, dan in situaties waar de waarschijnlijkheid van het model wezenlijk verschilde van die van de markt. Een meningsverschil geeft je iets om te onderzoeken: wat gelooft mijn analyse dat de markt blijkbaar niet gelooft? Ik zou die verschillen vóór de wedstrijden vastleggen en vervolgens de score bijhouden. Over voldoende voorspellingen zou ik ontdekken of ik een werkelijk informationeel voordeel had gevonden of simpelweg een ingewikkelder manier had gevonden om mijn fandom uit te drukken.

Er zijn ook serieuzere sporttoepassingen. Als ik voor een Big Ten footballprogramma zou werken, zou ik een analyse als deze kunnen draaien voor elk ander team in de conferentie. Een research-agent zou elk programma continu kunnen volgen, een gestructureerde beoordeling van de sterktes en zwaktes kunnen bijhouden, belangrijke onzekerheden kunnen monitoren en betekenisvolle veranderingen kunnen signaleren. Coaches en analisten zouden nog steeds de uiteindelijke oordelen vellen, maar ze zouden niet meer zoveel tijd hoeven besteden aan het vinden en organiseren van de informatie.

Hetzelfde lijkt nuttig voor sportjournalisten. Als ik de Big Ten zou verslaan, waarom zou ik dan niet zo'n systeem hebben voor elk team? In plaats van te proberen een mentaal model van de hele conferentie bij te houden, zou ik een expliciet model hebben voor elk team dat constant wordt bijgewerkt. Ik zou het nog steeds oneens kunnen zijn met het model, maar tenminste zou ik iets systematisch hebben om het mee oneens te zijn.

Breder gezien denk ik dat dit experiment iets interessants illustreert over de richting waarin AI analyse brengt. Veel geavanceerde analyse vereiste historisch gezien ofwel gespecialiseerde technische expertise of een grote hoeveelheid handmatig werk. Ik weet niet hoe ik een serieus kwantitatief model van een college footballteam moet bouwen, en ik wil dat ook niet per se leren. Maar ik weet genoeg over Illinois football om nuttige vragen te stellen, te beslissen wat belangrijk is, aannames uit te dagen en te beoordelen of een antwoord logisch is.

AI verandert welke delen van dat proces ik zelf moet doen. Het kan een groot deel van het onderzoek uitvoeren, het bewijs organiseren, helpen bij het construeren van het analytische kader, voorspellingen doen, indicatoren monitoren en de analyse continu bijwerken. Mijn taak verschuift naar het beslissen of we de juiste vraag stellen, of het model van het probleem logisch is, en waar ik het oneens ben met de oordelen.

Je zou hetzelfde kunnen doen met bijna elk team of elke sport. Begin met de vraag waar je echt om geeft. Definieer de plausibele toekomsten. Werk terug naar wat waar zou moeten zijn voor elk scenario. Identificeer de onzekerheden die belangrijk genoeg zijn om te voorspellen. En blijf het geheel bijwerken terwijl de realiteit zich ontvouwt.

Moneyball voor mensen die niet weten hoe ze moeten Moneyballen.