Opus 5.5 gebruiken om een nieuw ooggetuigenverslag van de dodo te ontdekken

Frontier-modellen kunnen nu nieuwe historische kennis genereren, maar op een zeer vreemde manier.

Weer een dag, weer een historische cijfercode die is gekraakt door een frontier-model. Onlangs kondigde beveiligingsonderzoeker Carter Church aan dat hij GPT-6 Astra had gebruikt (die zes uur aan het probleem had gewerkt) om een cijfer uit het Napoleontische tijdperk te kraken dat tot nu toe aan alle ontsleutelingspogingen had ontsnapt.

De publicatie van Church is niet alleen een interessant voorbeeld van een reproduceerbare methodologie, maar ook van hoe men een informatie-intensief verslag kan schrijven met een 'vibe code'-esthetiek. Dit wijkt sterk af van de traditionele academische stijl, maar slaagt er wel in om primaire bronnen en betekenisvolle informatie op een diepgaande manier naar boven te halen.

De esthetische vreemdheid is echter slechts het topje van de ijsberg. Wat het meest opvalt aan deze uitstapjes in historisch speurwerk met behulp van AI is de epistemologische vreemdheid van hoe huidige frontier-modellen opereren wanneer ze historische onderzoekstaken krijgen.

De beste manier om dit te illustreren, is door het stapsgewijze proces te delen waarmee ik een voorheen onopgemerkt Nederlands verslag uit 1615 over de jacht op dodo's kon vinden. De kernstappen waren als volgt:

1. Vertrek vanuit een basis van specialistische kennis om een specifieke onderzoeksvraag te definiëren (bijvoorbeeld: ik had eerder onderzoek gedaan naar de geschiedenis van de handel in exotische dieren in de zeventiende eeuw en plan een boek over uitsterven in de vroegmoderne periode, inclusief een hoofdstuk over de dodo).
2. Identificeer een groot, vrij beschikbaar en goed geredigeerd corpus van historische bronnen (in dit geval het GLOBALISE-archief van de archieven van de Vereenigde Oost-Indische Compagnie, een fantastische bron).
3. Download de bronnen en haal ze door een embedding-model om via semantisch zoeken passages te vinden die kunnen helpen bij het beantwoorden van de onderzoeksvraag.
4. Gebruik semantisch zoeken om kandidaat-passages naar boven te halen en vraag vervolgens frontier-modellen deze te lezen en een gerangschikte lijst van de beste matches te produceren voor menselijke beoordeling.
5. Beoordeel of de bronpassages helpen de vraag te beantwoorden. Zo ja, iterateer op deze passages. Zo nee, zoek verder in nieuwe archieven of met nieuwe zoektermen.

In essentie verschilt dit niet veel van hoe ik zelf onderzoek doe: zoeken in historische databases met verschillende zoektermen, resultaten scannen en vervolgens dieper lezen. Het verschil is dat een AI-agent zoals Opus 5.5 tientallen kopieën van zichzelf kan maken om bronnen in meerdere talen tegelijk te lezen. Als deze agenten een API-sleutel hebben, kunnen ze zelfs hun eigen embedding-zoekopdrachten uitvoeren op nieuwe bronnen die tijdens het onderzoek aan het licht komen.

Een dodo in een hooiberg

Weinig historische wezens zijn zo uitgebreid bestudeerd als de dodo, de grote vogel van Mauritius die rond 1681 uitstierf door overbejaging. Juist dit feit maakte het voor een AI-agent "behapbaar" om meer informatie over het dier te vinden: er was al een zeer grote basis aan geïdentificeerde bronnen beschikbaar, en het model kon de wetenschappelijke literatuur scannen om te ontdekken waar eerdere archiefvondsten waren gedaan.

Het grootste deel van wat Opus 5.5 vond in de miljoenen verslagen van de VOC was al bekend bij historici en wetenschappers. Echter, één manuscriptbron uit 1615 — een scheepsjournaal — lijkt eerder over het hoofd te zijn gezien.

Het journaal is waarschijnlijk geschreven door Isbrant Cornelisz van Petten, kapitein van het VOC-koopvaardijschip Wapen van Amsterdam. Het schip kwam in april 1615 aan op het eiland Mauritius, waar de bemanning water en voedsel verzamelde ter voorbereiding op de rest van hun reis naar Oost-Indië.

Onder andere dingen "vingen zij vele schildpadden, dodersen [dodo's], en enkele ganzen en papegaaien."

(Detail uit Nationaal Archief, Den Haag, VOC 1.04.02, inv. 1059, fol. 141. De term "dodersen" is hier linksonder zichtbaar).

Na het bestuderen van de beschikbare secundaire literatuur, zoals het boek The Dodo and the Solitaire (2013) van Parrish, lijkt dit inderdaad een nieuwe toevoeging aan de tijdlijn van de dodo, waar voorheen een gat zat in de periode 1611-1616.

Hoewel dit misschien niet aardverschuivend is, is het wel een publiceerbaar resultaat. Dit geldt zeker in combinatie met een andere nieuwe vondst uit dezelfde zoekopdracht: een waarschijnlijke nieuwe referentie naar een andere uitgestorven vogel van Mauritius, de rode rail. Een verslag uit 1638 beschrijft "velthoenderen". Experts hebben dit woord eerder geïdentificeerd als de term die de Nederlanders gebruikten voor rode rails, maar deze specifieke referentie was gemist omdat een Franse geleerde in 1890 het woord verkeerd vertaalde als perdrix (hoenders). Opus 5.5 was in staat om terug te gaan naar de originele manuscriptbron en dit te corrigeren.

Het mysterie van de dodo van Jahangir

De meest fascinerende mogelijke ontdekking is nog onzeker, maar zou zeer interessant zijn als deze bevestigd kan worden. Het zou kunnen helpen bij het verklaren van een van de meest mysterieuze schilderijen uit de 17e eeuw: de Mogol-keizer Jahangir bezat blijkbaar een levende dodo. Niemand weet echter wie hem de vogel gaf, wanneer, of waarom; Jahangir schrijft er in zijn memoires niets over.

Het schilderij, gemaakt door Ustad Mansur, wordt door biologen vaak geciteerd als de meest accurate overgebleven weergave van de vogel. De exacte datum van het schilderij is onbekend; sommige geleerden schatten "circa 1625", anderen "circa 1615".

Tot mijn grote verbazing groef Opus 5.5 in een breed scala aan manuscripten om de volgende theorie naar boven te halen: de dodo van Jahangir was zeer waarschijnlijk hetzelfde dier dat een Portugese jezuïet in 1616 op Mauritius beschreef. De jezuïet noemde deze vogel een "struisvogel", terwijl er op Mauritius geen struisvogels voorkomen.

Hoewel de originele Portugese tekst verloren is gegaan, is er een Franse vertaling bewaard gebleven die Opus citeert. De theorie dat deze "struisvogel" eigenlijk een dodo was, is al bekend bij experts, maar de connectie tussen deze Portugese dodo (gevangen op weg naar Goa in 1616) en de dodo die tussen 1615 en 1625 bij Jahangir terechtkwam, was nog niet gelegd.

Hoewel de transmissieketen niet volledig is vastgesteld, vermoed ik dat dit de oorsprong is van de dodo van Jahangir. We weten namelijk al dat er een duidelijke keten was voor een andere exotische vogel van de Portugezen in Goa naar het hof van Jahangir in 1612: een Amerikaanse kalkoen.

Epistemologische vreemdheid

Wat moderne AI momenteel kan betekenen voor historisch onderzoek, is in feite het digitale equivalent van schapen tellen. Omdat ze nooit verveeld raken, kunnen ze enorme datasets doorzoeken om nieuw bewijs te vinden voor bestaande claims (of deze potentieel te weerleggen).

Ze zijn echter minder goed in het bedenken van eigen nieuwe ideeën. De beste resultaten worden behaald wanneer ze op de grens tussen twee disciplines worden geplaatst, een bronnenbasis krijgen en methodisch moeten werken om een door mensen gegenereerde vraag te beantwoorden. Ook zijn ze opvallend slecht in het beoordelen van de historische significantie van hun vondsten.

Tijdens mijn pogingen om bruikbare resultaten te vinden, raakten Opus 5.5 en GPT-6 vaak verdwaald in details. Soms waren die details echter vermakelijk. Eén agent ontdekte bijvoorbeeld een nieuw verslag over een Engelse kapitein, Jonathan Hide, die kostbaar ebbenhout en "twee zeekoeien" stal uit de Nederlandse kolonie op Mauritius. Toen een Nederlandse functionaris Hide confronteerde, dreigde diens timmerman "mijn hoofd met zijn bijl te splijten". De functionaris voegde eraan toe:

"De kapitein nam ook ongeveer 20 landschildpadden mee op de reis, met de bewering dat hij van plan was ze aan land te zetten op St. Helena, om daar genoemde schildpadden te kweken."

Dit is historisch significant voor de milieugeschiedenis, aangezien de Mauritische reuzenschildpad inmiddels is uitgestorven. Hoewel onbekend is of deze twintig exemplaren ooit op St. Helena zijn aangekomen, weten we dat het schip van kapitein Hide zonk nabij de Azoren op de terugreis.

De meeste keren dwaalden de agenten echter af naar archieven die voor mij onleesbaar zijn en uitgebreide specialistische kennis vereisen om te controleren. Bijvoorbeeld, een meerurige zoektocht naar Inca khipu leverde resultaten op waarvan ik simpelweg niet weet of ze beslissend zijn of überhaupt iets betekenen.

Dit raakt aan de kern van het huidige probleem in diverse vakgebieden: hoe moeten menselijke experts omgaan met deze AI-onderzoeksagenten?

Ik voel me comfortabel bij materiaal over Engelse handelaren en dodo's omdat ik dit al meer dan tien jaar bestudeer. Maar wat gebeurt er wanneer amateurs die AI-agenten aansturen, nieuw wetenschappelijk terrein betreden zonder de kennis of het netwerk om dit te dubbelchecken?

Zoals Carter Church opmerkte: een geduldige specialist had bepaalde ontdekkingen al in 1970 kunnen doen, maar dat zou weken werk hebben gekost aan handgetekende tekens en statistieken. De brieven bleven ongelezen omdat niemand de tijd kon rechtvaardigen. Nu kost het een paar avonden en enkele uren model-tijd.

Ik vermoed dat de meeste "onopgeloste" lijsten in veel vakgebieden meer van dit soort problemen bevatten dan men denkt. Die lijsten zullen snel korter worden, en de mensen die dat doen, zullen steeds vaker mensen zijn die simpelweg nieuwsgierig zijn.

De bottleneck zal binnenkort niet langer de onderzoeksresultaten zelf zijn, maar de aandacht van experts in niche-onderwerpen. Een gastblog van wiskundige Terrence Tao concludeerde onlangs: "We gaan veel meer wiskundigen nodig hebben."

Ik ben het daarmee eens, en ik zou toevoegen: we gaan veel meer historici en humanisten nodig hebben.