Daniel Lemire introduceert het concept van "ephemere testing" om de kwaliteit van softwarecomponenten te waarborgen. In plaats van traditionele tests, wordt een AI-agent gevraagd om een tijdelijke applicatie of laag te bouwen bovenop de bestaande code. De kwaliteit van de basiscode wordt hierbij indirect getoetst: een schone API en goede documentatie maken het voor de AI eenvoudig om iets werkends te bouwen, terwijl gebreken in de basiscode leiden tot fouten in de bovenliggende laag. Deze methode fungeert als een vorm van integratietesting waarbij de gebouwde bovenlaag na afloop simpelweg wordt weggegooid.
Ephemere testing
Ik wil een methode voorstellen die voorheen ondenkbaar was: ephemere testing. (Ephemeren is een deftig woord voor 'wegwerpbaar' of 'tijdelijk'.)
Je schrijft je code en bouwt je softwarecomponent. Of een AI-agent dit voor je doet, maakt niet uit. Vervolgens vraag je een AI-agent om hierop voort te bouwen: een applicatie, een andere laag, of misschien meerdere lagen. Je laat de agent testen wat hij heeft gebouwd. Je beoordeelt het oorspronkelijke werk niet direct, maar beoordeelt hoe goed de software is die er bovenop is gebouwd.
Het is een vorm van integratietesting. Het verschil is dat de software erboven volledig ephemer is; je gooit het weg wanneer je klaar bent.
Een bibliotheek met een schone API, stabiele invarianten en nuttige foutmeldingen stelt de agent in staat om snel iets werkends te produceren. Een bibliotheek met verborgen status, verrassende standaardinstellingen of onvolledige documentatie resulteert in een stapel patches en fouten. Deze fouten zijn bewijsmateriaal over jouw code, niet over de agent.
Je kunt dit proces herhalen met verschillende agents en verschillende taken, maar met dezelfde basis. In feite simuleer je de andere lagen door ze daadwerkelijk te bouwen, in plaats van de kern te bouwen terwijl je probeert te anticiperen op wat er in de andere lagen nodig zou kunnen zijn.
Natuurlijk zou je kunnen aanvoeren dat je met AI alles opnieuw kunt bouwen wanneer dat nodig is, maar dat is niet praktisch. Je hebt een vorm van stabiliteit nodig.
Ik heb deze truc toegepast in diverse projecten. Wanneer ik een nieuwe functie overweeg, vraag ik mijn AI om snel een prototype te maken van wat ik later zou kunnen bouwen op basis van waar ik nu mee bezig ben. Ephemere testing werkt tot nu toe goed voor mij.
***
Bronvermelding Daniel Lemire, "Ephemeral testing," in Daniel Lemire's blog, 5 oktober 2026, https://lemire.me/blog/2026/10/05/ephemeral-testing/.
Ephemere testing
Ik wil een methode voorstellen die voorheen ondenkbaar was: ephemere testing. (Ephemeren is een deftig woord voor 'wegwerpbaar' of 'tijdelijk'.)
Je schrijft je code en bouwt je softwarecomponent. Of een AI-agent dit voor je doet, maakt niet uit. Vervolgens vraag je een AI-agent om hierop voort te bouwen: een applicatie, een andere laag, of misschien meerdere lagen. Je laat de agent testen wat hij heeft gebouwd. Je beoordeelt het oorspronkelijke werk niet direct, maar beoordeelt hoe goed de software is die er bovenop is gebouwd.
Het is een vorm van integratietesting. Het verschil is dat de software erboven volledig ephemer is; je gooit het weg wanneer je klaar bent.
Een bibliotheek met een schone API, stabiele invarianten en nuttige foutmeldingen stelt de agent in staat om snel iets werkends te produceren. Een bibliotheek met verborgen status, verrassende standaardinstellingen of onvolledige documentatie resulteert in een stapel patches en fouten. Deze fouten zijn bewijsmateriaal over jouw code, niet over de agent.
Je kunt dit proces herhalen met verschillende agents en verschillende taken, maar met dezelfde basis. In feite simuleer je de andere lagen door ze daadwerkelijk te bouwen, in plaats van de kern te bouwen terwijl je probeert te anticiperen op wat er in de andere lagen nodig zou kunnen zijn.
Natuurlijk zou je kunnen aanvoeren dat je met AI alles opnieuw kunt bouwen wanneer dat nodig is, maar dat is niet praktisch. Je hebt een vorm van stabiliteit nodig.
Ik heb deze truc toegepast in diverse projecten. Wanneer ik een nieuwe functie overweeg, vraag ik mijn AI om snel een prototype te maken van wat ik later zou kunnen bouwen op basis van waar ik nu mee bezig ben. Ephemere testing werkt tot nu toe goed voor mij.
***
Bronvermelding Daniel Lemire, "Ephemeral testing," in Daniel Lemire's blog, 5 oktober 2026, https://lemire.me/blog/2026/10/05/ephemeral-testing/.
Groetjes,