Ik wil niet lezen wat jij niet hebt geschreven

Mensen die zelden originele teksten produceerden, maken plotseling uitgebreide ontwerpvoorstellen, businessplannen, documentatie, presentaties, tickets, pull requests, blogartikelen en samenvattingen van vergaderingen—allen gegenereerd door AI. Het is onleesbaar. AI helpt mij om beter en sneller te schrijven, maar ik ben het zat om bijna alles te lezen wat door AI is geschreven. In dit essay wil ik mijn frustratie uiten en beschrijven hoe ik wél waarde vind in AI bij het schrijven.

AI is verschrikkelijk voor schrijven

Een patroon dat ik zie, is dat mensen AI gebruiken om iets nieuws te bouwen, en vervolgens AI gebruiken om retrospectief samen te vatten wat ze al hebben gebouwd in een ontwerpdocument. Het lezen van zo'n document is niet alleen moeilijk—het is een straf. Het ontwerpdocument is niet langer een voorstel om consensus te bereiken, mensen mee te krijgen en ideeën te verfijnen door traag, weloverwogen nadenken; het is een door een machine gemaakte samenvatting, in uitputtende details, zonder context of perspectief. Het is onleesbaar. Onmenselijk. De auteurs van deze documenten worden ongeduldig wanneer mensen geen betrokkenheid tonen, en dat is begrijpelijk, want het product dat ze gebouwd hebben werkt immers al.[1]

Ik zie ook steeds meer samenvattingen van pull requests die duidelijk door machines voor machines zijn geschreven. Ze zijn rijk aan detail: dit is veranderd naar dat, deze zaken zijn gesplitst, die zaken zijn samengevoegd, dit is ongemoeid gelaten, er zijn tests toegevoegd voor dit, enzovoort. Maar ik blijf me afvragen: Waarom doen we dit? Wat is de waarde? Hoe risicovol of urgent is dit werk? Waar wil je mijn input? Waar moet ik op letten? Hetzelfde geldt voor tickets of vergaderingssamenvattingen gemaakt door AI. De teksten bestaan, net als een steeds groter deel van de wereld, uit beweringen buiten de context.

Iemand stuurde me een persoonlijk bericht over een gevoelig onderwerp dat duidelijk met AI was uitgewerkt in een poging het gesprek te nuanceren en mij niet te beledigen. Maar het bericht werd onpersoonlijk, emotieloos en onsamenhangend. Het bevatte alle juiste onderdelen, maar het gaf als geheel geen zin. Ik had geen interesse om het te lezen of erop te reageren. Ik zou veel liefer hebben dat iemand zichzelf is en schrijft met een eigen stem, of met passie, zelfs als ze de woorden niet helemaal kunnen vinden of het risico lopen mij te beledigen.

In relaties met anderen is er kwetsbaarheid en risico. In communicatie met je AI is daar niets van, en pogingen om kwetsbaarheid en risico te elimineren, zullen het proces van de relatie zelf elimineren. Zoals Simon Sarris schrijft in Resist Summary, een essay waar ik steeds naar terugkeer:

"Ik denk dat men zoveel mogelijk zou moeten schrijven met het eigen empirisme, de eigen zintuigen, waarbij de lezer een eigen karakterisering van het leven of de gebeurtenissen krijgt."

— Simon Sarris, Resist Summary

Misschien wel het luiste en meest beledigende gebruik van AI-schrijven dat ik heb gezien: iemand gebruikte AI om mijn opmerkingen over hun voorstel samen te vatten als antwoord aan mij! Bedankt! Ik had het zelf niet beter kunnen zeggen![2]

Ik heb niet de context die jij hebt

Cynthia Dunlop deelde onlangs onderzoeksresultaten over het lezen van AI-geschreven artikelen in een rapport getiteld Report: How developers react to AI-scented blog posts. Voor de meerderheid van de lezers geldt dat als ze denken dat een artikel met AI is ondersteund of geschreven, ze stoppen met lezen (78%) en de auteur in de toekomst zullen vermijden (71%). Zoals Bryan Cantrill over dit onderzoek schreef in zijn essay The revolt of the reader: "onze hersenen trekken aan een door LLM geactiveerde uitstoothendel, waardoor we midden in een zin ontsnappen in een daad van zelfbehoud."

Het sterkste resultaat in de enquête was dat mensen overweldigend de voorkeur gaven aan het eigen schrijven van de auteur (98%), met al zijn gebreken en eigenaardigheden, vergeleken met een zielloze herschrijving door een AI. Authentiek schrijven is een van de beste manieren om contact te maken met mensen. Het doet me denken aan een opmerking van Bjarne Stroustrup, de maker van C++, tijdens een paneldiscussie over het schrijven van boeken:

"Wanneer ik een boek lees, voel ik echt dat als ik de stem van de auteur in mijn hoofd kan horen—compleet met vreemde accenten en eigenaardigheden in hun spreekpatronen—ik het gevoel heb dat er iets is geslaagd. Als het voelt als een droge, academische tekst, heeft iemand gewoon weer een droge, academische tekst geschreven. En dus helpt het enorm om presentaties over het onderwerp te geven. Voor veel mensen kan ik hen horen wanneer ik het lees, en dat is goed."

— Bjarne Stroustrup[3]

Wanneer jij degene bent die de AI aanstuurt via prompts, is de geschreven output vaak zeer nuttig. Maar verwar dit niet met effectief schrijven. Wanneer je de output leest, heb je al veel context—je hebt de prompts geformuleerd, de beperkingen vastgesteld en artefacten aangeleverd zoals documentatie, broncode, logs, statistieken, afbeeldingen, etc., die tot de output hebben geleid. Je kunt de output scannen en snel beslissen wat relevant en waardevol is tegenover wat irrelevant of fout is. Je bent ook deel van het proces—het prompten van de AI en het zien van de resultaten—een vraag en een antwoord. Je brengt een menselijk perspectief in de machine.

Wanneer je dezelfde tekst naar iemand anders stuurt, hebben zij weinig tot geen context. Zij zijn geen deel van het proces—er is geen ontvouwing—dus is het veel moeilijker om te beslissen wat relevant is en wat niet. Ze worden gedwongen om alles uitputtend te lezen en elke regel te overwegen, waarbij ze in de interne mechanismen van een machine turen in de hoop context te vinden. Het is dan alleen maar natuurlijk om te stoppen met lezen.

AI kan geweldig zijn voor het schrijfproces

Onlangs heb ik een academisch artikel geschreven.[4] Ik heb AI uitgebreid gebruikt en dat maakte het schrijfproces sneller en plezieriger. Maar AI heeft geen enkele regel van het artikel geschreven. Ik schreef het artikel in LaTeX. De context die ik aan de AI gaf, omvatte de stijlgids en het LaTeX-sjabloon van het tijdschrift, alle eerder in het tijdschrift gepubliceerde artikelen, de broncode van de softwaresystemen waarover ik schreef, en de configuratie, logs en statistieken voor productie-implementaties van de software.

Na het schrijven van een alinea vroeg ik de AI vaak om te controleren of wat ik had geschreven correct was door te refereren aan de broncode of configuratie, of door productielogs of statistieken te bekijken. Bijvoorbeeld: controleren of ik correct had beschreven welke kolommen in de database waren geïndexeerd, of hoe de rijen in de Parquet-bestanden waren gesorteerd. Hierdoor kon ik in de context van het schrijven blijven en vaak doorgaan naar de volgende alinea terwijl de AI de vorige verifieerde. Het hielp me om belangrijke weglatingen en onnauwkeurigheden op te sporen. Opmerkelijk genoeg was het omgekeerde proces—de AI vragen om de alinea te schrijven op basis van de context die ik gaf, zoals het beschrijven van hoe iets werkt op basis van de broncode—nooit waardevol. Geen enkele keer. Het was consequent onaangenaam om te lezen en vaak onnauwakkurat.

Een ander punt waarop AI me hielp in de context te blijven, was bij het voltooien van de citaten. Het is saai om de details van een artikel, website of boek op te zoeken, het BibTeX-formaat in te vullen en het vervolgens in de tekst te refereren. In plaats daarvan liet ik tussen haakjes instructies achter voor de AI om te refereren naar wat ik wilde, zodat ik kon blijven schrijven zonder mijn ritme te verlieken.[5]

De AI was ongelooflijk goed—eigenlijk meedogenloos—in het vinden van spelfouten en grammaticafouten. Het was geweldig in het suggereren van vereenvoudigingen voor zinnen die te lang of onduidelijk waren.[6] Het was vaardig in het tekenen van technische diagrammen in TikZ, wat het werk versnelde en me bespaarde dat ik deze syntax moest leren. De AI vond zelfs een zeer subtiele fout waarbij ik in één alinea de verkeerde notatie had gebruikt, iets wat vier menselijke reviewers die experts waren in het systeem allemaal hadden gemist.[7]

Wat was het enige dat de AI ongelooflijk goed kon schrijven? Het schreef de abstract—het meest beknopte, mechanische, onmenselijke deel van het hele artikel—inderdaad, het meest geabstraheerde deel. Ik heb dit deel volledig ongewijzigd overgenomen. Misschien is dit geen verrassing, aangezien AI uitblinkt in samenvatting, abstractie en de representatie van origineel werk.

Kan AI goed worden in schrijven?

Het zou een fout zijn om het schrijven dat suatu dag door AI bereikt kan worden te onderschatten. We staan nog maar aan het begin van de modelontwikkeling, en de modellen die de meesten van ons gebruiken, zijn getraind om feitelijk, direct en correct te zijn, in plaats van creatief. Echter, Murat Demirbas merkt in zijn uitstekende essay The Safest Job from AI may be Writing op dat de kwaliteit van het schrijven door LLM's is gestagneerd en dat verbetering moeilijk kan zijn omdat het, in tegenstelling tot programmeren, wiskunde en boekhouden, lastig is om een heldere formulering en verifieerbare output te bieden.[8]

"Omdat LLM's geen actief mentaal model hebben van een specifieke menselijke lezer, optimaliseren ze enkel voor de statistische waarschijnlijkheid van het volgende woord over een enorme dataset. Ze kunnen niet empathiseren met de menselijke lezer, aangezien ze geen menselijke geleefde ervaring hebben. En ze hebben geen enkel persoonlijk risico (skin in the game)."

— Murat Demirbas, The Safest Job from AI may be Writing

Ik ben geïnteresseerd in twee inspanningen om AI-schrijven te verbeteren die ik onlangs ben tegengekomen. De eerste is ASD-STE100 Simplified Technical English, een standaard voor het schrijven van technische documentatie die in de jaren 80 is voortgekomen uit een luchtvaartwerkgroep. Het bestaat uit twee delen: een gecontroleerd woordenboek en schrijfregels over grammatica en stijl. Er is een versie van ASD-STE100 gemaakt voor gebruik met AI-modellen.[9] ASD-STE100 is niet geschikt voor alle AI-gegenereerde teksten—het is specifiek gericht op heldere en gemakkelijk te volgen instructiehandleidingen. Ik ga het proberen voor installatie-instructies, runbooks en soortgelijke documentatie.

De tweede is Pangram, een model dat is gefinetuned om AI-schrijven te detecteren. Bryan Cantrill merkt in het essay The revolt of the reader op:

"Een LLM gebruiken om te schrijven is het schenden van het sociale contract tussen schrijver en lezer: van ons als lezers mag niet worden verwacht dat we ons inspannen om een zin te begrijpen die de schrijver zelf geen moeite heeft gedaan om te creëren."

— Bryan Cantrill, The revolt of the reader

Ik kan het hier niet meer mee eens zijn. Bryan is begonnen met experimenteren met Pangram om AI-gegenereerd schrijven te detecteren dat dit contract schendt, en is zelfs zo ver gegaan dat hij heeft vastgelegd dat alle publieke teksten bij Oxide door Pangram als door mensen geschreven moeten worden gerapporteerd. Een tool als deze zou ons kunnen redden van het luiste en slechtste AI-schrijven.[10]

Wanneer er geen woorden voor zijn

Wanneer we schrijven, is de betekenis van onze woorden niet altijd direct, feitelijk of beknopt. Voorbeelden hiervan zijn poëzie, literatuur, liedjes, mythologie, humor en theater. Iain McGilchrist, die ik beschouw als een van de belangrijkste schrijvers van onze generatie, schrijft in het boek The Matter with Things: "Hoe belangrijker iets is, hoe meer we moeten worstelen in de poging het tot taal te reduceren." Vraag een LLM naar de betrouwbare formule om verliefd te worden. In AI-gegenereerde teksten wekt gedetailleerde informatie de illusie van betekenis. Maar bij het nabootsen van menselijke kennis, intelligentie en begrip, is een AI die over feiten schrijft heel anders dan de kwaliteit van schrijven vanuit een geleefde ervaring. Het geheel kan niet worden ontleed in delen zonder een aanzienlijk verlies van betekenis.

"De directe benadering vernietigt haar object. Op dezelfde manier zijn er dingen die alleen indirect kunnen worden overgebracht. Om de diepte van wat er wordt gezegd te herwinnen, of om iets werkelijk nieuws te zeggen, zijn we altijd bezig om voorbij de alledaagse taal te gaan, wat betekent dat we alert moeten zijn op wat impliciet wordt gezegd."

— Iain McGilchrist, The Matter with Things

Het lijkt misschien silly om te zeggen dat schrijven in business, engineering of wetenschap onzekerheid zou moeten bevatten, en niet alleen feiten en conclusies. Maar operaties, incident response, productontwikkeling, performance engineering, het zoeken naar beveiligingslekken, functioneringsgesprekken, missieverklaringen en vele andere inspanningen zijn allemaal creatief en houden onzekerheid in. Het narratief is regelmatig net zo belangrijk als de feiten en conclusies. Het is ook makkelijk om LLM's te antropomorfiseren als goede systeemdenkers omdat ze een zo breed scala aan informatie kunnen synthetiseren. Echter, terugkomend op Simon Sarris: "narratief weert compressie" en "het tegenovergestelde van een samenvatting is aandacht voor detail".

Ondanks de nadruk op lineair, first-principles denken, is het werk van een goede systeemengineer, net als het werk van een goede antropoloog of psycholoog, moeilijk in woorden te vatten, en zeker moeilijk samen te vatten. Je kunt dingen niet noodzakelijkerwijs observeren en opschrijven volgens een formule. Zelfs het opschrijven van zaken doet wat van de context verloren gaan. De waarnemer is ook onderdeel van die context. Systeemwerk heeft altijd een gevoel van ontdekking, het openhouden van het onbekende, een ontvouwing van de relatie met het systeem zelf, en een bereidheid om verrast te worden. Normale taal heeft daar niet altijd de woorden voor.[11]

"De aard van de output, van de samenvatting, is om zaken te versnellen. Maar het gevolg is dat wordt voorkomen dat je je eigen complexe mentale model van iets opbouwt. Ik ben bang dat men zonder een complex model in het eigen hoofd, nooit complexe relaties opmerkt die anders over het hoofd worden gezien. Een verlies van aandacht voor detail."

— Simon Sarris, Resist Summary

Conclusie

Ik wil niet leven in een wereld waarin jij AI gebruikt om iets belangrijks samen te vatten tot een onleesbare tekst, en ik vervolgens AI gebruik in een poging het te ontcijferen. Ik wil jou horen, met imperfecties en al. Ik wil jouw interpretatie van esthetiek, schoonheid, kwaliteit, relatie, tijd. Ik wil weten hoe je je voelt. Ik wil dat je tot de kern komt en me vertelt wat er echt toe doet. Ik wil geen samenvatting lezen van feiten en verbindingen die losstaan van ervaring en relatie. Zoals Iain McGilchrist beschrijft, verandert de manier waarop we de wereld benaderen de aard van wat er ontstaat—de enige wereld die we kunnen kennen.[12]

"Als je een machine vraagt om iets voor je te doen, loop je het risico niet te vragen om wat je wilt, maar om wat de machine goed kan. Als wat het goed kan doen samenvatten is, en je vertrouwt op het hulpmiddel, dan pas je wellicht je vragen aan zodat je betere antwoorden krijgt. Dit lijkt op het trainen van een machine om te doen wat je wilt, maar het is ook het trainen van jezelf om vragen over de wereld op een bepaalde manier te stellen. Welke vragen laat je weg?"

— Simon Sarris, Resist Summary

Bewust schrijven zal waarschijnlijk waardevoller worden. Mensen die schrijven, en schrijven om na te denken, om diep en zorgvuldig na te denken, of om te creëren, te delen of om iets belangrijks vast te leggen zonder het expliciet uit te drukken, zullen blijven schrijven en origineel werk produceren. De mensen die nooit schrijvers waren, zullen AI gebruiken om grote hoeveelheden tekst te produceren.

Naarmate we meer en meer door AI gegenereerde teksten lezen, merken we misschien niet wat AI heeft verstoord en veranderd, omdat we sowieso oppervlakkiger zijn geworden. De zoektocht naar zekerheid beperkt onze menselijkheid. Soms is het belangrijker om de woorden niet te vinden. Ik wil niet lezen wat jij niet hebt geschreven.

***

Voetnoten

[1] In sommige gevallen zijn ontwerpdocumenten niet de juiste match, en is het wellicht een betere benadering om AI te gebruiken voor snelle samenwerking rondom werkende software om ideeën te verfijnen en consensus op te bouwen. [2] In een ander voorbeeld had een groep mensen aan een voorstel gewerkt en consensus opgebouwd via een aantal wiki-pagina's. Iemand nieuw wilde het voorstel wijzigen. In plaats van het rommelige, relationele proces van samenwerken met deze groep om de bestaande wiki-pagina's bij te werken, gebruikte deze persoon AI om een nieuwe wiki-pagina te prolifereren, waarbij het bestaande werk werd gekopieerd en een eigen draai werd toegevoegd. [3] Ik heb dit citaat eerder gebruikt in Techniques for Improving Your Technical Writing. [4] Het artikel beschrijft een database die ik heb gemaakt en mijn hoop is dat het wordt geaccepteerd door The Conference on Innovative Data Systems Research (CIDR). [5] Bijvoorbeeld: ik zou schrijven {TODO: reference the Amazon Aurora paper} en de AI zou de rest regelen. [6] Ik gebruik AI ook als redacteur voor mijn blog. Het geeft me meer vertrouwen om een essay te plaatsen zonder dat iemand anders het hoeft na te lezen. Maar ik laat AI alleen fouten identificeren of suggesties doen. Ik laat AI mijn stem of perspectief niet herschrijven of veranderen. [7] Ik beschreef een log-structured merge (LSM). We noemden de niveaus oorspronkelijk Generatie 1, Generatie 2, Generatie 3 (kortweg Gen1, Gen2, Gen3). In het artikel beschreef ik de LSM generieker met L0, L1, L2 voor Level 0, Level 1, Level 2. Dit betekende dat mijn collega's die dit artikel lazen L1 in hun hoofd moesten mappen naar Gen2, wat mijn fout in één alinea—waarbij ik onjuist L1 gebruikte terwijl ik L2 bedoelde—extra moeilijk maakte om te spotten. De LLM vond het zonder probleem. [8] Een ander interessant essay over de beperkingen van AI voor schrijven, vooral de individualiteit in begrip, is The Human Skill That Eludes AI: Why can’t language models write well? door Jasmine Sun in The Atlantic. [9] Bedankt aan Chris Riccomini voor het attent maken op dit. [10] Voor meer over Pangram, luister naar de Oxide and Friends podcast met oprichter Max Spero. Een punt dat zij noemen is dat er bewijs is dat mensen die regelmatig LLM's gebruiken, goed zijn in het detecteren van LLM-schrijven, maar mensen die dat niet doen, minder vaardig zijn. Er is ook een interessante discussie over het proberen om de prompt en de inputcontext om te keren, in een poging te beschrijven hoeveel van de output uit de input kwam en hoeveel uit het model. [11] De beste systeemdenkers die ik ken, zijn doorgaans uitstekende schrijvers. Ik verwacht dat deze vaardigheid belangrijk blijft en misschien zelfs belangrijker wordt. Terugkerend naar het essay van Murat Demirbas over schrijven: "En misschien verandert programmeren zelf in een vorm van creatief schrijven, dat meer een eigen mening krijgt en architectonischer wordt." [12] Iain maakt ook het onderscheid tussen comprehension—de wereld als een geheel nemen—en apprehension—de wereld grijpen. De kwaliteit van aandacht is anders. Ik vind het interessant dat terwijl apprehension de handeling is van het grijpen of vastleggen, het ook een angstige of ongemakkelijke anticipatie van de toekomst is. Ik raad aan om de lezing van Iain te bekijken: AI and the Battle for the Soul: Information is Not Understanding aan het Ralston College.