De gebreken van FLAWED en wat dit betekent voor industrieonderzoek

Disclaimer: De hier geuite meningen zijn mijn eigen en vertegenwoordigen niet die van huidige of voormalige werkgevers of gelieerde organisaties.

Op 17 september quote-tweette ik een blogpost van Trail of Bits met de titel "1Password's AI patching benchmark is misleading", waarin ook werd verwezen naar "Disinformation Pushed by 1Password: Their AI Patching Report is False" van Davi Ottenheimer. Beiden bekritiseerden "Frontier Models’ Vulnerability Patches are Often F.L.A.W.E.D" (hierna referred als "FLAWED") van 1Password's Off‑by‑1 Labs.

Ik zag FLAWED toen het werd uitgebracht en heb het met andere onderzoekers besproken; we classificeerden het als slop (kwalitatief ondermaatse content) en lieten het rusten. Wat ik op dat moment niet besefte, was hoe ver de distributie van 1Password het had gebracht: in nieuwsverslagen en in de roadmaps van verdedigers. Het feit dat dit werk rigoureuzer onderzoek van groepen met minder middelen overschaduwde, dwong me om op Twitter te posten, en de reacties daarop dwongen me om deze blogpost te schrijven.

De oorspronkelijke discussie

Hieronder volgt de thread, inclusief twee vervolgreacties, letterlijk overgenomen.

Er zijn flagrante problemen in dit paper, naast de evaluatieproblemen die door Davi en ToB zijn aangestipt, inclusief zaken die me doen twijfelen aan de verhouding tussen menselijke en AI-assistentie. Enkele punten zijn zo ernstig dat we moeten nadenken over welke onderzoeksnormen we eisen van industriële labs.

Hoewel deze fouten onder meer onjuiste diagrammen omvatten (bijv. waar zijn de sterretjes in figuur 1 die naar de relevante stappen verwijzen?), rekenfouten (bijv. 2,8 != ongeveer 4) en interne tekstuele inconsistenties die bij een vluchtige blik opvallen, is het citatieprobleem het meest ernstig.

Industrie-papers kunnen redelijkerwijs een lagere citatiedichtheid hebben. Maar FLAWED neemt de vorm en retoriek aan van rigoureus onderzoek (het claimt zelfs dat er "zeer weinig voorafgaand werk" in dit specifieke gebied is), terwijl er slechts 19 bronnen worden geciteerd (voornamelijk corporate blogposts plus XKCD).

Die claim komt niet overeen met de literatuur. Het gelijktijdige PatchBench-paper heeft 73 citaties (https://arxiv.org/pdf/2609.04075), voornamelijk van academische onderzoekspapers. Als voorbeeld: AutoPatchBench van Meta wordt niet geciteerd, ondanks het feit dat dit overduidelijk voorafgaand werk is van prominente onderzoekers.

FLAWED heeft dit NDSS-paper (https://ndss-symposium.org/ndss-paper/chasing-shadows-pitfalls-in-llm-security-research/) over valkuilen in LLM-beveiligingsonderzoek niet geciteerd en niet gelezen. Dit had het werk enorm ten goede kunnen komen, omdat FLAWED precies die geïdentificeerde valkuilen vertoont.

Er is ook een feitelijk probleem rondom Patch the Planet. Volgens OpenAI namen Calif en HackerOne deel aan "vulnerability triage, coordinated disclosure, and additional focused vulnerability discovery efforts", maar het paper verwijst alleen naar ToB-engineers.

Ik begrijp waarom ToB hier de aandacht krijgt; zij waren de partner van OpenAI en de meest recente voormalige werkgever van alle auteurs. Omdat ik zelf voormalig ToB ben, weet ik dat het makkelijk is om te citeren wat top-of-mind is. Maar de uitspraak blijft onjuist en is dat op ongepaste wijze voor een onderzoekspaper.

Ik heb industrieonderzoek gedaan dat resulteerde in blogposts en whitepapers, en ik heb academisch werk gepubliceerd. De conventies van het format scheppen overeenkomstige verwachtingen. Dit werk claimt en hanteert de toon en het format van gezaghebbend onderzoek, zonder de nodige rigoureuze aanpak te hanteren.

Fouten zijn normaal; dat is mede reden waarom we onderzoek publiceren, reproduceren en bekritiseren. Maar dat is ook waarom correcties, en indien nodig rectificaties, bestaan.

Ik hoop dat 1Password een rectificatie of correctie publiceert. Ik hoop dat ze, in het kleinste geval, samenwerken met academische onderzoekers, mensen aannemen met een onderzoekachtergrond, of contact zoeken met de community om te voorkomen dat er opnieuw werk wordt uitgebracht met zo'n hoge concentratie aan consequentiële fouten.

Ik zeg dit als een 1Password-gebruiker die wil dat zij dit werk doen. AI-beveiliging heeft onderzoek nodig van groepen die onafhankelijk zijn van de frontier labs, vooral werk dat potentiële marketingclaims kritisch bekijkt. Echter, dat maakt het handhaven van sterke onderzoeksnormen juist belangrijker, niet minder.

Hoewel 1Password’s Off-by-1 Labs niet de ergste overtreder ter wereld is, had ik gehoopt dat ze werk van kwaliteit en integriteit zouden produceren, aangezien hun belangen juist zouden moeten pleiten voor geloofwaardig onderzoek in plaats van slop.

In reactie op iemand die de frontier labs aanhaalde, schreef ik:

Natuurlijk! Als je door de rest van mijn tweets en retweets scrollt, zie je dat zowel ik individueel als het onderzoek dat ik heb gepromoot, zeer kritisch is geweest op de frontier labs. Maar het posten van slop onder bedrijfsbranding is gewoon een andere manier om techbedrijven niet ter verantwoording te roepen.

De oplossing is eerlijkheid en rigoureuze aanpak, niet plagiaat door weglating en slop. We moeten echt, goed, onafhankelijk werk versterken van plekken zoals de academia of EleutherAI, die veel minder middelen en minder bereik hebben dan industriële labs.

Het weglaten van direct relevant academisch werk verdiept die onbalans. Het werk van 1Password krijgt de aandacht, persberichten, etc., terwijl de echte denkers dat niet krijgen. Wanneer sommige fouten al bij een vluchtige blik duidelijk zijn, is het gebrek aan zorg extreem moeilijk te verontschuldigen. 1Password is geen arme underdog!!

Ik wil echt dat de claims van OpenAI worden geëvalueerd! OSS verdient middelen die worden gericht naar wat het daadwerkelijk veiliger maakt. CISPA, UMD en Drexel hebben werk verricht over soortgelijke vragen dat rigoureus is en ook kritisch is over LLM's voor beveiliging; 1Password had dit wellicht kunnen helpen financieren in plaats van hun eigen project.

In reactie op zorgen over de kwaliteit van mijn weerlegging, schreef ik ook:

Ik zal wanpraktijken en slop benoemen. Ik ben zeer benieuwd naar de waarheid en kijk uit naar echt, rigoureus werk. Voel je vrij om te reageren op de gekoppelde evaluatie-weerleggingen. Maar het bewijzen dat een claim onjuist is, vereist niet dat je ook direct de correcte claim vindt; die asymmetrie is hoe onderzoek werkt.

Daarna stuurden CISO's, academici, industrie-onderzoekers en beoefenaars me berichten om te zeggen dat zij dezelfde problemen hadden opgemerkt. Velen hadden dit niet gemeld omdat ze geen forum hadden of bang waren voor backlash. Deze reacties legden ook secundaire kosten bloot, vooral voor academici, die minder duidelijk kunnen zijn voor mensen die niet bekend zijn met de sociale systemen rondom onderzoek.

Onderzoek mag niet worden behandeld als een sport

1Password stelt veel getalenteerde individuen in dienst en heeft een reputatie voor werk van hoge kwaliteit. Ondanks dit heeft FLAWED ernstige problemen die benoemd moeten worden.

Als je gelooft dat deze problemen niet benoemd mogen worden omdat FLAWED kritisch was over OpenAI, besef dan asjeblieft dat onderzoek geen sport is. OpenAI is niet de Spurs, 1Password is niet de Knicks, en Off-by-1 Labs is niet Jalen Brunson. Al het onderzoek zou healthiest scepticisme moeten ondergaan.

Rigoureuze evaluatie van claims van frontier labs is zowel mogelijk als noodzakelijk, inclusief de claims die inherent zijn aan Patch the Planet. EleutherAI publiceert regelmatig nauwkeurig werk op dit gebied. Het AI Now Institute leverde een degelijke analyse die kritisch was over Patch theよね Planet (hoewel het geen onderzoekspaper is, heeft het meer citaties dan FLAWED).

Onderzoek mag geen beïnvloedingsoperatie worden

FLAWED bevestigt een vooronderstelling die velen al hadden, wat waarschijnlijk de reden is voor de tractie ervan. Maar we kunnen onderzoek niet geloven en versterken enkel omdat het overeenkomt met onze aannames. Het doel van rigoureuze aanpak is om ons te beschermen tegen conclusies die we willen accepteren, maar die niet waar zijn.

Wat is het worst-case scenario als we deze norm niet handhaven? Dit opent de deur voor kwaadwillende actoren die herhaaldelijk conclusies kunnen kiezen die hun institutionele of persoonlijke belangen flatteren, zwakke methoden kunnen toepassen, en corporate distributie en sociale engineering kunnen gebruiken om deze conclusies onevenredig invloedrijk te maken. Ik beweer niet dat dit hier in enige vorm is gebeurd.

Ik beschrijf een kwetsbaarheid in ons onderzoeksecosysteem die onafhankelijk bestaat van dit specifieke paper of de intenties van de auteurs. Deze discussies zijn integraal voor het bevorderen van onderzoeksomgevingen met een hoge integriteit. Zoals Carlini schrijft in "Why I Attack": "you can't fix something if you don't know it's broken, and so someone needs to show what's broken."

Een wetenschappelijk artikel is geen blogpost

Beveiligingsonderzoek omvat een breed scala aan activiteiten: het ontdekken van kwetsbaarheden, de ontwikkeling van exploits en tools, threat intelligence en empirische studies. Empirische, wetenschappelijke claims over mens-AI-interacties vereisen een onderzoeksopzet en bewijsvoering die verder gaan dan wat nodig is om een kwetsbaarheid aan te tonen.

Hetzelfde onderscheid geldt voor het genre. Een blogpost kan datagestuurde observaties presenteren zonder wetenschappelijke autoriteit te claimen. Een paper dat gepresenteerd wordt als wetenschappelijk rigoureus en peer-reviewed, neemt aanvullende verplichtingen op zich. FLAWED gebruikt daadwerkelijk de term "peer review" om een review door drie industrie-collega's te beschrijven die door de auteur worden bedankt, en niet het wetenschappelijke peer-review-proces.

Hoewel het aantal citaties op zichzelf geen maatstaf is voor rigoureuze aanpak, is het een nuttige proxy voor de vraag of auteurs hun claims nauwkeurig beoordelen en verantwoord omgaan met de relevante literatuur. Plagiaat door weglating is ernstig. Ik zou wantrouwig zijn tegenover elk onderzoek dat geen fundamentele papers in het vakgebied citeert, aangezien dit duidt op ofwel een diepe onbekendheid met de literatuur, of het aforementioned plagiaat door weglating.

Ik geloof echt dat dit werk een overtuigende blogpost had kunnen zijn als de focus had gelegen op de feitelijke technische bijdragen. "Codex (and GPT-4) can’t beat humans on smart contract audits" illustreert het pad dat genomen had kunnen worden. Die blogpost maakt een empirische claim over mens-AI-interacties, maar stelt expliciet: "Our assessment does not meet the rigors of scientific research and should not be taken as such. We attempted to be empirical and data-driven in our evaluation, but our goal was … not scientific publication."

Een perscyclus is geen publicatieproces

Zowel de vorm van de release als de update zijn niet in lijn met hoe onderzoek zou moeten werken.

Onderzoek heeft een openbaar verslag nodig. Citerend uit Hillel Wayne over wetenschap: "One thing lay folk don’t realize is that science is social. For all we focus on 'objectivity' and 'evidence', it takes place in human institutions and relies on how humans work. We care about integrity, trustworthiness, and reputation." Terence Tao maakt een vergelijkbaar punt over wiskunde (met kritiek op OpenAI): "I have grown weary of this new practice of using press releases or social-media posts to communicate mathematical results".

Voor zover ik kan vaststellen, is FLAWED niet geplaatst in een wetenschappelijk repository of een openbaar reviewforum. Hoewel dit geen peer review zou hebben geconstitueerd, zou het wel een conventioneel, versiebeheerd verslag hebben gecreëerd. Industrieonderzoek kan worden uitgebracht als niet-wetenschappelijke whitepapers, maar FLAWED nam het uiterlijk aan van rigoureus, wetenschappelijk onderzoek en werd publiekelijk en privaat als zodanig gepromoot.

De update pakt de weerleggingen niet aan. Het is aantoonbaar onjuist dat het enige probleem was dat "the subset of variables used in our approach over-constrained the output." Als dat werkelijk het enige probleem was, en het werk enkel onjuist was door evaluatiefouten in plaats van te worden geclassificeerd als slop door veel gekwalificeerde personen, dan zou mijn blogpost veel meer lijken op deze kritiek.

Een publieke claim zou een publieke correctie moeten hebben. Gezien de inhoud van de weerleggingen is het ongepast dat het enige feedbackkanaal een privé-e-mail is, en het is oneerlijk om het preprint te laten staan zonder een rectificatie. Deze informatie moet ook worden gedeeld met de journalisten die dit onderzoek hebben gepromoot. De reactie van Carlini op InstaHide is een voorbeeld van wat onderzoekers zouden moeten doen wanneer gebrekkig werk blijft worden gepromoot.

Integriteit is essentieel in onderzoek

Waarom maakt dit mij zoveel uit? Omdat oneerlijk onderzoek meer doet dan alleen een onjuiste claim in de literatuur plaatsen.

• Het vervormt onderzoeksagenda's. Werk dat duplicerend of onjuist lijkt volgens voorafgaand onderzoek, wordt vaak niet gefinancierd. Onderzoekers verlaten problemen die schijnbaar zijn opgelost of pivoteren nadat ze onterecht zijn "gescoopt".
• Het verspilt onderzoeksarbeid. Onderzoekers besteden tijd aan het reproduceren of uitbreiden van misleidende bevindingen, het verzoenen van gezonde resultaten daarmee, en het reviewen van werk dat is gebouwd op onjuiste premissen.
• Het kannibaliseert aandacht en vervuilt de epistemische omgeving. Misleidende claims verdringen rigoureuzer werk, tegenstrijdig bewijs wordt genegeerd, correcte conclusies worden vertraagd, en het bereik van een bedrijf wordt een proxy voor validiteit.

Helaas heeft FLAWED hier al toe geleid (dat was het onderwerp van meerdere berichten die ik ontving na het posten op Twitter). We moeten integriteit in onze community bevorderen.

Gelukkig, hoewel dit werk mensen bereikte via nieuwsartikelen en sociale media, lijkt het nog niet direct in de academische literatuur te zijn terechtgekomen. Dat is geruststellend, maar niet waterdicht. Het is aan ons allemaal om het werk dat we citeren en versterken daadwerkelijk te lezen, in plaats van het format, de affiliatie of bestaande citaties als proxy voor validiteit te gebruiken.

We moeten om de veiligheid van open-source software (OSS) geven

Ik geloof sterk dat elk bedrijf met een sterk beveiligingsprogramma een robuuste beveiligingsonderzoeksfunctie zou moeten hebben, en ik geloof ook dat ik de verantwoordelijkheid heb om de normen van mijn community vorm te geven en te handhaven, vooral met betrekking tot de omringende machtsdynamiek.

Ik ben oprecht op zoek naar bewijs over interventies die de beveiliging van open-source software verbeteren. Gegeven een vast budget, welke interventies werken het best: het aannemen van meer maintainers, het voorzien van bestaande maintainers in budget, het samenwerken met consultancies die geen AI mogen gebruiken, of iets totaal anders? Deze vraag is voor zover ik weet nog open; FLAWED heeft tijd en middelen weggeleid van inspanningen die dit wellicht echt hadden kunnen beantwoorden.

Als u echt, rigoureus onderzoek doet in dit gebied dat onvoldoende aandacht krijgt, neem dan contact met mij op. Ik zal het reviewen en als ik vind dat het sterk is, zal ik het breed delen en doen wat ik kan om te helpen het de aandacht en middelen te geven die het verdient.