Project Timestamper heeft een enorme dataset van het Common Crawl-project, bestaande uit 339 miljard snapshots van webpagina's (ruim 10 petabytes aan data), voorzien van cryptografische tijdstempels. Het doel hiervan is om de authenticiteit van het webarchief te waarborgen in een tijdperk waarin AI-gegenereerde content en database-manipulatie toenemen.
Technische details:
- De snapshots zijn via een keten van hashes vastgelegd op de Bitcoin-blockchain.
- Om de enorme hoeveelheid data efficiënt te verwerken, zijn hashes van blokken (maximaal 3000 indexvermeldingen) gebruikt via de OpenTimestamps-service.
- Er is een verificatietool beschikbaar waarmee gebruikers in enkele seconden kunnen controleren of een specifieke snapshot byte voor byte identiek is aan de versie van 26 september 2026.
Tijdstempels voor een gigantisch archief van het web
Onze nieuwste aankondiging van Project Timestamper betreft een getal waarvan de schaal alles overtreft waar we tot nu toe mee hebben gewerkt. Dat getal is 339 miljard, of $3,39 \times 10^{11}$.
Dit is het aantal snapshots van webpagina's dat de afgelopen 18 jaar is vastgelegd door het Common Crawl-project. Deze epische webcrawl is een van de belangrijkste ter wereld, en qua omvang wellicht alleen overtroffen door de continue crawl die wordt uitgevoerd door de Wayback Machine van het Internet Archive. De honderden miljarden snapshots van Common Crawl bewaren webpagina's precies zoals ze in de loop der jaren bestonden, wat in totaal neerkomt op meer dan 10 petabytes aan snapshotdata. Men zou het kunnen zien als een registratie van een significant deel van de collectieve gedachten van de mensheid over de afgelopen twee decennia.
Een dergelijke registratie is overduidelijk kostbaar voor ons als mensen. Het zou jammer zijn als er iets mee zou gebeuren. Nu het vermogen van AI om plausibele data te genereren en databases te hacken blijft groeien, rijst de vraag: hoe zullen we weten wat origineel is en wat een aanpassing, imitatie of confabulatie is?
Daarom zijn we blij te kunnen aankondigen dat we het geheel cryptografisch hebben voorzien van tijdstempels! Elke webpagina-capture is via een keten van hashes vastgelegd op de Bitcoin-blockchain. Hiermee is er bewijs dat elke vastgelegde snapshot van een pagina (ongeacht wanneer deze is vastgelegd) byte voor byte bestond in de Common Crawl-collectie op 26 september 2026. Elke wijziging na die datum zal detecteerbaar zijn.
Technische uitvoering
Normaal gesproken zou het voorzien van tijdstempels voor de gehele collectie individuele snapshots onredelijk traag zijn geweest; er zijn simpelweg te veel items om in een redelijke tijd te verwerken. Gelukkig had Common Crawl alle snapshots van webpagina's al gehasht en de hashes verzameld in blokken van maximaal 3000 indexvermeldingen. Hierdoor waren we in staat om elk van de ongeveer 134 miljoen blokken in slechts enkele weken te hashen, en deze hashes in één batch te voorzien van tijdstempels via de OpenTimestamps-service.
Verificatie
Onze resulterende hashes en tijdstempelattestaties zijn zo ingericht dat het cryptografisch verifiëren van een van deze 339 miljard snapshots slechts enkele seconden duurt en een paar honderd KB aan gedownloade data vereist. Onze verificatietool stelt u in staat om het bestaan van een snapshot met één commando te controleren:
npx tsx verify.ts --collection commoncrawlblocks --capture 0 https://en.wikipedia.org
Met als resultaat een snelle melding die succes of falen aangeeft:
Success! Capture 0 (https://en.wikipedia.org/ at 20260915155254) is in CC-MAIN-2026-39, its CDX block is attested by Bitcoin block 968666 (000000000000000000010fb95a4fa547171edc525077191cbb74dc54acfaf0aa) as of 2026-09-26T09:35:20Z, and the WARC payload SHA-1 matches 3I42H3S6NNFQ2MSVX7XZKYAYSCX5QBYJ
We zijn dankbaar aan de Common Crawl Foundation voor hun werk bij het opbouwen en onderhouden van de collectie webcaptures, en voor het aanbieden van open API's en open data. We hopen nieuwe data te blijven voorzien van tijdstempels naarmate Common Crawl in de komende maanden en jaren wordt voortgezet.
Tijdstempels voor een gigantisch archief van het web
Onze nieuwste aankondiging van Project Timestamper betreft een getal waarvan de schaal alles overtreft waar we tot nu toe mee hebben gewerkt. Dat getal is 339 miljard, of $3,39 \times 10^{11}$.
Dit is het aantal snapshots van webpagina's dat de afgelopen 18 jaar is vastgelegd door het Common Crawl-project. Deze epische webcrawl is een van de belangrijkste ter wereld, en qua omvang wellicht alleen overtroffen door de continue crawl die wordt uitgevoerd door de Wayback Machine van het Internet Archive. De honderden miljarden snapshots van Common Crawl bewaren webpagina's precies zoals ze in de loop der jaren bestonden, wat in totaal neerkomt op meer dan 10 petabytes aan snapshotdata. Men zou het kunnen zien als een registratie van een significant deel van de collectieve gedachten van de mensheid over de afgelopen twee decennia.
Een dergelijke registratie is overduidelijk kostbaar voor ons als mensen. Het zou jammer zijn als er iets mee zou gebeuren. Nu het vermogen van AI om plausibele data te genereren en databases te hacken blijft groeien, rijst de vraag: hoe zullen we weten wat origineel is en wat een aanpassing, imitatie of confabulatie is?
Daarom zijn we blij te kunnen aankondigen dat we het geheel cryptografisch hebben voorzien van tijdstempels! Elke webpagina-capture is via een keten van hashes vastgelegd op de Bitcoin-blockchain. Hiermee is er bewijs dat elke vastgelegde snapshot van een pagina (ongeacht wanneer deze is vastgelegd) byte voor byte bestond in de Common Crawl-collectie op 26 september 2026. Elke wijziging na die datum zal detecteerbaar zijn.
Technische uitvoering
Normaal gesproken zou het voorzien van tijdstempels voor de gehele collectie individuele snapshots onredelijk traag zijn geweest; er zijn simpelweg te veel items om in een redelijke tijd te verwerken. Gelukkig had Common Crawl alle snapshots van webpagina's al gehasht en de hashes verzameld in blokken van maximaal 3000 indexvermeldingen. Hierdoor waren we in staat om elk van de ongeveer 134 miljoen blokken in slechts enkele weken te hashen, en deze hashes in één batch te voorzien van tijdstempels via de OpenTimestamps-service.
Verificatie
Onze resulterende hashes en tijdstempelattestaties zijn zo ingericht dat het cryptografisch verifiëren van een van deze 339 miljard snapshots slechts enkele seconden duurt en een paar honderd KB aan gedownloade data vereist. Onze verificatietool stelt u in staat om het bestaan van een snapshot met één commando te controleren:
npx tsx verify.ts --collection commoncrawlblocks --capture 0 https://en.wikipedia.org
Met als resultaat een snelle melding die succes of falen aangeeft:
Success! Capture 0 (https://en.wikipedia.org/ at 20260915155254) is in CC-MAIN-2026-39, its CDX block is attested by Bitcoin block 968666 (000000000000000000010fb95a4fa547171edc525077191cbb74dc54acfaf0aa) as of 2026-09-26T09:35:20Z, and the WARC payload SHA-1 matches 3I42H3S6NNFQ2MSVX7XZKYAYSCX5QBYJ
We zijn dankbaar aan de Common Crawl Foundation voor hun werk bij het opbouwen en onderhouden van de collectie webcaptures, en voor het aanbieden van open API's en open data. We hopen nieuwe data te blijven voorzien van tijdstempels naarmate Common Crawl in de komende maanden en jaren wordt voortgezet.
Groetjes,