Prototipo di compressione della cronologia testuale in SQLite ottiene una riduzione di 250 volte

Simon Willison, noto sviluppatore e blogger, ha condiviso un'esplorazione approfondita di un metodo innovativo per archiviare le cronologie di revisione in database SQLite tramite compressione. Questo concetto, nato durante una passeggiata con il suo cane, prevede di aggregare tutte le versioni precedenti di un documento di testo in un array JSON e di utilizzare la compressione zlib o Zstandard (ZSTD) sull'intero array. Willison ha interagito con la modalità vocale GPT-Live nell'app iPhone di ChatGPT e successivamente ha chiesto a GPT-5.6 Sol Pro di creare prototipi in Python. Il prototipo ha simulato 1.000 revisioni di documenti, comprimendo 20,4 MB di testo grezzo in soli 80,3 KB con Zstandard, raggiungendo un rapporto di compressione superiore a 250:1. Per ridurre al minimo la necessità di decomprimere e ricomprimere l'intero array a ogni modifica, l'IA ha raccomandato di suddividere la cronologia in più righe, ciascuna contenente al massimo 128 revisioni o 3 MB di JSON non compresso. Datato 9 agosto 2026, il post presenta la trascrizione completa della discussione vocale e i file generati. Willison offre anche un'opzione di sponsorizzazione di $10 al mese per un riepilogo via email curato dei principali progressi nei modelli linguistici di grandi dimensioni (LLM). Questo lavoro è pertinente per sviluppatori e organizzazioni che gestiscono estesi archivi testuali, fornendo un approccio praticabile per un versionamento efficiente nei database relazionali.