Prevedere l'Utilità della Compattazione dai Metadati delle Tabelle Lakehouse

Un articolo arXiv (2608.08639) presenta un nuovo framework di simulazione aperto progettato per valutare l'efficacia della compattazione dei dati nei formati di tabelle lakehouse aperte. Questo framework genera 2.376 tabelle Apache Iceberg su tre scale di dimensioni dei file, estrae 17 caratteristiche dai file manifest senza accedere ai dati, e impiega un modello XGBoost per prevedere il rapporto continuo di riduzione dei file, raggiungendo un R² di 0,998 e un RMSE di 0,013. Curiosamente, la decisione binaria per la compattazione è facilmente separabile con una singola soglia a livello di partizione (max_files_per_partition > 4), eliminando la necessità di un modello appreso. La validazione su 96 tabelle TPC-H dimostra la generalizzazione senza riaddestramento (R² = 0,976). Un benchmark di query indica che mentre la compattazione aiuta le query pesanti sui metadati, può ostacolare le aggregazioni full-scan diminuendo il parallelismo delle attività. Lo studio affronta la sfida di determinare il momento ottimale per la compattazione, attualmente guidato da soglie, e cerca di identificare quali caratteristiche dei metadati influenzano l'utilità della compattazione. Il framework è aperto per ulteriori esplorazioni e implementazioni pratiche per migliorare le prestazioni del lakehouse.