Regole linguistiche come compressori efficienti di prompt per LLM

Un recente studio pubblicato su arXiv suggerisce che le regole linguistiche possono fungere da compressori autonomi di prompt per i grandi modelli linguistici, eliminando la necessità di una valutazione basata su LM nel processo di compressione. Questa tecnica impiega ricerche evolutive offline su semi lessicali, sintattici, semantici e discorsivi per identificare combinazioni efficaci di regole. Durante l'implementazione, il compressore opera senza richiedere un forward pass del LM, basandosi esclusivamente sull'elaborazione della CPU, riducendo così i costi di inferenza. La valutazione di questo metodo utilizza un protocollo a doppio percorso che mantiene un equilibrio tra la qualità della compressione e la fedeltà della ricostruzione sia per brevi passaggi che per compiti multi-documento.