Decodifica con Rollback Consapevole dell'Incertezza Migliora la Generazione di Codice nei LLM

Uno studio recente pubblicato su arXiv (2608.14653) esplora il potenziale dei segnali di incertezza per migliorare la generazione di codice nei modelli linguistici di grandi dimensioni (LLM). La ricerca presenta un metodo a tempo di inferenza chiamato decodifica con rollback consapevole dell'incertezza, che sfrutta l'incertezza per individuare aree di generazione inaffidabili e tornare a prefissi validi precedenti senza bisogno di riaddestramento. Questo framework è stato testato su sette LLM di codice, cinque benchmark per la generazione di codice e otto segnali di incertezza a livello di token in un ambiente di decodifica unificato. I risultati rivelano che il framework di rollback completo supera i baseline con budget uguale, indicando che l'incertezza può essere un segnale prezioso per migliorare la generazione di codice guidata da LLM. Questo studio evidenzia una lacuna significativa nel ruolo ampiamente trascurato della quantificazione dell'incertezza nei compiti di generazione di codice.