Stima dell'Incertezza nei LLM di Codice: Multi-Sample P(True) Promette Bene, l'Auto-Correzione Fallisce

Uno studio recente pubblicato su arXiv (2608.14659) esplora l'applicabilità delle tecniche di stima dell'incertezza dal processamento del linguaggio naturale alla generazione di codice, valutando se questi metodi possono migliorare la generazione di codice tramite auto-correzione selettiva. I ricercatori hanno testato cinque tecniche di incertezza—entropia media dei token, confidenza verbalizzata, P(True), ensemble di entropia e sonde di entropia semantica—utilizzando tre piccoli LLM di codice sui benchmark HumanEval e BigCodeBench. I risultati hanno indicato che il multi-sample P(True) aveva la più alta correlazione con la correttezza, mentre gli altri metodi, incluse le sonde di entropia semantica, mostravano solo correlazioni deboli. Gli autori hanno implementato tre strategie di auto-correzione basate su questi segnali: decodifica adattiva, rigenerazione basata sull'incertezza e rigenerazione basata sulla verifica. Sorprendentemente, i risultati hanno dimostrato che l'auto-correzione guidata dall'incertezza non migliorava la generazione di codice e, in alcuni casi, la peggiorava, sottolineando i limiti degli attuali metodi di stima dell'incertezza in questo ambito e la necessità di soluzioni più efficaci.