ReLoop: Modellazione Strutturata e Verifica Comportamentale per un'Ottimizzazione Affidabile Basata su LLM
ReLoop, un framework di nuova introduzione, affronta la discrepanza tra fattibilità e correttezza nel codice di ottimizzazione generato da LLM, dove fallimenti silenziosi possono produrre formulazioni fattibili per il risolutore ma semanticamente errate. Questa discrepanza può raggiungere i 90 punti percentuali in problemi compositivi. ReLoop incorpora due strategie correlate: generazione strutturata, che suddivide la creazione del codice in un processo di ragionamento in quattro fasi (comprendere, formalizzare, sintetizzare, verificare), e verifica comportamentale, che identifica errori valutando come le formulazioni rispondono a variazioni dei parametri del risolutore. Queste strategie si completano a vicenda in termini di struttura degli errori, con la generazione strutturata che contribuisce ai miglioramenti più significativi nelle sfide compositive.
Fatti principali
- I LLM possono tradurre il linguaggio naturale in codice di ottimizzazione ma possono produrre fallimenti silenziosi.
- I fallimenti silenziosi creano un divario fattibilità-corrrettezza che raggiunge i 90 punti percentuali su problemi compositivi.
- ReLoop introduce la generazione strutturata con una catena di ragionamento in quattro fasi.
- ReLoop introduce la verifica comportamentale utilizzando la perturbazione dei parametri basata sul risolutore.
- La verifica comportamentale non richiede verità di base.
- La generazione strutturata e la verifica comportamentale sono complementari per struttura degli errori.
- La generazione strutturata produce i maggiori guadagni su problemi compositivi.
- L'articolo è disponibile su arXiv con identificatore 2602.15983.
Entità
Istituzioni
- arXiv