SInQ: Generazione di Dati Sintetici per il Ragionamento sul Codice nei LLM
Una tecnica innovativa è stata sviluppata da ricercatori per produrre dati di addestramento sintetici volti a migliorare le capacità dei Large Language Models (LLM) in compiti complessi di ragionamento sul codice. Questo approccio, denominato Gioco di Inequivalenza Semantica (SInQ), utilizza due agenti: un generatore che produce varianti di programma semanticamente diverse dai compiti di programmazione reali, e un valutatore che rileva casi in cui queste varianti mostrano comportamenti differenti. Questi agenti si impegnano in un processo di addestramento semi-avversariale, migliorando la loro comprensione della logica del codice. Il metodo è stato testato su vari benchmark per la generazione e la comprensione del codice, inclusa la rilevazione di vulnerabilità cross-linguaggio, ottenendo prestazioni migliori nell'identificazione delle vulnerabilità. I risultati dettagliati sono disponibili in un articolo su arXiv (2505.03818), che include un annuncio di tipo replace-cross. Questo metodo affronta la sfida di reperire esempi di addestramento necessari affinché i LLM comprendano la semantica dei programmi, essenziale per compiti complessi oltre la codifica di routine.
Fatti principali
- Il metodo si chiama Gioco di Inequivalenza Semantica (SInQ).
- Utilizza un agente generatore per creare varianti di programma semanticamente distinte da compiti reali.
- Un agente valutatore identifica esempi di input in cui le varianti si comportano in modo diverso.
- Gli agenti si addestrano a vicenda in modo semi-avversariale.
- L'approccio è stato valutato su benchmark di generazione e comprensione del codice.
- Ha migliorato la rilevazione delle vulnerabilità nella rilevazione di vulnerabilità cross-linguaggio.
- L'articolo è disponibile su arXiv con ID 2505.03818.
- Il tipo di annuncio è replace-cross.
Entità
Istituzioni
- arXiv