La ricerca sull'IA rivela un bias critico nei modelli di localizzazione del codice attraverso un nuovo benchmark diagnostico

Uno studio pubblicato su arXiv (ID: 2604.16021v1) rivela una debolezza critica nei sistemi contemporanei di ingegneria del software autonomi. Indica che gli attuali benchmark di localizzazione del codice dipendono eccessivamente da riferimenti a parole chiave, come percorsi di file e nomi di funzioni, portando a quello che i ricercatori chiamano "Keyword Shortcut". Questo bias spinge i modelli di IA a fare affidamento su corrispondenze lessicali superficiali invece che su un ragionamento strutturale autentico riguardo all'architettura del codice. Per affrontare questo problema, i ricercatori hanno definito la sfida della Keyword-Agnostic Logical Code Localization (KA-LCL) e introdotto KA-LogicQuery, un benchmark che richiede un ragionamento strutturale senza indizi di denominazione. Testare i metodi all'avanguardia su questo benchmark ha rivelato gravi cali di prestazione, evidenziando le loro carenze nel ragionamento deterministico. Il team ha proposto LogicLoc, un quadro innovativo che unisce grandi modelli linguistici con solide capacità di ragionamento logico, sottolineando le significative carenze degli attuali sistemi di IA nell'ingegneria del software e stabilendo nuovi benchmark per valutare il vero ragionamento nell'analisi del codice.