Primo Studio Sistematico su LLM-as-a-Judge per il Reverse Engineering Binario Orientato all'Umano

Un recente articolo su arXiv (2608.07038) introduce il primo studio completo del framework LLM-as-a-Judge per la valutazione degli output del Reverse Engineering Binario Orientato all'Umano (HOBRE). L'HOBRE mira a convertire il pseudocodice decompilato in formati più accessibili agli esseri umani, alleviando così il carico cognitivo e aumentando la produttività. Questa ricerca affronta il problema centrale della valutazione efficace degli output HOBRE: le valutazioni umane sono costose e non scalabili, mentre le metriche automatiche attuali o richiedono casi di test eseguibili e impostazioni di runtime spesso assenti per i binari del mondo reale, o dipendono da codice sorgente di alta qualità che di solito non è disponibile e non riesce a riconoscere output semanticamente equivalenti ma lessicalmente variati. Gli autori, un gruppo di informatici, hanno esaminato l'approccio LLM-as-a-Judge in tre aree chiave: recupero dei nomi delle funzioni, riassunto del codice binario e miglioramento della leggibilità del codice decompilato. Questo lavoro significativo per l'analisi binaria, l'ingegneria del software e la valutazione dell'IA propone un metodo di valutazione scalabile e senza riferimento per i binari del mondo reale. L'articolo è accessibile all'indirizzo https://arxiv.org/abs/2608.07038.