Revisione del codice LLM: i cambiamenti delle politiche alterano le probabilità di rischio fino a 16,9 punti

Un nuovo studio da arXiv (2608.02677) esamina come i revisori di codice LLM gestiscono la separazione tra stima della probabilità e processo decisionale. I ricercatori hanno testato quattro interfacce di revisione implementate utilizzando 15.792 risposte su 720 patch candidate, ciascuna abbinata a un test harness superato e uno fallito provenienti da 360 problemi di repository. Hanno scoperto che quando il costo dei falsi accettati è stato aumentato da uguale a 10:1, le probabilità di fallimento riportate sono cambiate in media di 13,6-16,9 punti percentuali, anche se la patch e le prove del monitor erano fisse. Ciò indica che i prompt utilizzati per elicitare le probabilità non sono neutri; sono influenzati dalla politica decisionale. Inoltre, le azioni restituite con il prompt ad alto costo erano peggiori del semplice rifiuto di tutte le patch per ogni revisore. Tuttavia, applicare la regola ad alto costo alle probabilità elicitata con costi uguali ha ridotto la perdita per tutti e quattro i sistemi, suggerendo che il processo di elicitazione delle probabilità stesso contribuisce alla perdita in eccesso. Lo studio valuta anche una pipeline modulare che separa l'elicitazione delle probabilità dal processo decisionale, offrendo potenzialmente un approccio più robusto. I risultati evidenziano l'importanza di separare la valutazione del rischio dalla selezione delle azioni nei sistemi di revisione del codice basati su LLM, con implicazioni per le pratiche di ingegneria del software e la sicurezza dell'IA.