Lotteria dell'implementazione: valutazione imperfetta nella ricerca automatizzata

Uno studio recente pubblicato su arXiv (2607.26587) scopre un problema critico nella valutazione dei sistemi di ricerca automatizzata, definito 'lotteria dell'implementazione'. Questi sistemi si basano su punteggi sperimentali per determinare quali concetti mantenere; tuttavia, un singolo test valuta solo una versione di un'idea. Questo approccio porta a una discrepanza strutturale, poiché le conclusioni tratte su un'idea dipendono dall'implementazione specifica scelta. Gli autori introducono l'Idea Reliability Audit, che valuta l'affidabilità dell'idea convalidando e congelando le schede candidate, campionando implementazioni di nuove sessioni, utilizzando etichette di fedeltà cieche ai risultati e rieseguendo artefatti preservati. Riporta l'ICC dell'idea e l'inversione del vincitore leave-one-implementation-out (LOO). A differenza di studi precedenti incentrati sulla ripetizione dei compiti, questa ricerca enfatizza la ripetizione delle idee. In 312 incarichi che coinvolgono 13 compiti tabulari e due configurazioni di agenti di codifica, una significativa varianza di implementazione evidenzia l'entità dell'impatto della lotteria.