Suite di test scritte da LLM risultano carenti in un nuovo studio su arXiv

Uno studio recente pubblicato su arXiv (2608.01000) esamina quanto bene i modelli linguistici possano creare suite di test, chiavi di risposta, rubriche e funzioni di ricompensa, che sono essenziali per determinare la correttezza in altri sistemi. I risultati indicano che, seguendo il metodo di implementazione standard (autorialità greedy one-shot senza ragionamento durante il test), i modelli hanno significativamente più difficoltà nel generare set accettabili rispetto a valutare se un candidato si adatta a un set. Questa discrepanza è coerente in quattro costruzioni di riferimento: due con verità finita completa, una con un riferimento eseguibile robusto (HumanEval+/MBPP+) e una con un riferimento lessicale esplicitamente incompleto (WordNet). Il divario nelle prestazioni varia da +0.34 a +0.29 F1 su uno spettro di parametri 24x e rimane persistente. Nel contesto di codice eseguibile, i modelli che valutano con punteggi F1 di 0.74-0.90 producono suite che includono solo il 19-42% delle soluzioni corrette secondo l'oracolo. Un esperimento di controllo rivela che quando viene chiesto di generare il predicato invece del set, le prestazioni migliorano, indicando che la sfida risiede nell'enumerazione del set piuttosto che nella comprensione del predicato. Questa ricerca sottolinea una limitazione significativa nell'impiego degli LLM come valutatori, sollevando preoccupazioni per la valutazione e la sicurezza dell'IA.