Il punteggio energetico basato su logit migliora la classificazione delle ipotesi scientifiche nei LLM

Un recente preprint arXiv, intitolato 'Do LLMs Know a Good Hypothesis When They See One?' (2608.17270), critica i metodi tradizionali per valutare le ipotesi scientifiche prodotte da grandi modelli linguistici. Gli autori sostengono che le attuali tecniche di valutazione, che utilizzano LLM come valutatori o si basano sulla similarità semantica, spesso favoriscono concetti noti rispetto a quelli innovativi. Per contrastare ciò, propongono un sistema di punteggio energetico basato su logit che misura la fiducia intrinseca del modello in un'ipotesi senza valutazione comparativa. Testando sette modelli linguistici su 1.323 articoli provenienti da 12 campi, hanno scoperto che il punteggio intrinseco ha raggiunto un Hit@1 del 33,0%, superando il 16,6% del ranking listwise basato su prompt. La configurazione migliore, un modello da 1 miliardo di parametri con punteggio energetico basato su logit, ha raggiunto il 53,1%. I risultati indicano che questo metodo di punteggio intrinseco potrebbe migliorare l'affidabilità e la scalabilità della classificazione delle ipotesi nei processi scientifici guidati dall'IA. Il preprint è accessibile all'indirizzo https://arxiv.org/abs/2608.17270.