LLM-Metrics: Misurare l'Impatto della Ricerca Attraverso la Memoria dei LLM

Un team di ricercatori ha introdotto LLM-Metrics, una metrica innovativa per valutare l'impatto della ricerca attraverso la memoria parametrica dei grandi modelli linguistici (LLM). La loro ipotesi suggerisce che gli articoli con maggiore influenza ottengano più visibilità nell'ambito accademico, contribuendo successivamente ai dati di addestramento dei LLM e migliorando la memoria parametrica. Per validare questo concetto, i ricercatori hanno creato quattro categorie di sondaggi a scelta multipla incentrati sul riconoscimento del titolo, dell'autore, del metodo e della sede. Hanno valutato 549 articoli di informatica dal 2023-2024 utilizzando 17 LLM, che variavano da 0,5B a 72B parametri provenienti da sei diversi fornitori. Dei 17 modelli, 15 hanno prodotto previsioni positive, con 9 che hanno mostrato significatività a p < 0,05, dimostrando una correlazione complessiva di Spearman. Questo metodo cerca di superare le carenze dei conteggi delle citazioni, inclusi il ritardo temporale, i pregiudizi disciplinari e gli effetti Matthew.