I Punteggi di Valutazione sono Rivendicazioni di Conoscenza Deperibili

Un recente articolo su arXiv presenta l'idea che i punteggi di valutazione per i modelli linguistici dovrebbero essere visti come rivendicazioni di conoscenza transitorie con periodi di validità limitati. Gli autori introducono l'"inflazione di fiducia", che si verifica quando la combinazione di vari segnali (come metriche automatiche, valutazioni LLM-as-judge, valutazioni umane e suite di benchmark) tramite media porta a una sovrastima della fiducia basata sul segnale meno affidabile. Delineano tre caratteristiche per i punteggi di valutazione: formalità (le valutazioni umane forniscono prove più forti delle metriche automatiche), ambito (i risultati sono limitati alla distribuzione testata) e finestre di validità (i risultati si deteriorano con l'aumento della contaminazione e il cambiamento delle distribuzioni). L'articolo classifica l'aggregazione del collegamento più debole come un punto finale conservativo in una famiglia di operatori parametrizzati, supportata dall'analisi del chain-of-thought, dalla logica possibilistica e dalla teoria algebrica. Questa ricerca è disponibile su arXiv con l'identificatore 2607.26191.