Nuovo quadro per la valutazione delle metriche di valutazione del testo

Un nuovo articolo arXiv (2608.01423) propone un quadro per valutare le metriche di valutazione del testo basate su riferimenti, che vengono utilizzate per assegnare punteggi alle risposte candidate nella generazione del linguaggio naturale confrontandole con risposte di riferimento. Gli autori sostengono che, sebbene la correlazione statistica con le valutazioni umane sia la misura standard di affidabilità, essa è insufficiente quando le metriche vengono utilizzate come obiettivi di ottimizzazione, poiché gli agenti potrebbero sfruttare strategicamente le metriche. Introducono due nozioni complementari di allineamento: allineamento statistico (correlazione con le valutazioni umane) e allineamento strategico (resistenza a perturbazioni che non aggiungono informazioni rilevanti per il compito). L'articolo contribuisce con principi di test per metriche basate su riferimenti, inclusi correlazione con valutazioni umane, sensibilità al degrado e robustezza alla manipolazione, per valutare se una metrica concorda con i giudizi umani e resiste al gaming. L'articolo è annunciato come nuova sottomissione su arXiv.