VIBE: Nuovo Benchmark per la Profilazione Affettiva degli Output dei LLM

I ricercatori hanno introdotto VIBE, un benchmark per la profilazione affettiva centrata sull'entità degli output dei modelli di linguaggio di grandi dimensioni (LLM), progettato per misurare la cornice emotiva e valutativa che i modelli attribuiscono a bersagli socialmente rilevanti come figure politiche, paesi, religioni ed eventi storici. Il benchmark opera nello spazio Valenza-Attivazione-Dominanza (VAD), offrendo un approccio strutturato per quantificare come gli LLM rappresentano questi bersagli. L'innovazione principale di VIBE è un contratto di misurazione che separa la generazione dalla valutazione esterna, distingue tra favorevolezza scalare, VAD a livello di risposta e VAD diretta al bersaglio, e riporta i risultati attraverso un formato 'Affective Passport'. Il benchmark è supportato da tre livelli empirici, con il primo (H1) che dimostra la favorevolezza scalare. Il lavoro affronta una lacuna nei benchmark esistenti di sentiment ed emozioni combinando l'attribuzione VAD diretta al bersaglio con un contratto di valutazione esplicito e un formato di report standardizzato. L'articolo è disponibile su arXiv con identificativo 2608.03810.