AttuneBench: Nuovo benchmark misura l'intelligenza emotiva degli LLM nelle conversazioni

AttuneBench è stato lanciato da ricercatori come un nuovo benchmark volto a valutare l'intelligenza emotiva nei modelli linguistici di grandi dimensioni (LLM) attraverso interazioni autentiche a più turni. A differenza dei precedenti benchmark di IE che dipendono da prompt artificiali o scambi singoli, AttuneBench si basa su 200 dialoghi reali tra umani e LLM anonimizzati, in cui i partecipanti hanno fornito annotazioni dettagliate riguardanti i loro stati emotivi, il comportamento del modello e le loro preferenze di risposta. Questo benchmark valuta i modelli su diversi criteri, tra cui il riconoscimento delle emozioni, la classificazione comportamentale, la previsione delle preferenze e la qualità delle risposte. I risultati di 11 modelli rivelano che le classifiche di performance tra questi compiti sono in gran parte indipendenti, suggerendo che l'intelligenza emotiva comprende diverse abilità distinte piuttosto che una singola capacità. La ricerca sottolinea la necessità di valutazioni più sofisticate dell'IA conversazionale.