CompanionBench: Un nuovo benchmark per valutare la compagnia emotiva dell'IA

I ricercatori hanno presentato CompanionBench, un benchmark innovativo volto a valutare la capacità dell'IA di fornire compagnia emotiva. Questo benchmark si distingue perché utilizza dati reali de-identificati per fondare i suoi scenari e il simulatore utente, rendendolo un pioniere in questo campo. Supera le carenze dei benchmark attuali che dipendono da scenari creati manualmente e simulatori basati su prompt, che spesso riducono l'empatia a un singolo punteggio e ignorano pregiudizi come il favoritismo familiare e la deriva di scala. CompanionBench è interattivo e bilingue, con un cancello di divulgazione nascosto che adatta il percorso di ogni persona in base alle azioni dell'agente, gestendo lo spazio degli stati di interazione senza dialoghi scriptati. Opera su dieci capacità derivate da 25 teorie psicologiche e di counseling, incluse quattro precedentemente non valutate: mantenere l'ambiguità, reattività all'oggetto di sé, risonanza positiva e sfida calibrata. Gli agenti sono valutati lungo due assi complementari.