Studio mette in dubbio l'affidabilità degli LLM nella valutazione degli stati dell'utente

Uno studio recente pubblicato su arXiv mette in discussione la convinzione che i grandi modelli linguistici (LLM) possano valutare accuratamente gli stati dell'utente all'interno di sistemi conversazionali e adattivi. Intitolato "Can We Trust AI-Inferred User States", la ricerca indaga empiricamente l'affidabilità psicometrica delle metriche AI conducendo valutazioni su tre LLM bimodali: GPT-4o audio, Gemini 2.0 Flash e Gemini 2.5 Flash. Gli autori si sono concentrati sia sull'affidabilità del punteggio individuale che sull'affidabilità complessiva, rivelando che l'affidabilità delle metriche non è intrinsecamente presente nei contesti interpretativi. L'instabilità osservata a livello di punteggio individuale indica potenziali sfide negli adattamenti in tempo reale basati su queste metriche.