Il framework CARE rivela un 'gap di realismo' degli LLM nel simulare le reazioni delle comunità online

Un recente studio ha presentato CARE (Community-Aware Reaction Evaluation), un framework progettato per valutare l'efficacia dei grandi modelli linguistici nel rispecchiare le risposte di varie comunità online a eventi di attualità. Questa ricerca, disponibile su arXiv (2605.27388), identifica un problema persistente noto come 'gap di realismo': l'uso di prompt espliciti sulla comunità non migliora necessariamente l'accuratezza delle simulazioni negli LLM. CARE delinea una gamma dettagliata di toni e atteggiamenti illocutori, confermata attraverso la collaborazione tra umani e AI, per misurare l'allineamento degli LLM con le pratiche linguistiche delle comunità online. Gli autori sottolineano che le valutazioni esistenti spesso semplificano le identità sociali in etichette fisse, trascurando la natura dinamica delle interazioni di gruppo nel mondo reale. Propongono CARE come metodo incentrato sulle reazioni per affrontare questo problema, utilizzando le risposte delle comunità a notizie reali come standard.