Agenti LLM prevedono le reazioni sui social media con il 70,7% di accuratezza in uno studio di benchmark

Uno studio recente valuta quanto bene gli agenti basati su LLM possano anticipare le risposte individuali ai post sui social media. La ricerca ha analizzato oltre 120.000 combinazioni di agenti e personaggi, basate su dati di 1.511 partecipanti in Serbia e 27 modelli linguistici di grandi dimensioni. Ha rivelato che gli agenti hanno raggiunto un'accuratezza complessiva del 70,7% nel prevedere reazioni degli utenti come like, dislike, commento, condivisione o nessuna reazione. La scelta dell'LLM ha prodotto una variazione di prestazioni di 13 punti percentuali. Nello Studio 2, è stata condotta una valutazione binaria a scelta forzata utilizzando metriche corrette per il caso. Questa ricerca sottolinea sia le capacità che i limiti degli agenti AI nell'imitare il comportamento umano sulle piattaforme di social media.