La ricerca sui LLM mette in discussione l'autoconsistenza dei giudizi di preferenza

Uno studio recente pubblicato su arXiv (ID 2608.17644) indaga l'autoconsistenza dei giudizi di preferenza numerici generati da modelli linguistici di grandi dimensioni (LLM). I ricercatori notano che gli agenti spesso interpretano le preferenze in linguaggio naturale degli individui consultando un LLM per valutazioni cardinali, come determinare quanto una persona potrebbe pagare per un prodotto. Queste valutazioni aiutano a stimare una funzione di utilità che influenza il processo decisionale. Questo approccio presuppone che una singola funzione di utilità possa riflettere accuratamente i giudizi. Per valutare questa ipotesi, lo studio introduce test statistici e metriche interpretabili per misurare le deviazioni dalla funzione di utilità ottimale autoconsistente. Un esempio significativo dimostra che la differenza nella disponibilità a pagare tra due prodotti dovrebbe corrispondere al pagamento che lascerebbe una persona indifferente tra di essi. Gli esperimenti comprendono scenari di selezione di voli, appartamenti e hotel attraverso sei diversi LLM. Il documento conclude che i giudizi di preferenza generati dagli LLM mancano di autoconsistenza, evidenziando un problema critico nell'uso di questi output per la modellazione delle preferenze e il processo decisionale.