Valutazione Psicometrica dell'IA con Test Situazionali

Un quadro recentemente introdotto suggerisce di valutare i modelli comportamentali coerenti dei grandi modelli linguistici (LLM) attraverso test situazionali (SJT) e la teoria della risposta all'item multidimensionale (MIRT). La ricerca indica che i comportamenti influenzati dalla persona rimangono stabili tra diverse esecuzioni, e i punteggi dei tratti latenti possono prevedere benchmark esterni come TruthfulQA ed EmoBench. La MIRT rivela una struttura latente affidabile. La validazione di questi risultati proviene da annotazioni umane, valutazioni benchmark e analisi di coerenza interna. I tratti identificati sono intesi come modelli comportamentali stabili, non riflessi della personalità umana.