La rappresentazione interna dell'IA tra falso e impossibile: uno studio su Gemma 3 4B IT

Uno studio recente su arXiv (2608.12852) esplora se l'IA possa distinguere tra affermazioni false e affermazioni impossibili. La ricerca ha utilizzato il modello multimodale open-weight Gemma 3 4B IT, testandolo con 85 prompt in 17 categorie filosofiche. Ogni prompt è stato formulato come una verità o diversi tipi di falsità. È interessante notare che il modello ha spesso scambiato falsità contingenti per contraddizioni, etichettando 12 delle 15 affermazioni false come contraddizioni. Tuttavia, una sonda lineare di verità poteva distinguere efficacemente le affermazioni vere da quelle impossibili (AUC 0.93), ma aveva difficoltà con quelle impossibili rispetto alle false (AUC 0.20). D'altra parte, utilizzando una sonda di impossibilità, il modello distingueva perfettamente le falsità necessarie da quelle contingenti con AUC 1.00. Ciò suggerisce che, mentre gli output del modello possono mescolare questi concetti, i suoi meccanismi interni potrebbero in realtà comprenderli, offrendo spunti sulla comprensione del linguaggio e della logica da parte dell'IA. Lo studio, di un autore anonimo, è anche significativo per la futura progettazione e valutazione dell'IA.