Il Framework L-PACT Sfida le Affermazioni di Allineamento tra Modelli Linguistici e Cervello

Un nuovo studio ha introdotto L-PACT, un framework progettato per valutare quanto bene i modelli linguistici si allineano con l'attività cerebrale, sostenendo che guardare solo ai punteggi di previsione non è sufficiente. Esamina vari tipi di evidenze, incluse evidenze predittive, relazionali, di stripping dei meccanismi e limitate dall'affidabilità, utilizzando diversi dataset neurali e rappresentazioni dei modelli. Il framework confronta le caratteristiche reali del modello con baseline di disturbo e controlli rigorosi, verifica se i pattern da modello a cervello rispecchiano le connessioni da cervello a cervello e regola i punteggi dopo lo stripping dei meccanismi. L'analisi include 414 righe di controllo predittivo, 2.304 righe di profilo relazionale, 4.320 righe di stripping dei meccanismi, 420 righe di tetto cervello-cervello e 146 decisioni integrate. Questi risultati sfidano la convinzione comune che punteggi di previsione elevati significhino che i modelli riflettano accuratamente l'elaborazione linguistica correlata al cervello.