Esempi in Contesto Sopprimono il Richiamo di Conoscenze Scientifiche nei LLM

Una recente indagine indica che l'incorporazione di esempi in contesto nei grandi modelli linguistici (LLM) riduce la loro capacità di ricordare e utilizzare informazioni scientifiche pre-addestrate, portandoli a concentrarsi maggiormente sul riconoscimento empirico di pattern. Questo studio, registrato su arXiv:2604.27540, ha valutato 60 compiti di recupero della struttura latente in cinque campi scientifici, coinvolgendo 6.000 prove e quattro modelli distinti. I compiti includevano la stima di costanti di reazione in chimica e la deduzione di elasticità della domanda in economia. Mentre l'effetto di spostamento è stato osservato in modo coerente in vari domini, le implicazioni per l'accuratezza sono variate. Questi risultati mettono in discussione le convinzioni prevalenti su come i LLM utilizzano la conoscenza specifica del dominio quando vengono presentati esempi.