La comprensione dei ruoli semantici emerge durante il pre-addestramento dei LLM

Uno studio recente pubblicato su arXiv (2605.09187) esamina se la comprensione dei ruoli semantici—la capacità di discernere 'chi ha fatto cosa a chi' nelle frasi—si sviluppi durante il pre-addestramento dei modelli linguistici o richieda un fine-tuning specifico per i compiti. I ricercatori hanno fissato trasformatori decoder-only e utilizzato sonde lineari per estrarre i ruoli semantici, valutando le prestazioni per determinare se queste informazioni sono incorporate nel pre-addestramento o acquisite tramite adattamento. I risultati hanno rivelato che le rappresentazioni congelate a varie scale di modello contenevano informazioni significative sui ruoli semantici, mostrando un miglioramento delle prestazioni, sebbene non raggiungessero completamente i livelli dei modelli fine-tunati. Ciò suggerisce che, sebbene una certa emersione avvenga durante il pre-addestramento, rimane incompleta.