Studio rivela come i modelli linguistici formano rappresentazioni per la pianificazione futura

Una recente indagine pubblicata su arXiv esamina le prestazioni dei grandi modelli linguistici (LLM) nella generazione di testo sotto vincoli futuri. Lo studio ha coinvolto la creazione di distici in rima, utilizzando metodi come il sondaggio lineare e il patching di attivazione su vari modelli, tra cui Qwen3, Gemma-3 e Llama-3. I risultati hanno indicato che i modelli più grandi mostravano un riconoscimento più chiaro delle future collocazioni di rima alla fine dei versi. In particolare, solo il modello Gemma-3-27B ha utilizzato efficacemente la codifica della rima, spostando l'attenzione dalla parola in rima alla fine del verso intorno al trentesimo strato. Gli altri modelli non hanno mostrato un adattamento significativo, evidenziando differenze nelle capacità di pianificazione tra gli LLM.