I Prompt di Ruolo nei LLM Mostrano Struttura Additiva ma Resistono alla Compressione

Uno studio su arXiv (2605.23147) indaga come i modelli linguistici di grandi dimensioni addestrati con istruzioni elaborano i prompt di ruolo del tipo "Come X, fai Y." I ricercatori hanno trovato una chiara decomposizione lineare nella transizione dal prompt alla risposta nei primi/medi strati di Gemma-2-2B-IT e Qwen-2.5-{1.5B, 3B}-Instruct. La persona e il compito contribuiscono attraverso direzioni additive parzialmente ortogonali, consentendo la sostituzione di un vettore residuo combinato preservando i marcatori comportamentali. Tuttavia, contrariamente alle aspettative, il prompt di ruolo non può essere compresso in un singolo vettore residuo memorizzato nella cache; anche l'iniezione del residuo pulito oracle fallisce.