Incorporazioni Casuali Migliorano il Ragionamento degli LLM Senza Addestramento

Un nuovo preprint su arXiv (2605.11936) rivela che l'inserimento di vettori di incorporamento casuali negli input dei grandi modelli linguistici può migliorare le prestazioni di ragionamento in modo efficace quanto i soft prompt addestrati. Lo studio introduce i Random Soft Prompts (RSP), che sostituiscono i vettori appresi con sequenze campionate da una gaussiana isotropica adattata alle statistiche della tabella di incorporamento pre-addestrata. Nonostante non contengano contenuti appresi, gli RSP raggiungono un'accuratezza paragonabile ai soft prompt ottimizzati su benchmark di ragionamento matematico. Il meccanismo coinvolge due fasi: l'incontro dell'attenzione con una posizione casuale nuova appiattisce la distribuzione dei token e diversifica le traiettorie di ragionamento, poi si diluisce naturalmente con il progredire della generazione, portando a risposte impegnate. Questa scoperta suggerisce che l'atto stesso dell'iniezione, piuttosto che il contenuto appreso, possa guidare i guadagni prestazionali.