La Formulazione delle Chiavi dello Schema come Istruzione Implicita nella Generazione Strutturata di LLM
Uno studio recente pubblicato su arXiv (2604.14862) esamina approfonditamente il ruolo delle chiavi dello schema nel decoding vincolato come canale implicito per le istruzioni all'interno dei grandi modelli linguistici. I ricercatori presentano la generazione strutturata come una sfida di istruzioni multi-canale, indicando che i segnali del compito possono trovarsi nei prompt, nelle chiavi dello schema o in una combinazione di entrambi. Propongono un'analisi sensibile alla proiezione che rivela che una chiave di tipo chain-of-thought è vantaggiosa solo quando il suo vantaggio semantico supera la distorsione causata dalla proiezione vincolata dalla grammatica, chiarendo gli effetti dipendenti dal modello delle chiavi. I test condotti su benchmark di ragionamento matematico indicano che semplicemente cambiare la formulazione delle chiavi dello schema può influenzare notevolmente l'accuratezza.
Fatti principali
- Primo studio sistematico sulle chiavi dello schema come istruzione implicita sotto decoding vincolato
- Formula la generazione strutturata come problema di istruzioni multi-canale
- Analisi sensibile alla proiezione: una chiave di tipo CoT aiuta se il guadagno semantico supera la distorsione
- Esperimenti su benchmark di ragionamento matematico mostrano variazioni di accuratezza con la formulazione delle chiavi
- Pubblicato su arXiv con ID 2604.14862
Entità
Istituzioni
- arXiv