PARALLEL: Approccio di Apprendimento per Modelli Linguistici Ispirato alla Corteccia Prefrontale
I ricercatori hanno presentato un nuovo metodo chiamato PARALLEL, volto a migliorare i modelli linguistici imitando alcuni processi della corteccia prefrontale. Questa tecnica innovativa, descritta in uno studio pubblicato su arXiv, affronta efficacemente i limiti del fine-tuning standard, che spesso tratta tutti gli esempi di addestramento allo stesso modo. Differenziando tra segnali orientati agli obiettivi e quelli che riflettono l'incertezza, il metodo impiega un controllore basato sull'apprendimento per rinforzo per ottimizzare l'intensità dell'aggiornamento in base al feedback in tempo reale su utilità e costi. PARALLEL mantiene un notevole 94,1% al 99,2% delle prestazioni di adattamento completo, migliorando significativamente l'efficacia dell'aggiornamento, specialmente in condizioni di risorse limitate.
Fatti principali
- PARALLEL è un approccio di apprendimento per modelli linguistici ispirato al rinforzo e allineato alla corteccia prefrontale.
- Rappresenta il controllo legato agli obiettivi e quello legato all'incertezza come segnali di controllo separati.
- Un controllore ispirato al rinforzo assegna un'intensità di aggiornamento dipendente dal campione utilizzando feedback immediato su utilità e costi.
- PARALLEL impara quando e con quale forza adattarsi a ciascun campione.
- Mantiene il 94,1–99,2% delle prestazioni di adattamento completo.
- Utilizza gli aggiornamenti disponibili in modo più efficiente rispetto ai baseline selettivi.
- L'articolo è disponibile su arXiv con ID 2607.28982.
- L'approccio è ispirato ai ruoli complementari del controllo legato agli obiettivi e all'incertezza nella corteccia prefrontale.
Entità
Istituzioni
- arXiv