Neologismi di abilità consentono l'apprendimento continuo nei LLM

Un nuovo preprint arXiv (2605.04970) introduce i neologismi di abilità come metodo per l'apprendimento continuo nei modelli linguistici di grandi dimensioni. Si tratta di token soft aggiunti al vocabolario del modello e ottimizzati per migliorare le prestazioni su abilità specifiche senza aggiornamenti dei pesi. I ricercatori hanno osservato che i LLM pre-addestrati hanno già token associati a conoscenze procedurali. Hanno dimostrato che i neologismi di abilità possono essere appresi per potenziare le capacità su abilità target, rimanendo componibili con abilità fuori distribuzione, e che neologismi addestrati indipendentemente possono essere combinati. Questo approccio affronta i limiti del fine-tuning (dimenticanza catastrofica) e dei metodi basati sul contesto (espressività limitata e vincoli di contesto).