SkillWeave: Pacchetti di Competenze Modulari per una Specializzazione Efficiente degli LLM

Un team di ricercatori ha presentato SkillWeave, un framework di miglioramento modulare progettato per consentire ai grandi modelli linguistici (LLM) di eccellere in vari domini senza incorrere in costi aggiuntivi di memoria o inferenza. SkillWeave suddivide le capacità di un modello general-purpose in moduli delta leggeri e specifici per dominio, chiamati skillpacks, che potenziano e riorganizzano la conoscenza interna. Per facilitare un'implementazione efficiente, incorpora SkillZip, che comprime gli skillpacks in un formato compatto adatto all'inferenza, offrendo prestazioni multi-dominio impressionanti con una latenza minima. Nelle valutazioni che coinvolgono benchmark multi-task e agentici, un modello SkillWeave con 9 miliardi di parametri ha superato diverse baseline e ha persino superato le prestazioni di un LLM monolitico da 32 miliardi di parametri, raggiungendo miglioramenti di velocità fino a quattro volte. Questo sviluppo affronta la sfida di mantenere la funzionalità multi-dominio rispettando rigorosi limiti di memoria e inferenza.