ReAD: Distillazione delle capacità guidata dal rinforzo per LLM

Un nuovo framework chiamato ReAD (Reinforcement-guided cApability Distillation) affronta la sfida di comprimere grandi modelli linguistici (LLM) in modelli più piccoli, preservando le abilità specifiche per i compiti. Gli attuali metodi di distillazione delle capacità trattano le capacità come indipendenti, ignorando come il miglioramento di una capacità influenzi le altre. ReAD modella esplicitamente l'interdipendenza delle capacità sotto un budget di token fisso, sfruttando l'apprendimento per rinforzo per ottimizzare il processo di distillazione. L'approccio si basa su schemi osservati: la distillazione induce un trasferimento sistematico di capacità incrociate che dipende dal budget, e un budget aggiuntivo spesso produce guadagni limitati rilevanti per il compito, mentre può degradare altre abilità. Inferendo le capacità essenziali per il compito e guidando il loro sviluppo, ReAD mira a produrre modelli più piccoli più efficienti ed efficaci per compiti downstream.