ASTOR: Apprendimento per Rinforzo Multi-Compito Guidato dall'Utilità per LLM di Codice

Un nuovo framework chiamato ASTOR (multi-tASk code reinforcement learning via uTility-driven coORdination) affronta le limitazioni dell'apprendimento per rinforzo multi-compito per i grandi modelli linguistici di codice. Proposto in arXiv:2605.06111, ASTOR introduce l'utilità del compito—un segnale che cattura il potenziale di apprendimento di ciascun compito e la sinergia tra compiti—per guidare l'addestramento. Comprende due moduli: un modulo di Scheduling dei Dati Gerarchico Basato sull'Utilità che alloca il budget di addestramento e prioritizza i prompt informativi, e un modulo di Ottimizzazione delle Politiche Adattiva Calibrata sull'Utilità. Questo approccio mira a superare l'inefficienza di distribuire specialisti separati per compiti specifici e le limitazioni dei metodi esistenti di RL multi-compito che trattano tutti i compiti di codifica in modo uniforme con curricula di dati fissi.