METIS: Interiorizzare il Giudizio Curricolare per il Reinforcement Fine-Tuning dei LLM

È stato proposto un nuovo framework chiamato METIS (METacognitive Internalized Self-judgment) per l'apprendimento curricolare nel Reinforcement Fine-Tuning (RFT) dei LLM. A differenza delle tecniche esistenti che si basano su euristiche esterne o modelli ausiliari per la valutazione curricolare, METIS incorpora questo giudizio come caratteristica intrinseca. Sfrutta l'intuizione che la varianza delle ricompense all'interno dei prompt funge da misura efficace dell'informatività del prompt, prevedendo questa dai risultati di addestramento recenti come semplici istanze di in-context learning. Questo autogiudizio influenza dinamicamente la distribuzione dell'addestramento. Inoltre, METIS integra il giudizio con l'ottimizzazione migliorando contemporaneamente le ricompense standard del RFT insieme a una ricompensa di autogiudizio, consentendo alla policy di determinare il proprio prossimo focus di apprendimento attraverso la metacognizione. La ricerca è disponibile su arXiv con ID 2605.11235.