D-RPC: Compressione dei Percorsi di Ragionamento per la Distillazione di LLM

Una tecnica innovativa nota come Distillazione tramite Compressione dei Percorsi di Ragionamento (D-RPC) migliora il trasferimento delle capacità di ragionamento da grandi modelli linguistici (LLM) a controparti più piccole. Le spiegazioni fornite dai modelli insegnanti per problemi analoghi spesso differiscono nella struttura e nell'approccio, portando a una supervisione incoerente. D-RPC limita le opzioni dell'insegnante a una raccolta compatta e aggiornata dinamicamente di percorsi di ragionamento riutilizzabili di alto livello, selezionando il percorso più pertinente per ogni richiesta di addestramento. Questo approccio garantisce spiegazioni coerenti per problemi simili, preservando al contempo la diversità tra diversi tipi di problemi. Un'analisi PAC-Bayes chiarisce il bilanciamento tra la dimensione del repertorio e la sua copertura: repertori più piccoli riducono l'entropia della supervisione ma possono creare lacune di copertura, con il limite di generalizzazione che individua una dimensione intermedia ideale.