Prefix-RFT: Metodo Ibrido di Post-Addestramento per LLM

Un nuovo approccio ibrido al post-addestramento di modelli linguistici di grandi dimensioni, Prefix-RFT, combina il fine-tuning supervisionato (SFT) e il fine-tuning per rinforzo (RFT) per superare le rispettive limitazioni. L'SFT eccelle nell'imitare i dati dimostrativi ma soffre di clonazione comportamentale, mentre l'RFT migliora le prestazioni ma è sensibile alla politica iniziale e incline a comportamenti imprevisti. Prefix-RFT sinergizza l'apprendimento sia dalla dimostrazione che dall'esplorazione, utilizzando problemi di ragionamento matematico come banco di prova. Il metodo supera l'SFT standalone, l'RFT standalone e l'RFT a politica mista parallela. L'articolo evidenzia la natura complementare di SFT e RFT, proponendo una visione unificata di queste tecniche.