CLORE: Un Framework per il Ragionamento Efficiente degli LLM tramite Ottimizzazione a Livello di Contenuto

I ricercatori propongono CLORE, un framework di ottimizzazione a livello di contenuto per migliorare l'efficienza del ragionamento nei modelli linguistici di grandi dimensioni. L'apprendimento per rinforzo post-addestramento spesso produce tracce di ragionamento lunghe, ripetitive o opache. CLORE modifica i rollout corretti on-policy eliminando contenuti ripetitivi, illeggibili o irrilevanti per il compito, preservando la risposta finale. Utilizza un modello di augmentazione esterno e ottimizza coppie augmentate-originali con un obiettivo DPO senza riferimento insieme all'addestramento standard con policy gradient. Il metodo limita l'augmentazione alle traiettorie corrette ed esegue cancellazioni locali, mantenendo gli output modificati concisi. L'articolo è disponibile su arXiv con ID 2605.22211.