ProxyCoT: Potenziare il Ragionamento su Contesti Lunghi nei LLM tramite Contesti Proxy Brevi
Un nuovo approccio di addestramento noto come ProxyCoT migliora il ragionamento su contesti lunghi nei modelli linguistici di grandi dimensioni (LLM) consentendo il trasferimento delle capacità di ragionamento da contesti proxy brevi a contesti lunghi completi. Mentre gli LLM esistenti possono gestire fino a 10 milioni di token, incontrano difficoltà in compiti di ragionamento complessi che coinvolgono sequenze lunghe. ProxyCoT inizialmente crea tracce di ragionamento a catena di pensiero di alta qualità all'interno di contesti proxy brevi, utilizzando l'apprendimento per rinforzo o la distillazione da un modello insegnante più grande. Queste tracce vengono successivamente integrate in contesti lunghi completi tramite fine-tuning supervisionato. Gli esperimenti indicano che ProxyCoT supera costantemente i baselines robusti riducendo al minimo i costi computazionali. Questo metodo colma efficacemente il divario di prestazioni tra contesti proxy e contesti completi, che si basano sullo stesso processo di ragionamento fondamentale. La ricerca è disponibile su arXiv con ID 2605.20201.
Fatti principali
- ProxyCoT trasferisce il ragionamento da contesti proxy brevi a contesti lunghi completi.
- Gli LLM attualmente supportano fino a 10 milioni di token ma hanno difficoltà nel ragionamento su contesti lunghi.
- ProxyCoT utilizza l'apprendimento per rinforzo o la distillazione da un modello insegnante più grande.
- Il framework applica il fine-tuning supervisionato per ancorare le tracce nei contesti completi.
- ProxyCoT supera i baselines forti con un costo computazionale ridotto.
- Il metodo affronta la disparità di prestazioni tra contesti proxy e contesti completi.
- L'articolo è su arXiv con ID 2605.20201.
- I contesti proxy sono sottoinsiemi dell'input sufficienti per risolvere i compiti.
Entità
Istituzioni
- arXiv