L'Addestramento Allineato al Calcolo Migliora le Prestazioni dei LLM in Fase di Test

Un nuovo paradigma di addestramento chiamato Compute Aligned Training (CAT) affronta il disallineamento tra i metodi standard di post-addestramento e le strategie di inferenza in fase di test per i Large Language Models (LLM). Approcci standard come il Supervised Fine-Tuning (SFT) e il Reinforcement Learning (RL) ottimizzano la verosimiglianza dei singoli campioni sotto una politica di base, che non tiene conto delle procedure di test che aggregano o filtrano gli output. CAT concettualizza le strategie di inferenza come operatori sulla politica di base e deriva funzioni di perdita che massimizzano le prestazioni quando tali strategie vengono applicate. Gli autori implementano queste funzioni di perdita per SFT e RL attraverso strategie di test comuni e forniscono prove empiriche che CAT migliora sostanzialmente lo scaling in fase di test rispetto all'addestramento standard. L'articolo è disponibile su arXiv.