Selezione dell'Azione nei LLM: Una Teoria dei Regimi per le Classi di Controller
Un recente studio pubblicato su arXiv (2605.06339) mette in discussione la convinzione che controller potenziati migliorino invariabilmente le prestazioni dei modelli linguistici di grandi dimensioni (LLM). I ricercatori classificano i controller in una struttura gerarchica composta da quattro tipi: azioni fisse, router di partizione, controller a livello di istanza e controller con gate a priori. Stabiliscono una teoria dei regimi che dimostra come i limiti dei campioni finiti riguardanti i segnali di incertezza a livello di istanza portino a preferenze variabili per le classi di controller in diversi benchmark quando sottoposti a una rigorosa convalida incrociata. Questa teoria identifica tre vincoli stimabili dai dati che influenzano la scelta della classe: il miglioramento rispetto all'azione fissa ottimale, la dimensione del campione necessaria per decisioni affidabili a livello di istanza e altri fattori dipendenti dalla distribuzione.
Fatti principali
- Articolo arXiv 2605.06339
- Titolo: Una Teoria dei Regimi per la Selezione della Classe di Controller nelle Decisioni d'Azione dei LLM
- Quattro classi di controller: azioni fisse, router di partizione, controller a livello di istanza, controller con gate a priori
- L'intuizione comune di monotonicità non è uniformemente vantaggiosa in campioni finiti
- Benchmark diversi preferiscono classi di controller diverse sotto la stessa rigorosa convalida incrociata
- I segnali di incertezza a livello di istanza possono esaurirsi a una scala dipendente dalla distribuzione
- La teoria dei regimi utilizza tre colli di bottiglia stimabili dai dati per la scelta della classe
- Pubblicato su arXiv
Entità
Istituzioni
- arXiv