Allocazione Adattiva del Calcolo per LLM tramite Apprendimento Bandit
Una nuova strategia presentata su arXiv (2506.12721v2) affronta l'allocazione del calcolo durante il test per modelli linguistici di grandi dimensioni, inquadrandola come un problema di apprendimento bandit. Invece di distribuire il calcolo uniformemente su tutte le query, algoritmi adattivi valutano dinamicamente la difficoltà di ciascuna query, assegnando risorse aggiuntive a quelle più complesse, garantendo al contempo l'accuratezza per quelle più semplici. Questa tecnica enfatizza anche la concentrazione sui casi risolvibili all'interno di query difficili, minimizzando il calcolo non necessario su quelli che non possono essere risolti. Prove teoriche dimostrano una maggiore efficienza computazionale rispetto all'allocazione uniforme, e test empirici ne confermano l'efficacia su benchmark di matematica e codice.
Fatti principali
- Il paper arXiv 2506.12721v2 propone un'allocazione adattiva del calcolo durante il test per LLM.
- Formula l'allocazione del calcolo come un problema di apprendimento bandit.
- Gli algoritmi stimano dinamicamente la difficoltà delle query.
- Più calcolo allocato alle query impegnative, meno a quelle facili.
- Tra le query difficili, si dà priorità agli esempi risolvibili rispetto a quelli irrisolvibili.
- Teoricamente dimostrato più efficiente dell'allocazione uniforme.
- Validato empiricamente su benchmark di matematica e codice.
Entità
Istituzioni
- arXiv