AdapShot: Apprendimento In-Context Adattivo a Molti Colpi con Riutilizzo della Cache KV Sensibile al Contesto
AdapShot è un nuovo metodo per l'apprendimento in-context a molti colpi (ICL) che determina dinamicamente il numero ottimale di esempi per query, superando i limiti dei conteggi di colpi statici. Utilizza un meccanismo di valutazione basato su probe con entropia di output per adattare il numero di colpi e incorpora il riutilizzo della cache KV sensibile al contesto per ridurre i costi computazionali e di memoria. L'approccio mira a migliorare le prestazioni di ragionamento consentendo un'inferenza efficiente per i grandi modelli linguistici.
Fatti principali
- AdapShot ottimizza dinamicamente il numero di colpi per ogni query.
- Utilizza l'entropia di output per determinare il numero ottimale di colpi.
- Il riutilizzo della cache KV sensibile al contesto riduce il calcolo di prefilling.
- Il metodo affronta i limiti dei conteggi di colpi statici nell'ICL a molti colpi.
- Mira a migliorare le prestazioni di ragionamento dei LLM.
- L'approccio riduce i costi computazionali e di memoria dei contesti lunghi.
- AdapShot è proposto come soluzione per un ICL efficiente a molti colpi.
- Il metodo è descritto nell'articolo arXiv 2605.03644.
Entità
Istituzioni
- arXiv