VecCISC: Un Framework Leggero per il Voto a Maggioranza Ponderato Efficiente nei LLM
Un nuovo metodo chiamato VecCISC riduce il costo computazionale del voto a maggioranza ponderato nei modelli linguistici di grandi dimensioni (LLM) raggruppando tracce di ragionamento semanticamente simili. La Self-Consistency standard seleziona la risposta più comune da più campioni, mentre la Confidence-Informed Self-Consistency (CISC) utilizza un LLM critico per assegnare punteggi di confidenza, migliorando l'accuratezza ma aumentando il sovraccarico. VecCISC utilizza la similarità semantica per filtrare tracce ridondanti, riducendo il numero di chiamate al critico. L'approccio è adattivo e leggero, mirando a mantenere i guadagni di performance riducendo i costi. L'articolo è pubblicato su arXiv con ID 2605.08070.
Fatti principali
- VecCISC è un framework per il voto a maggioranza ponderato nei LLM.
- Utilizza la similarità semantica per raggruppare tracce di ragionamento.
- La Self-Consistency standard seleziona la risposta più comune.
- CISC utilizza un LLM critico per il punteggio di confidenza.
- VecCISC riduce il numero di chiamate al LLM critico.
- Il metodo è leggero e adattivo.
- L'articolo è su arXiv con ID 2605.08070.
- L'approccio mira a ridurre i costi mantenendo l'accuratezza.
Entità
Istituzioni
- arXiv