LLM di Ragionamento Riducono i Token con Competenze Memorizzate
Una nuova tecnica per il ragionamento con modelli linguistici di grandi dimensioni (LLM) suggerisce che riassumere e archiviare abilità di ragionamento riutilizzabili, acquisite attraverso un'esplorazione e una sperimentazione approfondite, può essere vantaggioso. Queste competenze possono poi essere richiamate durante l'inferenza per migliorare il ragionamento futuro. A differenza dell'approccio tradizionale di 'ragionare da zero', questo metodo recupera le competenze pertinenti per ogni richiesta, consentendo al modello di evitare deviazioni inutili e concentrarsi su strategie di soluzione produttive. Testato su sfide di programmazione e ragionamento matematico, questa tecnica riduce notevolmente il numero di token di ragionamento necessari, migliorando al contempo le prestazioni complessive. Il costo ridotto per richiesta evidenzia significativi vantaggi pratici ed economici per applicazioni reali.
Fatti principali
- Il metodo riassume e memorizza abilità di ragionamento riutilizzabili derivanti da deliberazione e tentativi ed errori.
- Le competenze vengono recuperate al momento dell'inferenza per guidare il ragionamento futuro.
- Si contrappone al paradigma del 'ragionare da zero'.
- Valutato su compiti di programmazione e ragionamento matematico.
- Riduce significativamente i token di ragionamento.
- Migliora le prestazioni complessive.
- Il costo inferiore per richiesta indica un potenziale pratico ed economico.
- Proposto dagli autori su arXiv (cronologia delle sottomissioni non specificata).
Entità
Istituzioni
- arXiv