Distillazione della Memoria degli Agenti: Framework Senza Addestramento Potenzia Piccoli Agenti LLM
Un recente articolo su arXiv (2608.07169) presenta la Distillazione della Memoria degli Agenti (AMD), un framework che opera senza addestramento per facilitare il trasferimento di conoscenze strutturate da grandi agenti insegnanti a piccoli agenti studenti attraverso una memoria gerarchica. Questo approccio crea tre tipi di memoria complementare derivati da traiettorie efficaci dell'insegnante: memoria del flusso di lavoro per strategie a livello di compito, memoria dei sotto-compiti per esempi comportamentali specifici e memoria delle funzioni per convenzioni e insidie comuni relative alle chiamate di funzione. Le memorie del flusso di lavoro e dei sotto-compiti vengono integrate proattivamente all'inizio dei compiti, mentre la memoria delle funzioni viene accessa reattivamente quando si verificano errori di chiamata degli strumenti. I test su tre benchmark con quattro modelli studenti (parametri 4B-8B) dimostrano notevoli miglioramenti delle prestazioni, consentendo ai modelli più piccoli di gestire compiti complessi senza la necessità di messa a punto. Questo framework affronta efficacemente il problema dei piccoli modelli linguistici che faticano a generare abbastanza traiettorie di successo in modo indipendente, fornendo un metodo praticabile per implementare agenti efficienti in ambienti con risorse limitate.
Fatti principali
- L'articolo arXiv:2608.07169 propone la Distillazione della Memoria degli Agenti (AMD).
- AMD è un framework senza addestramento.
- Trasferisce la conoscenza da un grande agente insegnante a un piccolo agente studente.
- Utilizza una memoria gerarchica con tre tipi: flusso di lavoro, sotto-compito e funzione.
- Le memorie del flusso di lavoro e dei sotto-compiti vengono iniettate proattivamente all'inizio del compito.
- La memoria delle funzioni viene recuperata reattivamente in caso di errori di chiamata degli strumenti.
- Valutato su tre benchmark di utilizzo degli strumenti.
- Sono stati utilizzati quattro modelli studenti con parametri 4B-8B.
- AMD migliora le prestazioni degli agenti dei piccoli modelli senza messa a punto.
Entità
Istituzioni
- arXiv