TRACE: Un Curriculum in Due Fasi per il Recupero Parametrico di Strumenti in LLM Aziendali
Un team di ricercatori ha introdotto TRACE, acronimo di Tool Retrieval via Augmented Chain-of-thought and Enterprise rules. Questo nuovo curriculum in due fasi mira ad affrontare alcuni problemi importanti con il recupero parametrico di strumenti nei grandi modelli linguistici. ToolSense utilizza un token virtuale unico per ogni API, ma questo approccio può portare a una decodifica lenta e alla perdita di conoscenza degli strumenti durante l'addestramento. TRACE migliora questo aspetto utilizzando prima un fine-tuning supervisionato per costruire la conoscenza degli strumenti con Low-Rank Adaptation. La seconda fase si concentra sulla generazione di una traccia di ragionamento prima di creare un elenco JSON di token di strumenti, utilizzando dati potenziati da ToolSense e query di esperti. Puoi trovare la ricerca su arXiv con l'ID 2607.22639.
Fatti principali
- 1. TRACE è un curriculum in due fasi per il recupero parametrico di strumenti in LLM aziendali.
- 2. Il recupero parametrico assegna a ogni API un token virtuale unico e utilizza la ricerca beam vincolata.
- 3. ToolSense ha due inconvenienti: distrugge la conoscenza parametrica degli strumenti e decodifica lenta.
- 4. La Fase 1 riutilizza la memorizzazione multi-formato SFT di ToolSense con LoRA.
- 5. La Fase 2 addestra il modello a emettere una traccia di pensiero prima di produrre un elenco JSON di token di strumenti.
- 6. Le fonti di dati includono coppie RRB da ToolSense e query di regole aziendali da esperti del dominio.
- 7. L'obiettivo di addestramento preserva le prestazioni di MCQ e QA probing della Fase 1.
- 8. L'articolo è pubblicato su arXiv con identificatore 2607.22639.
Entità
Istituzioni
- arXiv