SearchSkill: Insegnare ai LLM a Usare Strumenti di Ricerca con Banche di Competenze Evolutive
SearchSkill è un framework innovativo che migliora l'utilizzo degli strumenti di ricerca da parte dei modelli linguistici, concentrandosi sulla pianificazione esplicita delle query attraverso competenze di ricerca riutilizzabili. Presenta una SkillBank dinamica che si adatta imparando da schemi di fallimento ricorrenti e regola le traiettorie interessate prima dell'addestramento supervisionato. L'approccio SFT in due fasi allinea il processo di addestramento con il protocollo di inferenza, che prevede la selezione delle competenze e la loro esecuzione. SearchSkill dimostra un miglioramento delle prestazioni di corrispondenza esatta su compiti di conoscenza sia per modelli open-source che closed-source.
Fatti principali
- 1. SearchSkill è un framework per insegnare ai LLM a usare strumenti di ricerca.
- 2. Rende esplicita la pianificazione delle query attraverso competenze di ricerca riutilizzabili.
- 3. Il modello seleziona una competenza, poi genera un'azione di ricerca o risposta condizionata dalla scheda della competenza selezionata.
- 4. La SkillBank si evolve espandendosi o perfezionandosi a partire da schemi di fallimento ricorrenti.
- 5. Le traiettorie interessate vengono ricostruite prima dell'addestramento supervisionato.
- 6. La ricetta SFT in due fasi allinea l'addestramento con il protocollo di inferenza.
- 7. SearchSkill migliora la corrispondenza esatta su compiti di conoscenza sia per modelli open-source che closed-source.
- 8. L'articolo è pubblicato su arXiv con ID 2605.09038.
Entità
Istituzioni
- arXiv