Rapporto tecnico Palmyra x6 pubblicato su arXiv: il modello agentico per l'utilizzo di strumenti raggiunge i punteggi più alti nei benchmark
Un nuovo rapporto tecnico su arXiv presenta Palmyra x6, un modello linguistico completo pensato per l'uso aziendale. Il modello è stato creato potenziando un framework Mixture-of-Experts con Anchored Supervised Fine-Tuning, addestrato su un piccolo dataset di 626 traiettorie verificate di utilizzo sintetico di strumenti. L'addestramento ha previsto una sola epoca, un tasso di apprendimento basso e un ancoraggio della divergenza KL, utilizzando una combinazione di ottimizzatori Muon e Adam. Palmyra x6 ha superato il precedente modello predefinito per i compiti di Writer Agent, raggiungendo un punteggio di 0,785 su BFCL Core e la media più alta su sei benchmark. Ha inoltre eccelso nelle valutazioni su bias e sicurezza. Il rapporto raccomanda un approccio di addestramento accurato e il codice e i dati sono disponibili, classificati sotto Computer Science, Computation and Language.
Fatti principali
- Palmyra x6 è ottimizzato per compiti agentici orientati all'impresa.
- Il modello è stato costruito tramite post-addestramento di un modello base Mixture-of-Experts.
- È stato eseguito un Anchored Supervised Fine-Tuning su 626 traiettorie verificate di utilizzo sintetico di strumenti.
- L'addestramento ha utilizzato un ottimizzatore ibrido Muon + Adam con una sola epoca e un tasso di apprendimento basso.
- Un ancoraggio KL al modello base congelato è stato mantenuto durante tutto l'addestramento.
- Palmyra x6 mostra miglioramenti sostanziali rispetto al precedente modello predefinito per Writer Agent.
- Ha ottenuto il punteggio più alto su BFCL Core con 0,785.
- Ha registrato la media più alta su sei benchmark tra i modelli confrontati.
- Il modello è risultato competitivo o leader nelle valutazioni su bias e sicurezza.
- Il rapporto è disponibile su arXiv e indicizzato da Semantic Scholar.
Entità
Istituzioni
- arXiv
- Semantic Scholar
- arXivLabs