Switchcraft: Router di Modelli AI per Chiamate a Strumenti Agenti
L'introduzione di Switchcraft segna il debutto del primo router di modelli progettato per le chiamate a strumenti agenti nei sistemi di IA. Questo sistema innovativo identifica il modello più conveniente garantendo al contempo l'accuratezza, raggiungendo un notevole 82,9% di precisione e riducendo le spese di inferenza dell'84%, con un risparmio di oltre 3.600 dollari per ogni milione di query. Utilizzando un classificatore basato su DistilBERT, funziona entro un budget di latenza specificato. La ricerca ha rivelato che i modelli più grandi non superano sempre quelli più piccoli nei compiti di utilizzo degli strumenti, e i modelli meno costosi possono portare a costi complessivi maggiori a causa delle esigenze di ragionamento ad alto consumo di token.
Fatti principali
- Switchcraft è il primo router di modelli ottimizzato per le chiamate a strumenti agenti.
- Raggiunge un'accuratezza dell'82,9%, eguagliando o superando il miglior modello individuale.
- Il costo di inferenza è ridotto dell'84%.
- Risparmia oltre 3.600 dollari per milione di query.
- Utilizza un classificatore basato su DistilBERT.
- Opera sotto un budget di latenza.
- I modelli più grandi non superano costantemente quelli più piccoli nei compiti di utilizzo degli strumenti.
- I modelli più economici possono comportare un costo totale maggiore a causa del ragionamento ad alto consumo di token.
Entità
—