Il framework AsyncFC abilita chiamate di funzioni parallele per LLM
I ricercatori hanno introdotto AsyncFC, un framework che consente ai grandi modelli linguistici (LLM) di eseguire chiamate di funzioni in modo asincrono senza modifiche al modello. Le tradizionali chiamate di funzioni sincrone bloccano la decodifica dell'LLM fino al completamento di ogni funzione, aumentando la latenza. AsyncFC disaccoppia la decodifica dall'esecuzione, consentendo sovrapposizione e parallelismo tra funzioni quando le dipendenze lo permettono. Non richiede fine-tuning o modifiche ai protocolli sincroni esistenti. I benchmark mostrano riduzioni significative del tempo di completamento end-to-end, preservando l'accuratezza, rivelando che gli LLM possiedono una capacità nativa per l'esecuzione asincrona.
Fatti principali
- AsyncFC è un framework puro a livello di esecuzione.
- Disaccoppia la decodifica dell'LLM dall'esecuzione delle funzioni.
- Non richiede fine-tuning o modifiche al modello.
- Consente sovrapposizione tra decodifica ed esecuzione.
- Il parallelismo tra funzioni è supportato quando le dipendenze lo permettono.
- I benchmark standard di chiamata di funzioni mostrano latenza ridotta.
- L'accuratezza del compito è preservata.
- Gli LLM hanno una capacità nativa per l'esecuzione asincrona.
Entità
Istituzioni
- arXiv