Ottimizzazione di Latenza, Affidabilità e Costo nei Flussi di Lavoro Agenti Abilitati da LLM

Uno studio recente pubblicato su arXiv indaga l'equilibrio tra latenza, affidabilità e costo nei sistemi di IA composti da più agenti interagenti, inclusi quelli guidati da modelli linguistici di grandi dimensioni (LLM) e unità computazionali tradizionali. La ricerca presenta modelli di prestazione sia per agenti LLM che non LLM, illustrando come lo sforzo computazionale sia correlato alla qualità dell'output. Utilizza una funzione di affidabilità esponenziale parametrica per gli agenti LLM per tenere conto dei token di ragionamento e di output. Gli autori esplorano la creazione di flussi di lavoro sequenziali rispettando i vincoli di latenza e costo, sviluppando una strategia di allocazione dei token a riempimento d'acqua e definendo l'affidabilità ottimale del flusso di lavoro attraverso i prezzi ombra. Questa ricerca mira a migliorare l'affidabilità dei flussi di lavoro agente integrati con LLM.