Il framework QUIVER misura la propagazione delle perturbazioni nei sistemi AI composti
È stato introdotto un nuovo framework chiamato QUIVER, acronimo di Quantifying Perturbation Propagation and Bifurcation in Compound AI Systems, per valutare come le perturbazioni si diffondono in sistemi AI complessi che utilizzano più chiamate a grandi modelli linguistici all'interno di grafi computazionali diretti. Questi sistemi sono comuni nell'AI di produzione e consistono in vari nodi con diversi tipi di output. In precedenza, non esisteva un modo efficace per misurare la propagazione delle perturbazioni in queste pipeline imprevedibili. QUIVER include quattro elementi chiave: una matrice di sensibilità per categorizzare gli archi, l'analisi della divergenza delle traiettorie, le soglie di biforcazione per identificare le perturbazioni minime che modificano i percorsi di esecuzione e la fedeltà della distribuzione. Questo framework è disponibile su arXiv con l'identificatore 2605.23956.
Fatti principali
- QUIVER è un framework formale per misurare la propagazione delle perturbazioni in pipeline LLM strutturate a grafo.
- I sistemi AI composti che concatenano più chiamate LLM sono l'architettura dominante per l'AI di produzione.
- Nessun framework esistente era in grado di quantificare la propagazione delle perturbazioni attraverso pipeline stocastiche con divergenza strutturale dei percorsi.
- QUIVER definisce una matrice di sensibilità con metriche di distanza basate sul tipo.
- Gli archi sono classificati come amplificatori, assorbitori o sensibili alla soglia.
- La divergenza delle traiettorie scompone la variazione in deriva del valore, divergenza strutturale del percorso e divergenza del conteggio delle iterazioni.
- Le soglie di biforcazione identificano la più piccola perturbazione che causa cambiamenti strutturali nel percorso di esecuzione.
- Il framework è stato annunciato su arXiv con ID 2605.23956.
Entità
Istituzioni
- arXiv