FinCacheServe: Riutilizzo delle Risposte Coerente con le Dipendenze per RAG su Documenti Mutabili
FinCacheServe è un servizio che migliora la gestione di documenti aziendali in evoluzione utilizzando la generazione aumentata da recupero (RAG). Riutilizza intelligentemente le risposte per domande simili, riducendo i pesanti compiti GPU necessari per generare nuove risposte. Ogni risposta è attentamente indicizzata per riflettere gli obiettivi aziendali e dotata di salvaguardie come versioni dei documenti e impronte digitali per garantire l'affidabilità. Una sperimentazione su documenti finanziari della SEC ha utilizzato modelli Qwen2.5 in una traccia 7B ospitata, dove è riuscita a evitare il 53,27% delle chiamate LLM senza risultati obsoleti. In un altro test con operatori 32B, ha saltato il 53,31% delle richieste, superando significativamente i precedenti metodi di caching.
Fatti principali
- 1. FinCacheServe tratta ogni risposta generata come un oggetto di servizio indicizzato per intento aziendale.
- 2. Le salvaguardie includono versioni dei documenti, impronte digitali delle prove, impronte digitali degli strumenti, identità del modello e configurazione di decodifica.
- 3. Valutato su carichi di lavoro di documenti finanziari derivati dalla SEC con modelli Qwen2.5.
- 4. Su una traccia 7B ospitata di 2.230 richieste, il 53,27% delle chiamate LLM è stato saltato con zero output obsoleti.
- 5. Su tre semi di suite di operatori 32B ospitati, il 53,31% di 544 richieste è stato saltato.
- 6. Il caching semantico versionato ha raggiunto un tasso di salto del 38,97%; il riutilizzo in stile grounded ha raggiunto il 22,43%.
- 7. Repliche di capacità, backend e SLO mostrano prestazioni di cache limitate dall'oracolo.
- 8. Sistema progettato per documenti aziendali mutabili dove depositi, blocchi di prove e output di strumenti cambiano.
Entità
Istituzioni
- arXiv
- SEC