Il framework GRAIL raggiunge la scoperta di agenti in meno di 400 ms utilizzando modelli linguistici piccoli
I ricercatori propongono GRAIL (Granular Resonance-based Agent/AI Link), un framework per la scoperta in tempo reale di agenti basati su LLM in sistemi multi-agente. GRAIL raggiunge una latenza inferiore a 400 ms sostituendo il pesante parsing delle intenzioni degli LLM con un modello linguistico piccolo (SLM) ottimizzato per la previsione di tag di capacità, e utilizza l'espansione pseudo-documentale per aumentare la densità semantica. L'approccio affronta il compromesso tra latenza e accuratezza nei metodi esistenti, che superano i 30 secondi o sacrificano la precisione.
Fatti principali
- GRAIL raggiunge una latenza di scoperta inferiore a 400 ms
- Utilizza la previsione potenziata da SLM per la previsione di tag a livello di millisecondi
- Introduce l'espansione pseudo-documentale per la densificazione semantica
- Gli approcci esistenti basati su LLM hanno una latenza superiore a 30 secondi
- Il recupero vettoriale monolitico sacrifica la precisione semantica
- Il framework è destinato alla collaborazione multi-agente su larga scala
- Proposto nell'articolo arXiv 2605.02489
- GRAIL sta per Granular Resonance-based Agent/AI Link
Entità
Istituzioni
- arXiv