Interazione Diffusa Continua: Un Nuovo Runtime per il Ragionamento Potenziato da Strumenti nei Modelli Linguistici a Diffusione
Un nuovo articolo di ricerca introduce l'Interazione Diffusa Continua (CID), un'architettura runtime di modello progettata per integrare l'interazione con gli strumenti nel processo iterativo di denoising dei modelli linguistici a diffusione (dLLM). L'articolo, disponibile su arXiv (2608.10438), sostiene che i modelli autoregressivi tradizionali si adattano naturalmente all'uso di strumenti emettendo una chiamata a uno strumento, attendendo il risultato e continuando la generazione. Tuttavia, i modelli a diffusione, che raffinano più parti della loro output in parallelo, incontrano restrizioni con questo schema di stop-and-resume. Ciò può forzare decisioni premature sugli strumenti, ritardare le osservazioni e introdurre raffinamenti ridondanti ed esecuzioni di strumenti, potenzialmente danneggiando l'accuratezza e l'efficienza. CID affronta questi problemi separando un canale di fatti di sola lettura del modello, consentendo al modello di interagire con gli strumenti durante il denoising. L'architettura mira a migliorare sia l'accuratezza del compito che l'efficienza di inferenza per il ragionamento potenziato da strumenti nei modelli a diffusione.
Fatti principali
- L'articolo introduce l'Interazione Diffusa Continua (CID) per i modelli linguistici a diffusione.
- CID integra l'interazione con gli strumenti nel denoising iterativo.
- I modelli autoregressivi tradizionali usano uno schema di stop-and-resume per le chiamate agli strumenti.
- I modelli a diffusione raffinano l'output in parallelo, rendendo lo stop-and-resume restrittivo.
- CID separa un canale di fatti di sola lettura del modello.
- L'articolo è disponibile su arXiv con ID 2608.10438.
- Mira a migliorare l'accuratezza del compito e l'efficienza di inferenza.
- Affronta la raffinazione ridondante e l'esecuzione degli strumenti.
Entità
Istituzioni
- arXiv