La compattazione parallela migliora l'efficienza degli agenti LLM a lungo termine

Un nuovo articolo su arXiv introduce la compattazione parallela del contesto per il servizio di agenti LLM a lungo termine, affrontando il collo di bottiglia della sintesi sequenziale che blocca l'inferenza per decine di secondi. Il metodo comprime le cronologie delle conversazioni in crescita senza bloccare l'esecuzione dell'agente, offrendo un controllo granulare sul volume del riepilogo, una capacità assente negli approcci basati su prompt. Valutato su quattro backbone (da 8B a 120B parametri, architetture dense e MoE, modelli di ragionamento e non) sui benchmark HotpotQA e LoCoMo, la compattazione parallela supera la baseline sequenziale sincrona in coerenza e velocità. Il lavoro evidenzia l'imprevedibilità dell'output di token e la ritenzione delle informazioni nei metodi di sintesi attuali, che minano la prevedibilità della conoscenza dell'agente tra le esecuzioni.