COMPINT: Valutazione della perdita di vincoli di sessione nella compattazione del contesto

Uno studio recente pubblicato su arXiv (2608.11242) scopre un problema significativo nella compattazione del contesto dei LLM: i Vincoli di Sessione (SC) emessi dagli utenti, come "non eliminare nessuna email finché non confermo", vengono spesso omessi durante il processo di compattazione. I ricercatori presentano COMPINT, un framework di valutazione progettato per valutare i compattatori in tre situazioni di contesto lungo: dialogo multi-turno, traiettoria agentica e ricerca estesa. I loro risultati indicano che i compattatori esistenti preservano in media solo il 17% degli SC forniti, con molti che si comportano peggio rispetto all'esecuzione del compito senza compattazione. I tassi di ritenzione variano significativamente in base al compattatore, al prompt, alla lunghezza del contesto, alla formulazione degli SC e al punto di iniezione, rivelando un problema sistemico. Per affrontare questo problema, il documento suggerisce un estrattore sensibile agli SC che opera insieme al compattatore come soluzione modulare, sottolineando una sfida critica per i sistemi LLM riguardo alla supervisione dell'utente e alla coerenza delle attività.