Nuovo Benchmark Valuta la Memoria degli Agenti LLM nel Recupero di Informazioni BIM
Un nuovo benchmark chiamato IFCMemoryBench è stato sviluppato da ricercatori per valutare le funzioni di memoria a lungo termine degli agenti basati su LLM specificamente nel contesto del Building Information Modelling (BIM). Questo benchmark colma una lacuna nelle valutazioni attuali, che tipicamente si concentrano sul richiamo conversazionale in contesti a dominio aperto o basati su persona. IFCMemoryBench valuta la capacità di un agente di utilizzare informazioni da interazioni precedenti mentre opera in un ambiente strutturato e specifico del dominio. Comprende 143 attività multi-sessione su 19 progetti e include 4.016 sessioni precedenti, derivate da richieste di informazioni incomplete in IFC-Bench v2. Ogni attività introduce un contesto di progetto mancante da discussioni precedenti, sfidando gli agenti a ricordare e utilizzare queste informazioni in sessioni successive. I risultati sono dettagliati in un articolo disponibile su arXiv (2607.26072).
Fatti principali
- IFCMemoryBench valuta la memoria a lungo termine degli agenti basati su LLM nel BIM.
- Il benchmark contiene 143 attività multi-sessione su 19 progetti.
- Include 4.016 sessioni precedenti derivate da IFC-Bench v2.
- Le attività richiedono agli agenti di riutilizzare informazioni da conversazioni precedenti.
- Le valutazioni esistenti si concentrano sul richiamo in contesti a dominio aperto o basati su persona.
- Il benchmark testa gli agenti in un ambiente vivo, strutturato e specifico del dominio.
- L'articolo è disponibile su arXiv con ID 2607.26072.
- Il lavoro è stato annunciato come una sottomissione cross-type.
Entità
Istituzioni
- arXiv