EngramaBench: Nuovo Benchmark per la Memoria Conversazionale a Lungo Termine

I ricercatori hanno creato EngramaBench per valutare quanto bene gli assistenti basati su grandi modelli linguistici ricordino le conversazioni nel tempo. Questo benchmark presenta cinque personaggi unici, include cento dialoghi multi-sessione e propone centocinquanta domande che coprono aree come il richiamo fattuale e il ragionamento. Nella valutazione, Engrama, un sistema di memoria basato su grafi, è stato confrontato con GPT-4o utilizzando prompt a contesto completo, insieme a Mem0, un sistema di memoria a recupero vettoriale open-source che utilizzava anch'esso GPT-4o per le risposte. GPT-4o con contesto completo ha ottenuto il punteggio più alto, 0,6186, mentre Engrama ha raggiunto 0,5367 complessivo, eccellendo nel ragionamento cross-spazio con 0,6532. Mem0, nonostante fosse più economico, è rimasto indietro con un punteggio di 0,4809.