ForgetBench: Un Benchmark per l'Oblio degli LLM Sotto Modifiche Continue della Conoscenza
ForgetBench è un benchmark di nuova concezione volto ad analizzare sistematicamente le tendenze all'oblio dei grandi modelli linguistici (LLM) durante gli aggiornamenti continui della conoscenza. Colma una lacuna negli attuali metodi di valutazione, che enfatizzano principalmente il ragionamento a singolo passo o le modifiche statiche della conoscenza, trascurando gli aspetti temporali della ritenzione e della perdita di conoscenza attraverso successive revisioni del modello. Questo benchmark presenta due approcci di valutazione correlati: QA basato su concetti e QA basato su scenari, che distinguono tra ritenzione fattuale isolata e conservazione della conoscenza relazionale strutturata. Utilizzando un framework di modifica sequenziale, ForgetBench crea flussi di conoscenza temporalmente organizzati e valuta le prestazioni del modello in varie fasi di modifica. Questa ricerca è documentata su arXiv:2607.26455.
Fatti principali
- ForgetBench è un benchmark per l'oblio degli LLM sotto modifiche continue della conoscenza.
- Introduce paradigmi di valutazione QA basati su concetti e QA basati su scenari.
- Utilizza un framework di modifica sequenziale con flussi di conoscenza ordinati temporalmente.
- I paradigmi esistenti non riescono a catturare le dinamiche temporali della ritenzione della conoscenza.
- Il lavoro è pubblicato su arXiv con ID 2607.26455.
- Il benchmark mira a comprendere il degrado della conoscenza durante la modifica continua del modello.
Entità
Istituzioni
- arXiv