Trasferimento Neuro-Simbolico della Memoria per Grafi di Conoscenza in Condizioni di Osservabilità Parziale
È stata sviluppata una nuova tecnica di apprendimento per rinforzo per simulare il trasferimento della memoria a breve termine in memoria a lungo termine all'interno di grafi di conoscenza, anche in presenza di osservabilità parziale. Questo approccio impiega un processo decisionale neuro-simbolico basato sul valore, consentendo a un agente di decidere se conservare o scartare triple osservate prima della loro integrazione a lungo termine. Utilizzando un framework di Q-learning per singolo elemento con parametri condivisi e aggiornamenti di differenza temporale, gestisce efficacemente buffer a breve termine di dimensioni variabili. Nei test sul benchmark RoomKG, con una capacità di memoria a lungo termine di 128, le decisioni di trasferimento apprese hanno superato sia i benchmark simbolici che quelli neurali, inclusi quelli che utilizzano annotazioni temporali e modelli LSTM/Transformer. I risultati sono stati pubblicati su arXiv con l'identificatore 2605.22142.
Fatti principali
- L'apprendimento per rinforzo in condizioni di osservabilità parziale richiede di decidere quali informazioni conservare.
- Lo studio inquadra il trasferimento da memoria a breve termine a lungo termine come un problema decisionale neuro-simbolico basato sul valore.
- Per ogni tripla osservata, l'agente sceglie di conservarla o scartarla prima dell'inserimento a lungo termine.
- Viene utilizzato un design di Q-learning per singolo elemento con parametri condivisi per buffer a breve termine di dimensioni variabili.
- Gli aggiornamenti di differenza temporale vengono applicati su elementi corrispondenti tra passaggi consecutivi.
- Il benchmark RoomKG con capacità di memoria a lungo termine 128 viene utilizzato per la valutazione.
- Le decisioni di trasferimento apprese superano le baseline simboliche e neurali.
- Le baseline includono baseline simboliche con annotazioni temporali e baseline basate su LSTM/Transformer con cronologia.
Entità
Istituzioni
- arXiv