SpikeWorld: Un modello spiking a 1,45 milioni di parametri per l'adattamento rapido dello stato in modelli del mondo congelati

Un recente articolo di ricerca presenta SpikeWorld, un modello spiking sparso con 1,45 milioni di parametri, volto al rapido adattamento dello stato all'interno di modelli del mondo congelati. Questo modello viene addestrato collettivamente per vari compiti, tra cui la previsione sensoriale eterogenea, la semantica, l'integrazione immagine-testo e la dinamica condizionata dalle azioni. Durante la distribuzione, tutti i parametri rimangono fissi, con l'adattamento facilitato attraverso due meccanismi esterni: le perdite cumulative a banco fisso determinano la correzione dell'azione limitata, e le matrici residue specifiche del percorso migliorano le previsioni dello stato successivo. Notabilmente, questi meccanismi operano senza etichette, output dell'insegnante, ricompense, segnali di successo o il valore di spostamento effettivo. L'ottimizzazione congiunta porta a un miglioramento del 17,10% nell'MSE dell'azione-stato successivo, insieme a miglioramenti nella previsione multimodale e nelle prestazioni semantiche. L'articolo può essere trovato su arXiv con ID 2608.07712 ed è indicato come una sottomissione di tipo incrociato. Questo metodo affronta il problema dell'impiego di segnali auto-supervisionati dopo la distribuzione, poiché il congelamento ostacola l'adattamento, mentre gli aggiornamenti dei pesi richiedono stati dell'ottimizzatore e potrebbero modificare le rappresentazioni apprese.