ChronoState: Condizionamento Temporale Nascosto per Modelli Linguistici a Backbone Congelato
Un nuovo studio ha introdotto ChronoState, un benchmark volto a valutare quanto bene i modelli linguistici a backbone congelato possano utilizzare il tempo trascorso in tempo reale per prendere decisioni basate sulla tempistica. Questa ricerca, disponibile su arXiv con ID 2608.09124, esamina scenari in cui le decisioni dipendono da stati simbolici del compito e dal passare del tempo—si pensi a scadenze di cache o scadenze temporali. Gli autori propongono di aggiungere il tempo trascorso come uno scalare nascosto, che non è visibile nella sequenza di token ma può aiutare i calcoli del modello. Utilizzando Qwen2.5-3B-Instruct come backbone bf16 congelato, hanno implementato una codifica temporale sinusoidale più logaritmica a 31 dimensioni e hanno raggiunto un'accuratezza impressionante di 0,9305 ± 0,0134 sul benchmark, suggerendo che questi modelli potrebbero migliorare il ragionamento temporale senza bisogno di fine-tuning.
Fatti principali
- 1. ChronoState è un benchmark composizionale di stato temporale introdotto nell'articolo.
- 2. Il benchmark include lo stato simbolico nel prompt e i secondi trascorsi tau tramite un canale nascosto.
- 3. Il modello deve selezionare un'azione temporale a scelta forzata.
- 4. Lo studio utilizza Qwen2.5-3B-Instruct come backbone bf16 congelato.
- 5. La codifica temporale è sinusoidale più logaritmica a 31 dimensioni.
- 6. La modulazione utilizza una modulazione residua FiLM con gate.
- 7. La superficie di azione utilizza LoRA di rango 8.
- 8. Il condizionamento temporale nascosto raggiunge un'accuratezza di 0,9305 ± 0,0134 e un punteggio di 0,9410 ± 0,0103.
- 9. L'articolo è disponibile su arXiv:2608.09124.
Entità
Istituzioni
- arXiv