SOLAR: Agente LLM auto-ottimizzante per l'apprendimento permanente

I ricercatori propongono SOLAR (Self-Optimizing Lifelong Autonomous Reasoner), un agente autonomo open-ended progettato per superare le principali limitazioni dei modelli linguistici di grandi dimensioni (LLM) in contesti dinamici del mondo reale. Il fine-tuning tradizionale fatica a gestire il concetto di drift e il dimenticanza catastrofica in flussi di dati non stazionari, richiedendo un'ampia cura manuale. SOLAR sfrutta il meta-apprendimento a livello di parametri per trattare i pesi del modello come un ambiente di esplorazione, consentendo l'auto-miglioramento senza adattamento basato su gradienti. Consolida un forte prior sulla conoscenza di senso comune per un efficace apprendimento per trasferimento e utilizza l'apprendimento per rinforzo multilivello per scoprire autonomamente strategie di adattamento. L'approccio mira a consentire un adattamento continuo in ambienti di dati in streaming, affrontando l'alto costo del riaddestramento e la necessità di cura manuale dei dati. L'articolo è pubblicato su arXiv con identificatore 2605.20189.