Il Metodo di Adattamento Joint Flashback Affronta l'Oblio Catastrofico nei Modelli Linguistici di Grande Dimensione

Il metodo innovativo noto come Joint Flashback Adaptation affronta la sfida continua dell'oblio catastrofico nei modelli linguistici di grande dimensione. Questa tecnica integra una piccola selezione di prompt provenienti da compiti precedenti, denominati flashback, limitando al contempo le modifiche agli output originali del modello durante l'adattamento a nuovi compiti. Per affrontare il problema della scarsità di dati in questi flashback e promuovere il trasferimento di conoscenze, il metodo interpola compiti latenti tra i flashback e i nuovi compiti. Ciò consente l'apprendimento collaborativo di compiti latenti pertinenti, flashback e nuovi compiti, portando a un adattamento più efficace. Questo metodo indipendente dal compito richiede flashback minimi e non dipende da dati di replay. I metodi attuali, che si basano sull'esperienza di replay o sulla differenziazione dei compiti, affrontano vincoli significativi nelle applicazioni pratiche. Nonostante le loro prestazioni impressionanti in vari compiti, i modelli linguistici di grande dimensione faticano con l'apprendimento incrementale di nuovi compiti a causa dell'oblio catastrofico. Questa ricerca è stata pubblicata su arXiv con l'identificatore 2505.15467v2 come parte del tipo di annuncio replace-cross.