Ipotesi del DNA Spazzatura: Potare Pesi Piccoli Compromette le Prestazioni degli LLM su Compiti Difficili
Un nuovo studio mette in discussione la convinzione diffusa che i grandi modelli linguistici (LLM) contengano una significativa ridondanza nei loro pesi pre-addestrati. La ricerca, presentata in arXiv:2310.02277, introduce l'"Ipotesi del DNA Spazzatura" da una prospettiva incentrata sui compiti. Contrariamente all'assunzione che molti parametri possano essere potati senza perdita di prestazioni, gli autori dimostrano che i pesi di piccola magnitudine codificano conoscenze essenziali per affrontare compiti downstream difficili. Potare questi pesi porta a un calo monotono delle prestazioni in base al livello di difficoltà del compito. Inoltre, lo studio rivela che la rimozione di questi pesi apparentemente insignificanti causa una perdita di conoscenza irreparabile e un degrado delle prestazioni, anche quando è consentito un addestramento continuo downstream. I risultati sottolineano il ruolo critico dei piccoli pesi negli LLM e mettono in guardia contro strategie di potatura aggressive.
Fatti principali
- Lo studio intitolato 'Ipotesi del DNA Spazzatura' sfida le ipotesi di ridondanza negli LLM.
- I pesi di piccola magnitudine sono cruciali per compiti downstream difficili.
- Potare questi pesi causa un declino monotono delle prestazioni con la difficoltà del compito.
- La perdita di conoscenza dovuta alla potatura è irreparabile anche con addestramento continuo.
- La ricerca adotta un'angolazione incentrata sui compiti per i pesi pre-addestrati.
- Articolo pubblicato su arXiv con ID 2310.02277.
- Contraddice la convinzione che gli LLM contengano una significativa ridondanza.
- Le valutazioni mostrano un degrado delle prestazioni lungo lo spettro di difficoltà.
Entità
Istituzioni
- arXiv