La Regolazione Geometrica Previene il Collasso delle Modalità nei LLM

Un recente studio pubblicato su arXiv introduce la Regolazione di Modalità Rinforzata (RMR) come soluzione al problema del collasso delle modalità nei modelli linguistici di grandi dimensioni. I ricercatori ridefiniscono il collasso delle modalità come collasso geometrico, indicando che la traiettoria interna del modello è limitata a un'area a bassa dimensionalità nello spazio di rappresentazione. RMR funge da intervento minimo che controlla i percorsi di auto-rafforzamento prevalenti nella cache di valore del Transformer attraverso uno smorzamento a basso rango. Test condotti su vari LLM mostrano una significativa diminuzione del collasso delle modalità.