Ghosted Layers: Recupero Senza Addestramento per LLM con Strati Potati

Ghosted Layers è un modulo di recupero che non richiede addestramento, progettato per modelli linguistici di grandi dimensioni (LLM) che hanno subito la potatura degli strati. Questo processo comporta la rimozione di interi blocchi decoder del Transformer, portando a una discrepanza tra lo stato nascosto del successivo strato sopravvissuto e la distribuzione su cui è stato originariamente addestrato, con conseguente notevole calo delle prestazioni. Ghosted Layers affronta questo problema risolvendo il problema di allineamento dell'attivazione al contorno, utilizzando un piccolo set di calibrazione per derivare un operatore lineare ottimale in forma chiusa che ricostruisce le discrepanze di attivazione causate dagli strati potati. A differenza dei metodi esistenti, confinati a soluzioni vincolate in sottospazi di operatori limitati, questo approccio raggiunge l'ottimo non vincolato dell'obiettivo di allineamento. Esperimenti su varie architetture LLM e tecniche di potatura mostrano miglioramenti consistenti in accuratezza e perplessità rispetto ai precedenti benchmark senza addestramento.