Echo-LoRA: Iniezione Cross-Layer per un Fine-Tuning Efficiente dei LLM

I ricercatori propongono Echo-LoRA, un metodo di fine-tuning efficiente in termini di parametri che inietta rappresentazioni cross-layer in moduli LoRA superficiali. Durante l'addestramento, gli stati nascosti di confine provenienti da strati sorgente più profondi vengono aggregati in una rappresentazione echo a livello di campione, quindi proiettati tramite reti leggere in adattatori superficiali. Tecniche come answer-only masking, masked distillation e stochastic routing stabilizzano il percorso ausiliario e riducono il divario tra addestramento e inferenza. Valutato su otto benchmark di ragionamento di senso comune, Echo-LoRA supera i baselines standard LoRA e DoRA aggiungendo parametri minimi. Il metodo è pubblicato su arXiv con ID 2605.08177.