LOES: Un Metodo Spettrale per la Selezione di Embedding a Livello di Strati nei Modelli Fondamentali

Uno studio recente pubblicato su arXiv (2605.23033) mette in discussione il metodo prevalente di fare affidamento esclusivamente sull'ultimo strato o su combinazioni superficiali di modelli fondamentali per il transfer learning. I ricercatori rivelano che le informazioni rilevanti per il compito sono distribuite in modo non uniforme tra i diversi strati, rendendo inefficace l'aggregazione semplice. Le loro analisi geometriche ed empiriche attraverso varie modalità indicano che il successo del transfer learning dipende dall'individuare quali strati contengono caratteristiche discriminanti per il compito e dalla comprensione della disposizione geometrica dei loro embedding. Presentano LOES (Layer-wise Optimal Embedding Selection), una tecnica spettrale costruttiva che identifica sottospazi discriminanti per il compito riducendo l'errore residuo rispettando vincoli di ortogonalità e isotropia. Inoltre, introducono Geometric Regularization Lo per allineare il fine-tuning con questo approccio di selezione.