La potatura consapevole del compito migliora le prestazioni del modello fuori distribuzione

Uno studio recente pubblicato su arXiv (2605.14738) esplora la potatura a livello di layer consapevole del compito, un metodo promosso da TALE. I risultati indicano che, sebbene la potatura non migliori le prestazioni sui dati in-distribuzione (ID), aumenta significativamente l'accuratezza fuori distribuzione (OOD) sia in compiti controllati di regressione polinomiale che in modelli linguistici di grandi dimensioni. I ricercatori dimostrano che gli input OOD generano profili di norma per layer e di distanza a coppie che differiscono da quelli ID, offrendo un'interpretazione geometrica: ogni compito crea una geometria specifica, mentre gli input OOD presentano una versione distorta. La potatura consapevole del compito identifica ed elimina efficacemente i layer che contribuiscono o amplificano questa distorsione, alterando così le norme rappresentazionali OOD.