Il Framework PAS Stima l'Accuratezza dell'Adattamento di Dominio Prima dell'Implementazione

Un nuovo sistema di punteggio chiamato PAS è stato sviluppato per valutare la trasferibilità dei dati del dominio sorgente e degli estrattori di caratteristiche pre-addestrati verso compiti di classificazione target prima dell'implementazione dell'adattamento di dominio. L'adattamento di dominio mira a consentire previsioni per campioni non etichettati del dominio target utilizzando dati etichettati da domini sorgente correlati. L'efficacia dei metodi di adattamento dipende significativamente dalla selezione di domini sorgente appropriati e di estrattori di caratteristiche pre-addestrati. Questo processo di selezione presenta sfide dovute alla mancanza di set di validazione etichettati per i domini target e alla vasta gamma di modelli pre-addestrati disponibili. PAS sfrutta le capacità di generalizzazione dei modelli pre-addestrati per valutare la compatibilità sorgente-target attraverso l'analisi degli embedding delle caratteristiche pre-addestrate. Il framework identifica i modelli pre-addestrati più rilevanti per specifici compiti target prima che avvenga l'effettivo adattamento. Questo approccio affronta il problema non banale della selezione dei dati sorgente e dei modelli nei flussi di lavoro di adattamento di dominio. La ricerca è stata pubblicata su arXiv con identificatore 2604.09863v1 sotto il tipo di annuncio incrociato.