Il Metodo Temporal Contrastive Decoding Affronta i Pregiudizi nei Modelli Audio-Linguistici

Un nuovo metodo di decodifica, noto come Temporal Contrastive Decoding (TCD), è stato introdotto per mitigare un pregiudizio di livellamento temporale riscontrato nei grandi modelli audio-linguistici (LALM). Questi modelli integrati, che elaborano discorso, suono e musica, spesso trascurano le caratteristiche acustiche transitorie a favore di contesti più uniformi influenzati da presupposti linguistici, con conseguenti output meno precisi. Il TCD funziona durante l'inferenza generando una versione temporalmente sfocata della forma d'onda di input e confrontando le sue previsioni sul token successivo con quelle dell'input originale. Questo segnale contrastivo funge da aggiornamento dei logit a livello di token, limitato a un piccolo insieme di candidati. L'approccio utilizza un punteggio di stabilità auto-normalizzato per stabilire la finestra di sfocatura e la scala di aggiornamento, con un gate graduale che attiva gli aggiornamenti in base all'incertezza e alla dipendenza dall'audio. Gli esperimenti sono stati condotti su MMAU e AI, e i risultati sono stati pubblicati su arXiv con l'identificatore 2604.15383v1.