SpecPL: Apprendimento Spettrale dei Prompt per Modelli Visione-Linguaggio

SpecPL ha svelato una tecnica innovativa di apprendimento dei prompt per modelli visione-linguaggio (VLM) che affronta l'asimmetria modale separando la granularità spettrale. I metodi attuali tipicamente ottimizzano i token testuali basandosi su un encoder visivo statico che trascura le sottili sfumature spettrali. Al contrario, SpecPL utilizza un VAE congelato per scomporre i segnali visivi in bande semantiche a bassa frequenza e componenti dettagliate ad alta frequenza. Un Visual Semantic Bank allinea le rappresentazioni testuali con gli invarianti a bassa frequenza, aiutando a minimizzare l'overfitting. L'approccio raggiunge una discriminazione a grana fine attraverso l'addestramento con granuli controfattuali, che riorganizza i segnali ad alta frequenza, costringendo il modello a differenziare tra granularità visiva e invarianza semantica. Questa metodologia è descritta in un articolo disponibile su arXiv, identificato dall'ID 2605.04504.