SwordBench: Nuovo Benchmark per il Controllo delle Rappresentazioni nei Modelli Visivi

I ricercatori hanno introdotto SwordBench, un benchmark per valutare il controllo delle rappresentazioni delle immagini nei modelli visivi. Il lavoro colma una lacuna nei protocolli di valutazione esistenti, che erano limitati a compiti ambigui di modellazione del linguaggio. SwordBench valuta il controllo attraverso molteplici architetture di modelli e compiti di rimozione di concetti. Introduce nuove metriche di valutazione: robustezza cross-concetto, che misura la stabilità del rilevamento di concetti quando gli input sono ortogonalizzati rispetto a concetti alternativi, e danno collaterale, che quantifica gli effetti indesiderati sulle prestazioni di compiti a valle per input privi del bias. I risultati indicano che una macchina a vettori di supporto lineare mostra una separabilità superiore, sebbene l'abstract non specifichi i risultati completi. L'articolo è disponibile su arXiv con l'identificatore 2605.16372.