iStructTab: Sequenziamento Strutturato delle Caratteristiche per l'Apprendimento Multimodale
Uno studio recente presenta iStructTab, un framework progettato per migliorare il processo di apprendimento multimodale di immagini e dati tabulari affrontando rappresentazioni inefficaci che portano a problemi di ridondanza, dispersione e generalizzazione. Al centro di questa innovazione c'è Graph-Enhanced Descriptor Sequencing (GEDS), un algoritmo per il sequenziamento strutturato delle caratteristiche ispirato al Column Permutation Problem (CPP). GEDS ottimizza i descrittori statistici attraverso calcoli basati su grafi di similarità, stabilendo efficacemente un metodo di sequenziamento delle caratteristiche. Questo sequenziamento è incorporato in un framework transformer sensibile all'ordine che utilizza token di memoria allineati con l'ordine delle caratteristiche stabilito attraverso una specifica funzione di perdita. I risultati di vari benchmark multimodali indicano che iStructTab riduce significativamente la dispersione delle caratteristiche, migliorando l'accuratezza predittiva e la robustezza. L'articolo è disponibile su arXiv con identificatore 2608.04348, sottolineando l'importanza del sequenziamento strutturato delle caratteristiche nell'apprendimento multimodale.
Fatti principali
- L'articolo introduce iStructTab, un framework per l'apprendimento multimodale di immagini e dati tabulari.
- L'innovazione principale è Graph-Enhanced Descriptor Sequencing (GEDS), un algoritmo di sequenziamento strutturato delle caratteristiche.
- GEDS si basa su principi del Column Permutation Problem (CPP).
- GEDS utilizza calcoli basati su grafi di similarità per affinare i descrittori statistici e determinare il sequenziamento delle caratteristiche.
- iStructTab incorpora un framework transformer efficiente sensibile all'ordine con token di memoria sensibili all'ordine.
- Una funzione di perdita dedicata garantisce l'aderenza al sequenziamento delle caratteristiche derivato.
- I risultati sperimentali mostrano che iStructTab minimizza la dispersione delle caratteristiche e migliora le prestazioni predittive e la robustezza.
- L'articolo è disponibile su arXiv con identificatore 2608.04348.
Entità
Istituzioni
- arXiv