Campionamento Guidato dello Spazio Latente per la Segmentazione Multimodale in Presenza di Modalità Mancanti
È stata proposta una nuova strategia di addestramento per la segmentazione semantica multimodale in presenza di modalità mancanti. Il metodo, descritto in un articolo su arXiv (2605.20372), affronta la sfida dei dati sensoriali incompleti nel telerilevamento a causa di guasti o condizioni avverse. Invece di un dropout uniforme e casuale delle modalità, apprende una distribuzione di campionamento degli scenari dallo spazio latente pre-addestrato, guidando il fine-tuning verso scenari di disponibilità delle modalità più informativi. L'approccio quantifica l'effetto di ciascuno scenario in base alla distorsione indotta, con l'obiettivo di migliorare le prestazioni quando le modalità sono mancanti.
Fatti principali
- L'articolo arXiv 2605.20372 propone una nuova strategia di addestramento per la segmentazione multimodale in presenza di modalità mancanti.
- Il metodo apprende una distribuzione di campionamento degli scenari dallo spazio latente pre-addestrato.
- Sostituisce il dropout uniforme e casuale delle modalità con un fine-tuning guidato verso scenari informativi.
- L'approccio quantifica l'effetto di ciascuno scenario in base alla distorsione indotta.
- L'applicazione target è l'analisi del telerilevamento con dati multimodali.
- Le modalità mancanti possono derivare da guasti dei sensori, condizioni atmosferiche avverse o problemi di acquisizione dati.
- L'articolo è classificato come annuncio di tipo incrociato.
- Il metodo mira a migliorare le prestazioni quando una o più modalità non sono disponibili.
Entità
Istituzioni
- arXiv