La logica neurosimbólica guida la segmentazione debolmente supervisionata
Un nuovo approccio integra la logica fuzzy differenziabile con modelli di segmentazione profonda per migliorare la segmentazione semantica debolmente supervisionata (WSSS). Il metodo utilizza vincoli logici per mettere a punto il Segment Anything Model (SAM) sotto supervisione debole, generando pseudo-etichette migliori per addestrare un modello di seconda fase senza prompt. Valutato sui dataset Pascal VOC 2012 e REFUGE2, il fine-tuning guidato dalla logica supera i metodi basati su prompt euristici.
Fatti principali
- 1. La segmentazione semantica debolmente supervisionata (WSSS) addestra modelli a partire da annotazioni parziali come bounding box, scarabocchi o etichette a livello di immagine.
- 2. Lavori recenti utilizzano modelli foundation come SAM per generare pseudo-etichette.
- 3. Gli approcci esistenti dipendono da scelte euristiche dei prompt e da una limitata integrazione di conoscenze pregresse.
- 4. Il metodo proposto adotta una prospettiva neurosimbólica, integrando la logica fuzzy differenziabile con modelli di segmentazione profonda.
- 5. Annotazioni deboli e prior specifici del dominio sono unificati come vincoli logici continui.
- 6. Il modello foundation raffinato produce pseudo-etichette migliorate per addestrare un modello di segmentazione di seconda fase senza prompt.
- 7. Gli esperimenti sono stati condotti sui dataset Pascal VOC 2012 e REFUGE2 per la segmentazione del disco ottico e della coppa.
- 8. Il fine-tuning guidato dalla logica mostra prestazioni migliori rispetto ai metodi basati su prompt euristici.
Entità
Istituzioni
- arXiv