Nuovo Benchmark Diagnostica le Allucinazioni di Pixel-Grounding nei VLM

I ricercatori hanno introdotto il Counterfactual Segmentation Reasoning (CSR), un compito progettato per diagnosticare e mitigare le allucinazioni di pixel-grounding nei modelli di segmentazione Vision-Language (VLM). Questi modelli spesso producono maschere per oggetti errati o inesistenti, un problema trascurato dalle valutazioni esistenti basate su testo o etichette. Per supportare il CSR, il team ha curato HalluSegBench, il primo benchmark su larga scala per valutare le allucinazioni di segmentazione in espressioni referenti e ragionate. Il benchmark utilizza immagini controfattuali per testare se un modello è in grado di segmentare correttamente un oggetto referenziato in un'immagine fattuale e astenersi dalla segmentazione in una controparte controfattuale. Questo approccio rivela allucinazioni guidate dalla visione, che sono più impegnative e prevalenti di quanto precedentemente riconosciuto. Il lavoro è pubblicato su arXiv con il titolo "Counterfactual Segmentation Reasoning: Diagnosing and Mitigating Pixel-Grounding Hallucination" (arXiv:2506.21546).