ARTFEED — Contemporary Art Intelligence

Recensione CAM: 57 articoli sulle spiegazioni visive in CNN, Transformer e modelli foundation

publication · 2026-08-13

Una sintesi di 57 studi pubblicati dal 2016, disponibile su arXiv (2608.12299), valuta la mappatura di attivazione delle classi (CAM). Questa recensione delinea la progressione della CAM, partendo dai classificatori CNN con pooling medio globale e estendendosi a varie metodologie come spiegazioni basate su gradienti, upscaling ad alta risoluzione, localizzazione debolmente supervisionata, attribuzione dei token nei transformer e strategie basate su modelli foundation che utilizzano CLIP, DINO e SAM. Introduce una tassonomia centrata sui meccanismi di attribuzione per chiarire i metodi di spiegazione visiva. L'attenzione è sul ruolo della CAM nel trasformare i dati interni del modello in mappe di calore che enfatizzano le aree significative delle immagini. In particolare, la recensione è incentrata sulle metodologie e non include confronti sperimentali o benchmark, rivolgendosi a un pubblico accademico nei campi della visione artificiale e dell'IA spiegabile.

Fatti principali

  • La recensione sintetizza 57 articoli incentrati sui metodi di mappatura di attivazione delle classi (CAM).
  • Gli articoli sono stati pubblicati dal 2016 in poi.
  • La recensione è disponibile su arXiv con ID 2608.12299.
  • È annunciata come preprint incrociato.
  • La CAM converte le evidenze interne del modello in mappe di calore che evidenziano regioni, canali, token o patch delle immagini.
  • I metodi coperti includono approcci basati su gradienti, senza gradienti, upscaling ad alta risoluzione, localizzazione debolmente supervisionata, attribuzione dei token nei transformer, causali e di debiasing, e approcci basati su modelli foundation.
  • Gli approcci basati su modelli foundation utilizzano CLIP, DINO, SAM o confronti di distribuzioni di caratteristiche.
  • L'articolo sviluppa una tassonomia che separa i metodi in base al meccanismo di attribuzione.

Entità

Istituzioni

  • arXiv

Fonti