Il Feedback Visivo Cross-Modale Migliora l'Ottimizzazione dei Prompt per i VLM

Uno studio recente presenta il Feedback Visivo Cross-Modale (CMVF) per affrontare un significativo inconveniente nell'ottimizzazione automatica dei prompt (APO) per i modelli visione-linguaggio (VLM). Le tecniche APO esistenti utilizzano un meccanismo di feedback cieco, in cui l'ottimizzatore elabora la domanda, la previsione e la risposta corretta ma non esamina l'immagine di input, limitando la capacità di identificare errori visivamente fondati. CMVF introduce una fase di diagnosi visiva condizionata al fallimento, consentendo a un ottimizzatore VLM più robusto di analizzare ogni immagine non riuscita senza vedere previsioni o etichette. Segue una fase di aggregazione consapevole degli errori che distillano i risultati in pattern di punti ciechi visivi riutilizzabili per la revisione del prompt. L'immagine viene utilizzata solo durante l'ottimizzazione, mentre l'output finale rimane un prompt standard. Il documento è disponibile su arXiv con ID 2607.24354.