Il framework FAGER valuta l'accuratezza fattuale nei modelli text-to-image

I ricercatori hanno introdotto FAGER (Factually Grounded Evaluation and Refinement), un framework agentico progettato per valutare se i modelli text-to-image (T2I) generano immagini che riflettono correttamente fatti visivamente verificabili. Le metriche di valutazione esistenti verificano principalmente l'allineamento con le informazioni esplicitamente dichiarate nei prompt, ma non riescono a catturare requisiti fattuali impliciti, fondati esternamente o che definiscono l'identità. FAGER colma questa lacuna costruendo una rubrica fattuale strutturata che combina la proposta di fatti basata su LLM con l'estrazione e la verifica visiva dei fatti guidata da riferimenti. La rubrica viene poi convertita in coppie domanda-risposta per la valutazione basata su VLM. Il framework fornisce anche feedback attuabili per il miglioramento. Questo sviluppo è particolarmente rilevante per prompt che coinvolgono conoscenze scientifiche, fatti storici, prodotti o concetti specifici di una cultura, dove la correttezza fattuale è critica. L'articolo è disponibile su arXiv con identificativo 2605.19111.