AtelierEval: Benchmarking della Competenza nei Prompt per Sistemi Text-to-Image

I ricercatori hanno introdotto un nuovo strumento di valutazione chiamato AtelierEval, progettato per misurare quanto bene sia gli esseri umani che i modelli linguistici multimodali di grandi dimensioni (MLLM) si comportano nei compiti di text-to-image (T2I). A differenza degli strumenti precedenti che si concentrano esclusivamente su prompt fissi, AtelierEval presenta 360 compiti accuratamente progettati da una prospettiva cognitiva, suddivisi in tre categorie che affrontano problemi del mondo reale. Fornisce un'interfaccia duale sia per gli utenti umani che per gli MLLM. Per migliorare la scalabilità e l'affidabilità, il team ha sviluppato AtelierJudge, un valutatore che assegna punteggi sia soggettivi che oggettivi alle combinazioni prompt-immagine, raggiungendo una correlazione di Spearman di 0,79 con i giudici umani. L'articolo di ricerca è disponibile su arXiv con l'identificatore 2605.22645.