L'ingegneria dei prompt visivi migliora le prestazioni dei modelli video

Un nuovo articolo su arXiv (2607.25537) introduce l'Ingegneria dei Prompt Visivi (VIPE), una tecnica che modifica automaticamente le immagini dei compiti per migliorare le prestazioni dei modelli video. Gli autori sostengono che, poiché i modelli video diventano modelli fondamentali per compiti visivi come il ragionamento fisico, essi beneficiano dell'ingegneria dei prompt visivi in modo simile a come i modelli linguistici beneficiano dei prompt testuali. Ad esempio, uno schizzo astratto di una palla che supera ostacoli può essere trasformato in un'immagine fotorealistica utilizzando un modello di editing delle immagini, migliorando l'accuratezza del ragionamento del modello video. Gli esperimenti mostrano che VIPE supera la classica ingegneria dei prompt basata su testo e lo scaling a tempo di test in vari compiti. L'articolo suggerisce che l'ingegneria dei prompt visivi è un metodo critico per ottimizzare i modelli video fondamentali.