PromptEcho: Metodo di Ricompensa Senza Annotazioni per il Reinforcement Learning da Testo a Immagine

È stato sviluppato un nuovo metodo chiamato PromptEcho per migliorare i modelli da testo a immagine senza richiedere dati annotati da esseri umani o addestramento aggiuntivo. Questo approccio estrae segnali di ricompensa direttamente da modelli visione-linguaggio congelati calcolando la perdita di entropia incrociata a livello di token utilizzando il prompt originale come etichetta. A differenza dei metodi esistenti come CLIP Score o RewardDance, PromptEcho elimina la necessità di costose raccolte di dati di preferenza e di fine-tuning. La tecnica sfrutta la conoscenza dell'allineamento immagine-testo già codificata durante il pre-addestramento VLM, rendendola deterministica e computazionalmente efficiente. I ricercatori hanno anche introdotto DenseAlignBench, un benchmark che utilizza didascalie dense ricche di concetti per testare rigorosamente le capacità di seguire i prompt. Man mano che diventano disponibili VLMs open-source più potenti, le prestazioni di PromptEcho migliorano automaticamente. Il metodo affronta la sfida di ottenere segnali di ricompensa di alta qualità per il reinforcement learning nella generazione di immagini da testo. La ricerca è stata pubblicata su arXiv con l'identificatore 2604.12652v1.