Nuova ricerca sull'IA propone il metodo DT2IT-MRM per migliorare i modelli di ricompensa multimodali

Uno studio recente ha svelato DT2IT-MRM, una tecnica mirata a migliorare i modelli di ricompensa multimodali (MRM) che sincronizzano i Modelli Linguistici Multimodali di Grande Scala (MLLM) con le preferenze umane. Questo metodo affronta tre problemi significativi riscontrati negli attuali dataset di preferenze multimodali: una mancanza di granularità nella forza delle preferenze, bias nello stile testuale e indicatori di preferenza inaffidabili. Inoltre, i dataset open-source esistenti sono afflitti da considerevole rumore e mancano di soluzioni di cura scalabili. DT2IT-MRM presenta una pipeline di costruzione delle preferenze debiased, ridefinisce i dati di preferenza testo-immagine (T2I) e utilizza un framework di addestramento iterativo per la cura dei dataset. I risultati sperimentali indicano che questo approccio migliora significativamente la qualità dell'addestramento degli MRM. La ricerca è stata pubblicata su arXiv con l'identificatore arXiv:2604.19544v1.