RC-GRPO: Nuova Strategia di RL Insegna agli MLLM a Rifiutare Oggetti Inesistenti

Un nuovo approccio di apprendimento per rinforzo chiamato Refusal-Calibrated Group Relative Policy Optimization (RC-GRPO) è stato sviluppato dai ricercatori per migliorare le capacità di rifiuto dei Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM) nei compiti di Comprensione Generalizzata di Espressioni Referenziali (GREC). La GREC implica l'identificazione di oggetti basata su descrizioni testuali, richiedendo ai modelli di riconoscere sia elementi esistenti (campioni positivi) che inesistenti (campioni negativi). Sebbene gli MLLM performino bene nel localizzare oggetti reali, faticano a rifiutare quelli che non sono presenti a causa della mancanza di campioni negativi nell'addestramento, il che comporta bounding box inaccurate. I metodi attuali di post-addestramento come il supervised fine-tuning (SFT) e l'apprendimento per rinforzo (RL) migliorano le capacità di rifiuto ma spesso compromettono l'accuratezza della localizzazione. RC-GRPO risolve questo problema calibrando l'approccio RL per migliorare il rifiuto senza sacrificare le prestazioni di localizzazione. Questa ricerca, cruciale per l'affidabilità degli MLLM nei compiti di grounding visivo, è dettagliata in un articolo su arXiv (arXiv:2608.04698) ed è indicata come una sottomissione di tipo 'cross'.