Circle-RoPE: Nuovo Posizionamento Posizionale per Modelli Visione-Linguaggio

Un nuovo articolo di ricerca presenta Circle-RoPE, un metodo innovativo per il posizionamento posizionale adattato ai grandi modelli visione-linguaggio (VLM). Questo studio affronta un inconveniente del Rotary Position Embedding (RoPE), che lega gli indici di posizione del testo e dell'immagine, portando a un involontario bias di posizione relativa cross-modale. I ricercatori introducono la Per-Token Distance (PTD) per misurare questo bias, dimostrando che quando PTD = 0, il bias di attenzione geometrica viene eliminato. Circle-RoPE riconfigura le coordinate 2D dei token immagine su un anello perpendicolare all'asse della posizione del testo, risultando in una struttura a cono in cui ogni token di testo mantiene la stessa distanza da tutti i token immagine, preservando al contempo l'organizzazione spaziale all'interno delle immagini. Inoltre, Alternating Geometry Encoding (AGE) integra Circle-RoPE con il RoPE standard attraverso diversi strati. L'articolo è disponibile su arXiv con ID 2505.16416.