LaneRoPE: Migliorare il test-time scaling dei LLM con ragionamento parallelo collaborativo

Un nuovo preprint arXiv (2605.27570) introduce LaneRoPE, un metodo per migliorare il test-time scaling parallelo dei LLM. Le tecniche tradizionali come best-of-N generano N sequenze indipendentemente, perdendo opportunità di riutilizzo. LaneRoPE consente il coordinamento tra sequenze tramite una maschera di attenzione inter-sequenza e un'estensione RoPE che cattura le posizioni relative dei token all'interno e tra le sequenze. Valutato su compiti di ragionamento matematico, LaneRoPE mostra risultati promettenti nel favorire la collaborazione tra sequenze, potenzialmente aumentando l'accuratezza e l'efficienza computazionale.