MoCA: Un Nuovo Approccio alla Generazione di Codice da Grafici con Arbitraggio Cross-modale

È stato proposto un nuovo metodo chiamato MoCA (Mixture of Cross-modal Arbitration) per la generazione di codice da grafici, che comporta la lettura di dettagli visivi fini di un grafico e la scrittura di codice eseguibile che lo riproduce. I metodi esistenti o addestrano separatamente le capacità visive e di codifica, o le ottimizzano insieme su dati di grafico-codice, senza considerare la natura distinta delle capacità o l'interferenza quando ottimizzate insieme. MoCA separa le due capacità piuttosto che fonderle, basandosi su un Blocco di Arbitraggio Cross-modale (CAB) che mantiene un ramo visivo e un ramo di codice come percorsi distinti, con un arbitro leggero che arbitra i loro contributi relativi a ogni livello e token generato. L'addestramento avviene in due fasi: riscaldamento supervisionato su traiettorie di ragionamento auto-distillate che scompongono la comprensione visiva in passi espliciti, seguito da apprendimento per rinforzo. L'articolo è disponibile su arXiv con identificatore 2608.15510.