FPMoE: Il modello MoE sparso potenzia la generazione di codice funzionale
Un nuovo modello leggero di generazione di codice open-source chiamato FPMoE è stato sviluppato da ricercatori, utilizzando un'architettura sparso Mixture-of-Experts (MoE) per migliorare le prestazioni dei grandi modelli linguistici (LLM) sui linguaggi di programmazione funzionale (FPL) come Haskell, OCaml e Scala. Gli attuali LLM, inclusi i modelli leader, hanno notevoli difficoltà con i FPL a causa del loro addestramento principalmente su linguaggi imperativi. Il team di ricerca ha scoperto che il fine-tuning per singoli linguaggi non cattura efficacemente le astrazioni funzionali condivise, e il fine-tuning combinato multi-linguaggio porta a interferenze cross-linguistiche. FPMoE affronta queste sfide impiegando tre esperti instradati specifici per linguaggio (uno per ciascuno di Haskell, OCaml e Scala) insieme a un esperto condiviso che identifica pattern funzionali cross-linguistici, inclusi il ragionamento monadico e la programmazione guidata dai tipi. I risultati sono pubblicati su arXiv:2605.27849.
Fatti principali
- FPMoE è un modello sparso Mixture-of-Experts per la generazione di codice funzionale.
- Si rivolge a Haskell, OCaml e Scala.
- Gli LLM esistenti hanno prestazioni peggiori sui linguaggi di programmazione funzionale.
- Il fine-tuning per singolo linguaggio non riesce a catturare le astrazioni condivise.
- Il fine-tuning multi-linguaggio causa interferenze cross-linguistiche.
- FPMoE ha tre esperti instradati specifici per linguaggio e un esperto condiviso.
- L'esperto condiviso cattura il ragionamento monadico e la programmazione guidata dai tipi.
- Il modello è open-source e descritto in arXiv:2605.27849.
Entità
Istituzioni
- arXiv