LMNet: Comunicazione Densa per Reti di Modelli Linguistici
Un nuovo articolo su arXiv (2505.12741v2) introduce LMNet, un framework per reti di modelli linguistici in cui LLM pre-addestrati fungono da nodi collegati da moduli seq2seq addestrabili. A differenza dei sistemi esistenti che comunicano attraverso linguaggio naturale discreto, LMNet consente scambi densi di vettori tra nodi intermedi, permettendo l'ottimizzazione del gradiente end-to-end e un trasferimento efficiente delle informazioni. L'approccio bypassa i passaggi intermedi di embedding e de-embedding, preservando l'input e l'output in linguaggio naturale solo ai confini del sistema. Questo design affronta le inefficienze degli attuali sistemi di collaborazione multi-modello e ragionamento in tempo di test, rendendo la comunicazione differenziabile e apprendibile dalla supervisione del compito finale.
Fatti principali
- 1. arXiv:2505.12741v2
- 2. Titolo: Reti di Modelli Linguistici: Apprendimento Supervisionato Efficiente tramite Comunicazione Densa
- 3. LMNet utilizza LLM ridotti come moduli vertice
- 4. Moduli seq2seq addestrabili fungono da archi di comunicazione
- 5. Consente scambi densi di vettori tra nodi intermedi
- 6. Preserva input e output in linguaggio naturale al confine del sistema
- 7. Bypassa embedding e de-embedding intermedi
- 8. Permette l'ottimizzazione del gradiente end-to-end
Entità
Istituzioni
- arXiv