MBZUAI, Cerebras e Inception rilasciano Jais 2, una famiglia di LLM open source incentrati sull'arabo
La famiglia Jais 2 comprende modelli linguistici di grandi dimensioni incentrati sull'arabo, sviluppati in collaborazione da MBZUAI, Cerebras e Inception per migliorare l'elaborazione della lingua araba. Questa collezione presenta il più grande LLM open source incentrato sull'arabo, addestrato da zero con 70 miliardi di parametri, insieme a una robusta variante da 8 miliardi di parametri tra i modelli open source valutati. Un vocabolario arabo specializzato facilita un addestramento e un'inferenza efficienti, mentre un'architettura ottimizzata garantisce un addestramento computazionalmente efficiente. Con un budget di token notevolmente ridotto rispetto a modelli simili, Jais 2 dimostra prestazioni arabe impressionanti nei benchmark evidenziati nel rapporto, oltre a risultati competitivi in inglese. I modelli eccellono nelle valutazioni OALL2 e AraGen e mostrano forti prestazioni su vari benchmark culturali. I risultati sono documentati in un rapporto disponibile su arXiv con identificativo 2608.13580.
Fatti principali
- Jais 2 è una famiglia di modelli linguistici di grandi dimensioni incentrati sull'arabo.
- Sviluppato congiuntamente da MBZUAI, Cerebras e Inception.
- Include il più grande LLM open source incentrato sull'arabo addestrato da zero con 70 miliardi di parametri.
- Include anche una variante da 8 miliardi di parametri.
- Un vocabolario personalizzato incentrato sull'arabo consente un addestramento e un'inferenza efficienti.
- L'architettura ottimizzata e la ricetta di addestramento garantiscono un addestramento altamente efficiente dal punto di vista computazionale.
- Ottiene forti prestazioni in arabo e risultati competitivi in inglese.
- Risultati leader nei benchmark OALL2 e AraGen tra i modelli open source valutati.
Entità
Istituzioni
- MBZUAI
- Cerebras
- Inception