DiffusionGemma: Un Nuovo Modello Open-Weight per la Generazione di Testo ad Alta Velocità

I ricercatori hanno presentato DiffusionGemma, un innovativo modello linguistico open-weight che utilizza la diffusione discreta per la generazione rapida di testo. A differenza dei modelli linguistici autoregressivi (AR) tradizionali che elaborano un token alla volta in sequenza, DiffusionGemma affina blocchi di 256 token simultaneamente, eliminando i ritardi associati alla decodifica sequenziale. Questo modello è messo a punto dall'architettura mixture-of-experts Gemma 4, che consiste in 3,8 miliardi di parametri attivi su un totale di 25,2 miliardi. La sua formazione è notevolmente efficiente, impiegando un approccio in due fasi che utilizza meno del 10% del budget totale di token di addestramento del modello AR. La prima fase si concentra sulla messa a punto supervisionata per la denoising bidirezionale, mentre la seconda integra l'apprendimento per rinforzo con la distillazione del campionatore per migliorare sia la qualità della generazione che la velocità di inferenza. DiffusionGemma stabilisce un nuovo standard per bilanciare velocità di generazione e qualità, rendendolo un'opzione preziosa per compiti di generazione di testo veloce. Il rapporto tecnico è disponibile su arXiv con l'identificatore 2608.00146.