OmniGen2: Il Modello Open-Source Avanza la Generazione AI Multimodale

OmniGen2 è un modello generativo open-source rivoluzionario in grado di gestire varie attività come la conversione di testo in immagini, la modifica di immagini e la generazione di contenuti contestuali. Introduce due percorsi unici per la decodifica di testo e immagini, ciascuno con i propri parametri e un tokenizer di immagini distinto. A differenza della prima versione, OmniGen v1, questo modello può migliorare la comprensione multimodale senza necessità di modificare gli input VAE, preservando le sue capacità di generazione testuale. Il processo di addestramento ha coinvolto pipeline di dati approfondite per la modifica delle immagini e la generazione contestuale. Presenta inoltre un meccanismo di riflessione speciale per le attività con immagini e un dataset di riflessione unico nel suo genere. Nonostante abbia meno parametri, il modello offre prestazioni impressionanti. I risultati sono presentati nella preprint arXiv 2506.18871v4, classificata come tipo replace-cross.