Argus-Unified: Modello AI Compatto per la Comprensione e Generazione di Immagini

Un nuovo modello di IA chiamato Argus-Unified è stato presentato dai ricercatori, progettato per integrare comprensione e creazione visiva riducendo al minimo le esigenze computazionali e di dati. Questo modello multimodale compatto utilizza modelli pre-addestrati visione-linguaggio (VLM) per stabilire solide basi multimodali, impiegando token visivi ibridi: token continui per la comprensione e token discreti per la generazione, tutti basati su un encoder visivo unificato fisso. Il suo processo di addestramento consiste in due fasi: la fase iniziale si concentra sullo sviluppo di un quantizzatore e un decodificatore di immagini sopra l'encoder congelato, seguita dall'addestramento dell'LLM, inizializzato da un VLM pre-addestrato, per gestire compiti multimodali unificati. Questa strategia affronta efficacemente le sfide poste dalle elevate richieste di calcolo e dati, nonché i conflitti tra le caratteristiche visive per la comprensione e la generazione.