FlowLM: Generazione di Testo in Pochi Passi tramite Adattamento da Diffusione a Flow

FlowLM è un modello linguistico che utilizza il flow matching, sviluppato a partire da modelli linguistici di diffusione pre-addestrati attraverso un processo di fine-tuning semplificato. Trasformando i percorsi di campionamento curvi dei modelli di diffusione in flussi lineari, FlowLM consente una generazione di alta qualità in pochi passi, ottenendo risultati che eguagliano o superano quelli del campionamento di diffusione a 2000 passi, richiedendo al contempo epoche di addestramento minime. La versione fine-tunata di FlowLM raggiunge le sue prestazioni massime con solo la metà delle epoche di addestramento rispetto a partire da zero, con entrambi i metodi che superano significativamente il modello di diffusione originale. Inoltre, la ricerca conferma un obiettivo di addestramento più efficace per il flow matching: prevedere dati puliti per guidare costantemente il campionamento verso la distribuzione reale dei dati. I risultati empirici evidenziano l'efficacia del metodo nel produrre una generazione di testo di alta qualità in pochi passi.