La regolarizzazione del flusso semantico migliora la diversità dell'output dei LLM

I ricercatori hanno sviluppato un nuovo metodo chiamato Semantic Flow Regularization (SFR) per affrontare il Cross-Style Collapse nei grandi modelli linguistici. Questo problema si verifica quando i modelli ottimizzati per stili specifici finiscono per produrre output meno diversificati. La causa sottostante è l'obiettivo di entropia incrociata che limita la variazione nelle rappresentazioni condivise. SFR funge da semplice obiettivo aggiuntivo, guidando il modello con embedding continui di codificatori di frasi per segmenti futuri tramite conditional flow matching. Mantiene intatta la multi-modalità e la testa di flow matching viene rimossa durante l'inferenza, senza costi aggiuntivi per il deployment. I test sul dataset Qwen3-32B, con 9 personaggi, mostrano che SFR migliora la diversità dell'output, la coerenza stilistica e la qualità delle risposte. La validazione su LiveCodeBench-v5 conferma questi miglioramenti. Puoi consultare lo studio su arXiv, identificatore 2605.27971.