G-Loss: Il fine-tuning guidato da grafi migliora gli embedding dei modelli linguistici

Un gruppo di ricercatori ha introdotto G-Loss, una nuova funzione di perdita guidata da grafi volta a migliorare modelli come BERT. A differenza delle funzioni di perdita tradizionali come l'entropia incrociata e i metodi contrastivi, che operano principalmente in aree locali, G-Loss sfrutta la propagazione semi-supervisionata delle etichette per attingere ai collegamenti strutturali presenti nella varietà degli embedding. Costruisce un grafo di similarità tra documenti che cattura connessioni semantiche più ampie, consentendo al modello di creare embedding più efficaci e resilienti. Testato su cinque dataset di riferimento—MR per l'analisi del sentiment, R8 e R52 per la categorizzazione per argomento, Ohsumed per la classificazione di documenti medici e 20NG per la categorizzazione di notizie—G-Loss ha mostrato una convergenza più rapida e ha prodotto spazi di embedding semanticamente più coerenti in molti casi. Questo studio è dettagliato nel preprint arXiv 2604.25853.