Il Fine-Tuning con Perdita Semantica Previene il Collasso del Modello nel Ragionamento Causale

Uno studio recente pubblicato su arXiv (2605.05438) indica che il fine-tuning convenzionale di modelli transformer, come Gemma 270M, in compiti di ragionamento causale porta a un grave fallimento del modello, con modelli che ricorrono a risposte semplicistiche come rispondere costantemente "Sì" o "No". Quando addestrati su compiti di transitività e d-separazione senza incorporare la perdita semantica, il tasso di collasso ha raggiunto il 100%, producendo un'accuratezza ingannevolmente alta del 73,9% senza alcun vero ragionamento causale. Gli autori propongono una funzione di perdita semantica che integra vincoli logici basati su grafi e una programmazione dinamica lambda, che mitiga il collasso e produce un'accuratezza del 70,4% per i compiti di transitività e del 68,6% per quelli di d-separazione, segnando un miglioramento del 42,7% rispetto ai modelli collassati. Test avversari su 1.000 campioni di ragionamento strutturale hanno rivelato che i modelli semantici hanno raggiunto un'accuratezza del 67-70%, mentre i modelli collassati hanno ottenuto scarsi risultati, con un'accuratezza compresa tra il 43 e il 71%.