Segnali di Ragionamento Strutturato, Non Codice, Migliorano il Ragionamento Matematico nei Modelli Linguistici

Uno studio recente pubblicato su arXiv mette in discussione la convinzione che l'incorporazione del codice migliori il ragionamento generale nei modelli linguistici. I ricercatori hanno condotto un pre-addestramento controllato utilizzando un dataset di 10 trilioni di token con una netta separazione dei domini e hanno scoperto che il codice eseguibile non migliora le capacità di ragionamento; piuttosto, compete con compiti ad alta intensità di conoscenza, inclusa la matematica avanzata. I miglioramenti nel ragionamento tipicamente attribuiti al codice derivano dal ragionamento strutturato attraverso diversi domini, come combinazioni di codice e testo o matematica e testo. Aumentando la proporzione di esempi strutturati di dominio matematico all'interno di un budget matematico fisso, sono stati osservati miglioramenti significativi in compiti di ragionamento matematico impegnativi.