MathShikkha: La supervisione CoT in bengalese non offre guadagni in-domain per modelli più forti

Un recente preprint su arXiv (2608.08503) esplora l'impatto della supervisione Chain-of-Thought (CoT) guidata dall'insegnante sul ragionamento matematico in bengalese, una lingua con risorse limitate. La ricerca presenta MathShikkha, un dataset contenente problemi matematici in bengalese accompagnati da razionali generati da GPT-5.4, e affina quattro piccoli modelli linguistici (da 4B a 7B parametri) utilizzando un protocollo coerente. Questo protocollo allinea le suddivisioni dei dati, il mascheramento della perdita solo sulla risposta, la decodifica e il punteggio tra condizioni di sola risposta e CoT, differendo solo negli obiettivi di addestramento. I risultati in-domain indicano che il CoT non migliora significativamente le prestazioni per tre modelli più robusti, con intervalli di confidenza bootstrap appaiati al 95% che includono zero e p-value di McNemar ≥ 0.17, nonostante produca 15–52× più token. Al contrario, il modello più debole da 4B mostra un miglioramento notevole di 18.56 punti (p < 0.0001). Tuttavia, sul benchmark più ampio e sottoposto a verifica di contaminazione BanglaMATH, il CoT supera significativamente la supervisione di sola risposta. Lo studio è stato pubblicato su arXiv con l'identificatore 2608.08503v1.