CSICL: Il code-switching graduale migliora le prestazioni dei LLM cross-linguali
Un nuovo studio pubblicato su arXiv (2510.05678) introduce una tecnica innovativa chiamata code-switching in-context learning (CSICL). Questo metodo aiuta i grandi modelli linguistici (LLM) a elaborare input non inglesi passando gradualmente all'inglese, il che facilita il ragionamento. Testato su 4 LLM, 6 dataset e 10 lingue, CSICL supera i metodi standard di in-context learning cross-linguale, ottenendo un miglioramento medio di 6,0 punti percentuali (pp) per le lingue target e di 4,8 pp per le lingue mai viste. I miglioramenti sono stati particolarmente evidenti in situazioni di basse risorse, con aumenti di 14,7 pp per le lingue target e di 5,3 pp per quelle non viste. Questo studio, segnalato come aggiornamento replace-cross su arXiv, mostra come il code-switching graduale possa migliorare le capacità multilingue senza richiedere addestramento aggiuntivo.
Fatti principali
- CSICL è un meccanismo a tempo di inferenza per l'allineamento rappresentazionale cross-linguale.
- Transita gradualmente dalla lingua target all'inglese.
- Testato su 4 LLM, 6 dataset e 10 lingue.
- Miglioramenti medi di 6,0 pp nelle lingue target e di 4,8 pp nelle lingue non viste.
- I miglioramenti sono più pronunciati in contesti a basse risorse: 14,7 pp target, 5,3 pp non viste.
- I miglioramenti si generalizzano attraverso famiglie linguistiche.
- L'articolo è disponibile su arXiv con identificativo 2510.05678.
- Il metodo supera i baseline di in-context learning cross-linguale.
Entità
Istituzioni
- arXiv