Pipeline di Routing Migliora la Classificazione Multilingue di Testi Brevi
I ricercatori hanno introdotto una pipeline di routing innovativa progettata per migliorare la classificazione multilingue di testi brevi in modo efficace ed economico. Il nuovo metodo, descritto in un articolo su arXiv, opera senza la necessità di fine-tuning specifico per il compito. Impiega una tecnica di routing a lista fissa, consentendo alle lingue forti di essere elaborate direttamente mentre traduce le lingue più deboli in inglese per la classificazione zero-shot. Questo sistema sfrutta encoder di frasi pre-addestrati. Le valutazioni delle prestazioni sui dataset SIB-200 e MASSIVE rivelano che l'inferenza tradizionale spesso non riconosce le differenze tra lingue ad alta e bassa risorsa, sottolineando la necessità di un routing sensibile alla lingua in applicazioni come la moderazione dei contenuti e il servizio clienti.
Fatti principali
- La pipeline utilizza una strategia di routing a lista fissa.
- Le lingue più forti vengono mantenute su un percorso multilingue diretto.
- Le lingue più deboli vengono tradotte in inglese prima della classificazione zero-shot.
- La pipeline è completamente self-hosted e utilizza encoder di frasi compatti pre-addestrati.
- Non è richiesto alcun fine-tuning specifico per il compito.
- Valutata su SIB-200 (15 lingue, classificazione a sette classi) e MASSIVE (15 località, classificazione a 60 intenzioni).
- L'approccio affronta i divari di prestazioni tra lingue ad alta e bassa risorsa.
- L'articolo è disponibile su arXiv con ID 2608.10939.
Entità
Istituzioni
- arXiv