CompactQE: Valutazione Efficiente della Qualità della Traduzione tramite Piccoli LLM

Uno studio rivela che piccoli LLM open-source (con meno di 30 miliardi di parametri) possono eseguire con successo la valutazione della qualità (QE) per la traduzione automatica, offrendo un'opzione rispettosa della privacy rispetto ai grandi modelli proprietari. Utilizzando un metodo di prompting a passaggio singolo, questi modelli producono punteggi di qualità, annotazioni di errore MQM, correzioni raccomandate e post-editing completi. Questa tecnica dimostra correlazioni a livello di sistema con valutazioni umane che superano le metriche neurali convenzionali, i modelli ottimizzati e l'accordo inter-annotatore tra umani, avvicinandosi alle prestazioni di LLM proprietari significativamente più grandi.