Studio rileva che le metriche di valutazione non riescono a individuare errori nelle traduzioni dal cinese classico all'inglese

Una recente indagine pubblicata su arXiv esamina l'affidabilità delle metriche di valutazione automatica progettate per le lingue contemporanee quando applicate a traduzioni dal cinese classico all'inglese, un tema di crescente importanza nelle digital humanities. Gli autori presentano un quadro diagnostico che utilizza coppie minime per identificare i tipi di errore comuni rilevanti per i contesti accademici, analizzando sia metriche basate su riferimenti che metriche senza riferimenti per la loro sensibilità agli errori e la tolleranza per variazioni legittime. I risultati indicano che tutte le metriche hanno limitazioni, con MetricX24 che mostra le migliori prestazioni complessive. Questa ricerca sottolinea la necessità di metriche più efficaci e interpretabili adatte a contesti di traduzione storici e culturali unici. Lo studio fa parte di un'indagine più ampia sull'applicabilità dei grandi modelli linguistici nelle digital humanities, dove la valutazione affidabile rimane una sfida significativa. Il documento è accessibile su arXiv con l'identificatore 2608.08283.