FairQE Framework mira al bias di genere nella stima della qualità della traduzione automatica
Un nuovo framework multi-agente chiamato FairQE è stato sviluppato da ricercatori per affrontare il bias di genere nella stima della qualità (QE) per la traduzione automatica. Mentre i sistemi QE valutano la qualità della traduzione senza bisogno di traduzioni di riferimento, la ricerca indica un bias costante verso le forme maschili in situazioni di genere neutro, spesso assegnando punteggi più alti a traduzioni che non corrispondono al genere, anche quando è chiaro. FairQE identifica indicatori di genere, crea versioni con genere invertito e integra i punteggi QE tradizionali con un ragionamento di riduzione del bias proveniente da modelli linguistici di grandi dimensioni attraverso un metodo di aggregazione dinamica. Questo approccio adattabile mantiene i vantaggi dei modelli QE esistenti correggendo i bias di genere. L'efficacia del framework è stata validata in vari scenari di valutazione del bias di genere, come dettagliato nel preprint arXiv 2604.21420.
Fatti principali
- FairQE è un framework multi-agente per mitigare il bias di genere nella stima della qualità (QE).
- I modelli QE esistenti mostrano un bias sistematico di genere, favorendo realizzazioni maschili in contesti di genere ambiguo.
- I modelli QE possono assegnare punteggi più alti a traduzioni con genere non corrispondente anche quando il genere è esplicitamente specificato.
- FairQE rileva indizi di genere e genera varianti di traduzione con genere invertito.
- Combina punteggi QE convenzionali con ragionamento di mitigazione del bias basato su LLM.
- Il framework utilizza un meccanismo di aggregazione dinamica sensibile al bias.
- FairQE opera in modo plug-and-play, preservando i punti di forza dei modelli QE esistenti.
- La ricerca è pubblicata su arXiv con identificatore 2604.21420.
Entità
Istituzioni
- arXiv