DebiasRAG: Debiasing senza regolazione per LLM tramite generazione aumentata da recupero
I ricercatori propongono DebiasRAG, un nuovo framework che sfrutta la generazione aumentata da recupero (RAG) per ridurre i bias sociali nei modelli linguistici di grandi dimensioni (LLM) senza necessità di fine-tuning. Gli LLM spesso producono contenuti distorti riguardanti razza, genere ed età a causa dei dati di addestramento. I metodi di debiasing esistenti come il fine-tuning e l'ingegneria dei prompt richiedono risorse aggiuntive o conoscenze di dominio e possono degradare le prestazioni del modello. DebiasRAG recupera dinamicamente contesti di debiasing specifici per la query per guidare la generazione, preservando le capacità originali dell'LLM e migliorando l'equità. Il framework non richiede regolazione e si adatta a diverse query, rispondendo alla necessità di un debiasing dinamico. L'articolo è pubblicato su arXiv con ID 2605.16113.
Fatti principali
- DebiasRAG è un framework di debiasing senza regolazione basato sulla generazione aumentata da recupero.
- Gli LLM producono bias sociali riguardanti razza, genere ed età a partire dai dati di addestramento.
- Il fine-tuning e l'ingegneria dei prompt richiedono risorse aggiuntive e possono degradare le capacità degli LLM.
- DebiasRAG recupera dinamicamente contesti di debiasing specifici per la query.
- Il framework preserva le capacità originali degli LLM.
- L'articolo è disponibile su arXiv con ID 2605.16113.
- DebiasRAG mira a un'inferenza più equa senza fine-tuning.
- L'approccio risponde alla necessità di contesti di debiasing dinamici.
Entità
Istituzioni
- arXiv