Nuove metriche C-FEX e PKP valutano il fine-tuning RAG per la generazione di documenti tecnici
Un recente preprint disponibile su arXiv (identificativo 2603.23047v2) esplora un'area del fine-tuning della generazione aumentata da recupero (RAG), concentrandosi specificamente sulla generazione di documenti nell'ambito dell'ingegneria elettronica. La ricerca modifica due modelli linguistici, ciascuno con 7 miliardi di parametri, per il fine-tuning RAG supervisionato (RAG-SFT) finalizzato alla produzione di documenti dei requisiti, analizzando diverse strategie relative ai dati. Gli autori presentano C-FEX, un framework di valutazione basato su affermazioni, insieme alla Precisione della Conoscenza Parametrica (PKP), per valutare le affermazioni derivate dalla memoria del modello rispetto al contesto recuperato. Riformulano una metrica esistente come prodotto di PKP e tasso parametrico (PR). Questo studio migliora la valutazione della RAG per l'uso industriale, fornendo preziose indicazioni sulla selezione dei dati per il fine-tuning e sulle metriche per valutare l'accuratezza fattuale nei campi tecnici.
Fatti principali
- L'articolo di ricerca identifica l'ID arXiv 2603.23047v2.
- Lo studio applica RAG-SFT per generare documenti dei requisiti.
- Il dominio è l'ingegneria elettronica.
- Vengono adattati due modelli linguistici da 7B.
- Vengono confrontate due strategie di dati di addestramento.
- C-FEX è una pipeline di valutazione basata su affermazioni che attribuisce le affermazioni alla loro origine.
- PKP isola e valuta le affermazioni provenienti dai pesi del modello.
- La metrica precedente per la conoscenza parametrica si scompone come PKP per PR.
Entità
—