OPERA: Un framework di potatura dei dati migliora il fine-tuning dei retriever densi

Un nuovo framework di potatura dei dati chiamato OPERA è stato sviluppato dai ricercatori per migliorare l'efficienza e l'efficacia del fine-tuning specifico per dominio dei retriever densi. Questo framework affronta il contributo disomogeneo delle coppie di dati di addestramento al processo di apprendimento. L'attenzione iniziale è sulla potatura statica (SP), che mantiene solo le coppie query-documento con alta similarità, scoprendo un compromesso fondamentale tra qualità e copertura: mentre le prestazioni di ranking (NDCG) migliorano, il recall di recupero può diminuire a causa della ridotta diversità delle query. Per affrontare questo problema, gli autori suggeriscono un approccio di potatura dinamica (DP) in due fasi che regola le probabilità di campionamento sia a livello di query che di documento durante l'addestramento, garantendo che gli esempi di alta qualità siano prioritari ma utilizzando comunque l'intero set di addestramento. Le valutazioni su otto dataset provenienti da sei domini confermano l'efficacia di entrambi i metodi: SP migliora il ranking rispetto al fine-tuning standard, e DP raggiunge un migliore equilibrio tra ranking e recupero. L'articolo è disponibile su arXiv con identificativo 2603.17205, classificato come 'replace-cross'.