Qualità dei Dati vs Capacità: Adattatori LoRA per Question Answering a Libro Chiuso

Un recente studio su arXiv (2607.21861) esplora l'integrazione di documenti nei pesi di un modello Gemma-4-e4b a 4 bit utilizzando LoRA per il question answering a libro chiuso, bypassando così i limiti di recupero e finestra di contesto. I ricercatori hanno condotto circa 100 sessioni di addestramento, da un singolo documento a un corpus di 99 documenti. Hanno scoperto che, una volta che la capacità dell'adattatore è sufficiente, la qualità dei dati di addestramento diventa il fattore principale che influenza l'accuratezza a libro chiuso, superando gli effetti del rango LoRA, del tasso di apprendimento e di altre due architetture combinate. Un singolo passaggio di curation—condensando le risposte gold in span canonici di 1-6 parole e rimuovendo le banalità—ha aumentato l'accuratezza dal 57,7% all'85,7% su un corpus di 15 documenti, superando qualsiasi modifica architetturale. Lo studio identifica anche una tendenza per cui il rango deve aumentare con la dimensione del corpus, rivelando una relazione precedentemente fraintesa tra rango e tasso di apprendimento. Una baseline reale di retrieval-augmented generation (RAG) è stata inclusa per confronto su un sottoinsieme di 15 documenti.