Bactrainus: Framework modulare selettore-lettore per QA multi-hop con Llama 3.1

Lo studio presenta Bactrainus, un framework modulare progettato per migliorare i grandi modelli linguistici in complesse attività di question answering multi-hop. Affronta il problema dei colli di bottiglia nelle evidenze distinguendo tra selezione dei paragrafi, identificazione delle frasi di supporto e generazione delle risposte. Nel contesto della configurazione distractor di HotpotQA in inglese, i risultati indicano che fornire un contesto candidato completo, piuttosto che fare affidamento sui fatti di supporto gold, porta a un calo del punteggio F1 di sovrapposizione dei token di risposta di 17-21 punti, evidenziando che la sola scala non è sufficiente. Il framework include anche una decomposizione opzionale delle domande e una supervisione tramite razionali generati dall'insegnante per valutare i benefici di una struttura di ragionamento aggiuntiva. La valutazione comprende lo screening dei modelli di fondazione, ablazioni controllate del contesto e del prompting, e un adattamento efficiente dei parametri dei lettori Llama 3.1 8B e 70B Instruct. L'articolo è disponibile su arXiv con identificatore 2501.06286v3, recentemente aggiornato tramite replace-cross.