Il Fine-Tuning con Iniezione di Contesto Migliora i Piccoli Modelli di QA Legale in Bangladesh

Un articolo di ricerca disponibile su arXiv (2607.23446) indaga se il fine-tuning di modelli linguistici più piccoli con esempi legali pertinenti migliori la loro applicazione di testi legali recuperati. Il team ha compilato 2.165 record bilingui di domande e risposte da tre programmi e sei leggi del Bangladesh, successivamente perfezionando Qwen3.5 con parametri 0,8B, 2B e 4B. La valutazione ha utilizzato gli esami del Bangladesh Bar Council del 2022 e 2023 sia in bengalese che in inglese tradotto automaticamente, analizzati attraverso una rigorosa coerenza su tre esecuzioni con seed senza metodi di recupero come BM25 o FAISS. Il fine-tuning a 0,8B ha migliorato il punteggio FAISS inglese del 2022 da 2 a 34 su 100. Mentre sono stati notati miglioramenti a 0,8B e 2B, il modello 4B non ha mostrato un guadagno netto, con prestazioni in bengalese migliorate ma alcune condizioni in inglese in regressione. Inoltre, il fine-tuning ha ridotto significativamente la percentuale di risposte che passavano dal bengalese all'inglese predominante dal 44,0–53,2% allo 0,2–0,7%, con p aggiustato < 0,001 a tutte le scale. Gli autori suggeriscono che la qualità del recupero non è l'unica limitazione.