Modelli Linguistici Piccoli Raggiungono Radiologia AI Deployabile su CPU tramite Fine-Tuning LoRA
Uno studio recente mostra che i modelli linguistici piccoli (SLM) con 3-4 miliardi di parametri possono affrontare efficacemente vari compiti radiologici quando vengono affinati con LoRA, anche su CPU consumer standard. Questo progresso affronta le difficoltà dell'uso di modelli linguistici grandi (LLM) in contesti clinici con risorse limitate. La ricerca ha addestrato i modelli Qwen2.5-3B-Instruct e Qwen3-4B su 162.000 campioni provenienti da nove compiti radiologici, tra cui la classificazione RADS per dieci sistemi, la generazione di impressioni e altro, utilizzando dati di 12 dataset pubblici. I test su fino a 500 campioni trattenuti per compito hanno rivelato che il fine-tuning LoRA ha portato a notevoli miglioramenti delle prestazioni: l'accuratezza RADS è aumentata del 53%, NLI del 60% e N-staging dell'89%. Ciò rende l'AI in radiologia più accessibile senza necessità di hardware specializzato.
Fatti principali
- Vengono utilizzati modelli linguistici piccoli (SLM) con 3-4 miliardi di parametri.
- Il fine-tuning LoRA è applicato a Qwen2.5-3B-Instruct e Qwen3-4B.
- Dati di addestramento: 162K campioni da 12 dataset pubblici.
- Compiti: 9 compiti radiologici tra cui classificazione RADS, generazione di impressioni, confronto temporale, NLI, NER, rilevamento anomalie, stadiazione N/M, Q&A radiologica.
- Valutazione: fino a 500 campioni di test trattenuti per compito.
- Miglioramenti delle prestazioni: accuratezza RADS +53%, NLI +60%, N-staging +89% rispetto ai baselines zero-shot.
- I modelli sono deployabili su CPU consumer.
- I due modelli mostrano prestazioni complementari.
Entità
Istituzioni
- arXiv