MedQA: IA clinica ottimizzata su AMD ROCm senza CUDA

Un team di sviluppatori ha creato MedQA, un modello di IA per il question-answering clinico, ottimizzato interamente su hardware AMD utilizzando ROCm, bypassando la necessità di NVIDIA CUDA. Il modello, basato su Qwen3-1.7B di Alibaba, utilizza LoRA (Low-Rank Adaptation) per addestrare solo 2,2 milioni dei suoi 1,5 miliardi di parametri su un AMD Instinct MI300X con 192 GB di memoria HBM3. L'addestramento su 2.000 campioni del dataset MedMCQA ha richiesto circa cinque minuti. Il progetto dimostra che l'ecosistema HuggingFace (Transformers, PEFT, TRL, Accelerate) funziona perfettamente su ROCm senza modifiche al codice. Il modello restituisce sia la lettera della risposta corretta che una spiegazione clinica. Le sfide includevano un problema di compatibilità con bitsandbytes e perdita NaN con bfloat16, risolti utilizzando fp16. L'adattatore ottimizzato è disponibile pubblicamente su HuggingFace Hub. I prossimi passi includono il ridimensionamento all'intero corpus MedMCQA, l'aggiunta di un punteggio di confidenza, l'integrazione RAG e una valutazione adeguata. Il progetto è stato realizzato per l'AMD Developer Hackathon su lablab.ai da Harikrishna Sivanand Iyer e Srijan Sivaram A.