Benchmarking di LLM sull'esame per operatori di reattori NRC

Uno studio recente analizza il Gemma 4 31B-IT, un modello multimodale con 31 miliardi di parametri, in relazione all'esame di licenza per operatori di reattori condotto dalla U.S. Nuclear Regulatory Commission (NRC). I ricercatori confrontano otto diverse configurazioni di questo modello con 14 Esami Fondamentali Generici (GFE) tenutisi a marzo dal 2015 al 2021. Questi includono sette esami ciascuno per reattori ad acqua pressurizzata e bollente, con un tasso di superamento dell'80%, lo stesso previsto per gli umani. L'analisi esamina il modello base e quelli potenziati con supervised fine-tuning, retrieval-augmented generation e retrieval-augmented fine-tuning. L'obiettivo è comprendere come i modelli linguistici di grandi dimensioni possano essere utilizzati nel campo dell'energia nucleare.