FMG-Bench: Nuovo Benchmark Valuta il Triage Teologico e la Guida Pastorale dell'IA

Il FMG-Bench (Faith & Moral Guidance Benchmark) è stato lanciato per valutare le risposte dei modelli linguistici di grandi dimensioni (LLM) a domande relative alla fede cristiana, alla dottrina e alla cura pastorale. Questo benchmark, descritto in un articolo su arXiv (ID: 2608.12324v1), mira a colmare una lacuna nelle attuali tecniche di valutazione che trascurano la complessità di tali domande. Include 120 scenari in inglese, affrontando credenze cristiane fondamentali, punti di vista divergenti tra tradizioni di fede, dilemmi prudenziali che richiedono umiltà e casi pastorali in cui il rinvio a esseri umani e la sicurezza sono cruciali. Nella sua prima esecuzione, FMG-Bench v1 ha valutato 14 modelli sofisticati basandosi su 8.792 risposte valutate, rivelando che una guida strutturata migliora le prestazioni del modello di +3,96 punti rispetto al comportamento non strutturato. Il benchmark sottolinea l'importanza che l'IA riconosca quando è opportuno deferire alla comprensione umana in questioni teologiche e pastorali.